TY - THES A1 - Maier, Corinna T1 - Bayesian data assimilation and reinforcement learning for model-informed precision dosing in oncology T1 - Bayes’sche Datenassimilation und Reinforcement Learning für die modellinformierte Präzisionsdosierung in der Onkologie N2 - While patients are known to respond differently to drug therapies, current clinical practice often still follows a standardized dosage regimen for all patients. For drugs with a narrow range of both effective and safe concentrations, this approach may lead to a high incidence of adverse events or subtherapeutic dosing in the presence of high patient variability. Model-informedprecision dosing (MIPD) is a quantitative approach towards dose individualization based on mathematical modeling of dose-response relationships integrating therapeutic drug/biomarker monitoring (TDM) data. MIPD may considerably improve the efficacy and safety of many drug therapies. Current MIPD approaches, however, rely either on pre-calculated dosing tables or on simple point predictions of the therapy outcome. These approaches lack a quantification of uncertainties and the ability to account for effects that are delayed. In addition, the underlying models are not improved while applied to patient data. Therefore, current approaches are not well suited for informed clinical decision-making based on a differentiated understanding of the individually predicted therapy outcome. The objective of this thesis is to develop mathematical approaches for MIPD, which (i) provide efficient fully Bayesian forecasting of the individual therapy outcome including associated uncertainties, (ii) integrate Markov decision processes via reinforcement learning (RL) for a comprehensive decision framework for dose individualization, (iii) allow for continuous learning across patients and hospitals. Cytotoxic anticancer chemotherapy with its major dose-limiting toxicity, neutropenia, serves as a therapeutically relevant application example. For more comprehensive therapy forecasting, we apply Bayesian data assimilation (DA) approaches, integrating patient-specific TDM data into mathematical models of chemotherapy-induced neutropenia that build on prior population analyses. The value of uncertainty quantification is demonstrated as it allows reliable computation of the patient-specific probabilities of relevant clinical quantities, e.g., the neutropenia grade. In view of novel home monitoring devices that increase the amount of TDM data available, the data processing of sequential DA methods proves to be more efficient and facilitates handling of the variability between dosing events. By transferring concepts from DA and RL we develop novel approaches for MIPD. While DA-guided dosing integrates individualized uncertainties into dose selection, RL-guided dosing provides a framework to consider delayed effects of dose selections. The combined DA-RL approach takes into account both aspects simultaneously and thus represents a holistic approach towards MIPD. Additionally, we show that RL can be used to gain insights into important patient characteristics for dose selection. The novel dosing strategies substantially reduce the occurrence of both subtherapeutic and life-threatening neutropenia grades in a simulation study based on a recent clinical study (CEPAC-TDM trial) compared to currently used MIPD approaches. If MIPD is to be implemented in routine clinical practice, a certain model bias with respect to the underlying model is inevitable, as the models are typically based on data from comparably small clinical trials that reflect only to a limited extent the diversity in real-world patient populations. We propose a sequential hierarchical Bayesian inference framework that enables continuous cross-patient learning to learn the underlying model parameters of the target patient population. It is important to note that the approach only requires summary information of the individual patient data to update the model. This separation of the individual inference from population inference enables implementation across different centers of care. The proposed approaches substantially improve current MIPD approaches, taking into account new trends in health care and aspects of practical applicability. They enable progress towards more informed clinical decision-making, ultimately increasing patient benefits beyond the current practice. N2 - Obwohl Patienten sehr unterschiedlich auf medikamentöse Therapien ansprechen, werden in der klinischen Praxis häufig noch standardisierte Dosierungsschemata angewendet. Bei Arzneimitteln mit engen therapeutischen Fenstern zwischen minimal wirksamen und toxischen Konzentrationen kann dieser Ansatz bei hoher interindividueller Variabilität zu häufigem Auftreten von Toxizitäten oder subtherapeutischen Konzentrationen führen. Die modellinformierte Präzisionsdosierung (MIPD) ist ein quantitativer Ansatz zur Dosisindividualisierung, der auf der mathematischen Modellierung von Dosis-Wirkungs-Beziehungen beruht und Daten aus dem therapeutischen Drug/Biomarker-Monitoring (TDM) einbezieht. Die derzeitigen MIPD-Ansätze verwenden entweder Dosierungstabellen oder einfache Punkt-Vorhersagen des Therapieverlaufs. Diesen Ansätzen fehlt eine Quantifizierung der Unsicherheiten, verzögerte Effekte werden nicht berücksichtigt und die zugrunde liegenden Modelle werden im Laufe der Anwendung nicht verbessert. Daher sind die derzeitigen Ansätze nicht ideal für eine fundierte klinische Entscheidungsfindung auf Grundlage eines differenzierten Verständnisses des individuell vorhergesagten Therapieverlaufs. Das Ziel dieser Arbeit ist es, mathematische Ansätze für das MIPD zu entwickeln, die (i) eine effiziente, vollständig Bayes’sche Vorhersage des individuellen Therapieverlaufs einschließlich der damit verbundenen Unsicherheiten ermöglichen, (ii) Markov-Entscheidungsprozesse mittels Reinforcement Learning (RL) in einen umfassenden Entscheidungsrahmen zur Dosisindividualisierung integrieren, und (iii) ein kontinuierliches Lernen zwischen Patienten erlauben. Die antineoplastische Chemotherapie mit ihrer wichtigen dosislimitierenden Toxizität, der Neutropenie, dient als therapeutisch relevantes Anwendungsbeispiel. Für eine umfassendere Therapievorhersage wenden wir Bayes’sche Datenassimilationsansätze (DA) an, um TDM-Daten in mathematische Modelle der Chemotherapie-induzierten Neutropenie zu integrieren. Wir zeigen, dass die Quantifizierung von Unsicherheiten einen großen Mehrwert bietet, da sie eine zuverlässige Berechnung der Wahrscheinlichkeiten relevanter klinischer Größen, z.B. des Neutropeniegrades, ermöglicht. Im Hinblick auf neue Home-Monitoring-Geräte, die die Anzahl der verfügbaren TDM-Daten erhöhen, erweisen sich sequenzielle DA-Methoden als effizienter und erleichtern den Umgang mit der Unsicherheit zwischen Dosierungsereignissen. Basierend auf Konzepten aus DA und RL, entwickeln wir neue Ansätze für MIPD. Während die DA-geleitete Dosierung individualisierte Unsicherheiten in die Dosisauswahl integriert, berücksichtigt die RL-geleitete Dosierung verzögerte Effekte der Dosisauswahl. Der kombinierte DA-RL-Ansatz vereint beide Aspekte und stellt somit einen ganzheitlichen Ansatz für MIPD dar. Zusätzlich zeigen wir, dass RL Informationen über die für die Dosisauswahl relevanten Patientencharakteristika liefert. Der Vergleich zu derzeit verwendeten MIPD Ansätzen in einer auf einer klinischen Studie (CEPAC-TDM-Studie) basierenden Simulationsstudie zeigt, dass die entwickelten Dosierungsstrategien das Auftreten subtherapeutischer Konzentrationen sowie lebensbedrohlicher Neutropenien drastisch reduzieren. Wird MIPD in der klinischen Routine eingesetzt, ist eine gewisse Modellverzerrung unvermeidlich. Die Modelle basieren in der Regel auf Daten aus vergleichsweise kleinen klinischen Studien, die die Heterogenität realer Patientenpopulationen nur begrenzt widerspiegeln. Wir schlagen einen sequenziellen hierarchischen Bayes’schen Inferenzrahmen vor, der ein kontinuierliches patientenübergreifendes Lernen ermöglicht, um die zugrunde liegenden Modellparameter der Ziel-Patientenpopulation zu erlernen. Zur Aktualisierung des Modells erfordert dieser Ansatz lediglich zusammenfassende Informationen der individuellen Patientendaten, was eine Umsetzung über verschiedene Versorgungszentren hinweg erlaubt. Die vorgeschlagenen Ansätze verbessern die derzeitigen MIPD-Ansätze erheblich, wobei neue Trends in der Gesundheitsversorgung und Aspekte der praktischen Anwendbarkeit berücksichtigt werden. Damit stellen sie einen Fortschritt in Richtung einer fundierteren klinischen Entscheidungsfindung dar. KW - data assimilation KW - Datenassimilation KW - reinforcement learning KW - model-informed precision dosing KW - pharmacometrics KW - oncology KW - modellinformierte Präzisionsdosierung KW - Onkologie KW - Pharmakometrie KW - Reinforcement Learning Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-515870 ER - TY - THES A1 - Zhelavskaya, Irina T1 - Modeling of the Plasmasphere Dynamics T1 - Modellierung der Plasmasphärendynamik N2 - The plasmasphere is a dynamic region of cold, dense plasma surrounding the Earth. Its shape and size are highly susceptible to variations in solar and geomagnetic conditions. Having an accurate model of plasma density in the plasmasphere is important for GNSS navigation and for predicting hazardous effects of radiation in space on spacecraft. The distribution of cold plasma and its dynamic dependence on solar wind and geomagnetic conditions remain, however, poorly quantified. Existing empirical models of plasma density tend to be oversimplified as they are based on statistical averages over static parameters. Understanding the global dynamics of the plasmasphere using observations from space remains a challenge, as existing density measurements are sparse and limited to locations where satellites can provide in-situ observations. In this dissertation, we demonstrate how such sparse electron density measurements can be used to reconstruct the global electron density distribution in the plasmasphere and capture its dynamic dependence on solar wind and geomagnetic conditions. First, we develop an automated algorithm to determine the electron density from in-situ measurements of the electric field on the Van Allen Probes spacecraft. In particular, we design a neural network to infer the upper hybrid resonance frequency from the dynamic spectrograms obtained with the Electric and Magnetic Field Instrument Suite and Integrated Science (EMFISIS) instrumentation suite, which is then used to calculate the electron number density. The developed Neural-network-based Upper hybrid Resonance Determination (NURD) algorithm is applied to more than four years of EMFISIS measurements to produce the publicly available electron density data set. We utilize the obtained electron density data set to develop a new global model of plasma density by employing a neural network-based modeling approach. In addition to the location, the model takes the time history of geomagnetic indices and location as inputs, and produces electron density in the equatorial plane as an output. It is extensively validated using in-situ density measurements from the Van Allen Probes mission, and also by comparing the predicted global evolution of the plasmasphere with the global IMAGE EUV images of He+ distribution. The model successfully reproduces erosion of the plasmasphere on the night side as well as plume formation and evolution, and agrees well with data. The performance of neural networks strongly depends on the availability of training data, which is limited during intervals of high geomagnetic activity. In order to provide reliable density predictions during such intervals, we can employ physics-based modeling. We develop a new approach for optimally combining the neural network- and physics-based models of the plasmasphere by means of data assimilation. The developed approach utilizes advantages of both neural network- and physics-based modeling and produces reliable global plasma density reconstructions for quiet, disturbed, and extreme geomagnetic conditions. Finally, we extend the developed machine learning-based tools and apply them to another important problem in the field of space weather, the prediction of the geomagnetic index Kp. The Kp index is one of the most widely used indicators for space weather alerts and serves as input to various models, such as for the thermosphere, the radiation belts and the plasmasphere. It is therefore crucial to predict the Kp index accurately. Previous work in this area has mostly employed artificial neural networks to nowcast and make short-term predictions of Kp, basing their inferences on the recent history of Kp and solar wind measurements at L1. We analyze how the performance of neural networks compares to other machine learning algorithms for nowcasting and forecasting Kp for up to 12 hours ahead. Additionally, we investigate several machine learning and information theory methods for selecting the optimal inputs to a predictive model of Kp. The developed tools for feature selection can also be applied to other problems in space physics in order to reduce the input dimensionality and identify the most important drivers. Research outlined in this dissertation clearly demonstrates that machine learning tools can be used to develop empirical models from sparse data and also can be used to understand the underlying physical processes. Combining machine learning, physics-based modeling and data assimilation allows us to develop novel methods benefiting from these different approaches. N2 - Die Plasmasphäre ist eine die Erde umgebende dynamische Region aus kaltem, dichtem Plasma. Ihre Form und Größe sind sehr anfällig für Schwankungen der solaren und geomagnetischen Bedingungen. Ein präzises Modell der Plasmadichte in der Plasmasphäre ist wichtig für die GNSS-Navigation und für die Vorhersage gefährlicher Auswirkungen der kosmischen Strahlung auf Raumfahrzeuge. Die Verteilung des kalten Plasmas und seine dynamische Abhängigkeit vom Sonnenwind und den geomagnetischen Bedingungen sind jedoch nach wie vor nur unzureichend quantifiziert. Bestehende empirische Modelle der Plasmadichte sind in der Regel zu stark vereinfacht, da sie auf statistischen Durchschnittswerten statischer Parameter basieren. Das Verständnis der globalen Dynamik der Plasmasphäre anhand von Beobachtungen aus dem Weltraum bleibt eine Herausforderung, da vorhandene Dichtemessungen spärlich sind und sich auf Orte beschränken, an denen Satelliten In-situ-Beobachtungen liefern können. In dieser Dissertation zeigen wir, wie solche spärlichen Elektronendichtemessungen verwendet werden können, um die globale Elektronendichteverteilung in der Plasmasphäre zu rekonstruieren und ihre dynamische Abhängigkeit vom Sonnenwind und den geomagnetischen Bedingungen zu erfassen. Zunächst entwickeln wir einen automatisierten Algorithmus zur Bestimmung der Elektronendichte aus In-situ-Messungen des elektrischen Feldes der Van Allen Probes Raumsonden. Insbesondere entwerfen wir ein neuronales Netzwerk, um die obere Hybridresonanzfrequenz aus den dynamischen Spektrogrammen abzuleiten, die wir durch die Instrumentensuite „Electric and Magnetic Field Instrument Suite“ (EMFISIS) erhielten, welche dann zur Berechnung der Elektronenzahldichte verwendet wird. Der entwickelte „Neural-network-based Upper Hybrid Resonance Determination“ (NURD)-Algorithmus wird auf mehr als vier Jahre der EMFISIS-Messungen angewendet, um den öffentlich verfügbaren Elektronendichte-Datensatz zu erstellen. Wir verwenden den erhaltenen Elektronendichte-Datensatz, um ein neues globales Modell der Plasmadichte zu entwickeln, indem wir einen auf einem neuronalen Netzwerk basierenden Modellierungsansatz verwenden. Zusätzlich zum Ort nimmt das Modell den zeitlichen Verlauf der geomagnetischen Indizes und des Ortes als Eingabe und erzeugt als Ausgabe die Elektronendichte in der äquatorialebene. Dies wird ausführlich anhand von In-situ-Dichtemessungen der Van Allen Probes-Mission und durch den Vergleich der vom Modell vorhergesagten globalen Entwicklung der Plasmasphäre mit den globalen IMAGE EUV-Bildern der He+ -Verteilung validiert. Das Modell reproduziert erfolgreich die Erosion der Plasmasphäre auf der Nachtseite sowie die Bildung und Entwicklung von Fahnen und stimmt gut mit den Daten überein. Die Leistung neuronaler Netze hängt stark von der Verfügbarkeit von Trainingsdaten ab, die für Intervalle hoher geomagnetischer Aktivität nur spärlich vorhanden sind. Um zuverlässige Dichtevorhersagen während solcher Intervalle zu liefern, können wir eine physikalische Modellierung verwenden. Wir entwickeln einen neuen Ansatz zur optimalen Kombination der neuronalen Netzwerk- und physikbasierenden Modelle der Plasmasphäre mittels Datenassimilation. Der entwickelte Ansatz nutzt sowohl die Vorteile neuronaler Netze als auch die physikalischen Modellierung und liefert zuverlässige Rekonstruktionen der globalen Plasmadichte für ruhige, gestörte und extreme geomagnetische Bedingungen. Schließlich erweitern wir die entwickelten auf maschinellem Lernen basierten Werkzeuge und wenden sie auf ein weiteres wichtiges Problem im Bereich des Weltraumwetters an, die Vorhersage des geomagnetischen Index Kp. Der Kp-Index ist einer der am häufigsten verwendeten Indikatoren für Weltraumwetterwarnungen und dient als Eingabe für verschiedene Modelle, z.B. für die Thermosphäre, die Strahlungsgürtel und die Plasmasphäre. Es ist daher wichtig, den Kp-Index genau vorherzusagen. Frühere Arbeiten in diesem Bereich verwendeten hauptsächlich künstliche neuronale Netze, um Kurzzeit-Kp-Vorhersagen zu treffen, wobei deren Schlussfolgerungen auf der jüngsten Vergangenheit von Kp- und Sonnenwindmessungen am L1-Punkt beruhten. Wir analysieren, wie sich die Leistung neuronaler Netze im Vergleich zu anderen Algorithmen für maschinelles Lernen verhält, um kurz- und längerfristige Kp-Voraussagen von bis zu 12 Stunden treffen zu können. Zusätzlich untersuchen wir verschiedene Methoden des maschinellen Lernens und der Informationstheorie zur Auswahl der optimalen Eingaben für ein Vorhersagemodell von Kp. Die entwickelten Werkzeuge zur Merkmalsauswahl können auch auf andere Probleme in der Weltraumphysik angewendet werden, um die Eingabedimensionalität zu reduzieren und die wichtigsten Treiber zu identifizieren. Die in dieser Dissertation skizzierten Untersuchungen zeigen deutlich, dass Werkzeuge für maschinelles Lernen sowohl zur Entwicklung empirischer Modelle aus spärlichen Daten als auch zum Verstehen zugrunde liegender physikalischer Prozesse genutzt werden können. Die Kombination von maschinellem Lernen, physikbasierter Modellierung und Datenassimilation ermöglicht es uns, kombinierte Methoden zu entwickeln, die von unterschiedlichen Ansätzen profitieren. KW - Plasmasphere KW - Inner magnetosphere KW - Neural networks KW - Machine learning KW - Modeling KW - Kp index KW - Geomagnetic activity KW - Data assimilation KW - Validation KW - IMAGE EUV KW - Kalman filter KW - Plasmasphäre KW - Innere Magnetosphäre KW - Neuronale Netze KW - Maschinelles Lernen KW - Modellieren KW - Forecasting KW - Kp-Index KW - Geomagnetische Aktivität KW - Datenassimilation KW - Validierung KW - Kalman Filter KW - Prognose Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-482433 ER -