TY - THES A1 - Freitas da Cruz, Harry T1 - Standardizing clinical predictive modeling T1 - Standardisierung der klinischen Vorhersagemodellierung BT - standardizing development, validation, and interpretation of clinical prediction models BT - Standardisierung der Entwicklung, Validierung und Interpretierung von klinischen Vorhersagemodellen N2 - An ever-increasing number of prediction models is published every year in different medical specialties. Prognostic or diagnostic in nature, these models support medical decision making by utilizing one or more items of patient data to predict outcomes of interest, such as mortality or disease progression. While different computer tools exist that support clinical predictive modeling, I observed that the state of the art is lacking in the extent to which the needs of research clinicians are addressed. When it comes to model development, current support tools either 1) target specialist data engineers, requiring advanced coding skills, or 2) cater to a general-purpose audience, therefore not addressing the specific needs of clinical researchers. Furthermore, barriers to data access across institutional silos, cumbersome model reproducibility and extended experiment-to-result times significantly hampers validation of existing models. Similarly, without access to interpretable explanations, which allow a given model to be fully scrutinized, acceptance of machine learning approaches will remain limited. Adequate tool support, i.e., a software artifact more targeted at the needs of clinical modeling, can help mitigate the challenges identified with respect to model development, validation and interpretation. To this end, I conducted interviews with modeling practitioners in health care to better understand the modeling process itself and ascertain in what aspects adequate tool support could advance the state of the art. The functional and non-functional requirements identified served as the foundation for a software artifact that can be used for modeling outcome and risk prediction in health research. To establish the appropriateness of this approach, I implemented a use case study in the Nephrology domain for acute kidney injury, which was validated in two different hospitals. Furthermore, I conducted user evaluation to ascertain whether such an approach provides benefits compared to the state of the art and the extent to which clinical practitioners could benefit from it. Finally, when updating models for external validation, practitioners need to apply feature selection approaches to pinpoint the most relevant features, since electronic health records tend to contain several candidate predictors. Building upon interpretability methods, I developed an explanation-driven recursive feature elimination approach. This method was comprehensively evaluated against state-of-the art feature selection methods. Therefore, this thesis' main contributions are three-fold, namely, 1) designing and developing a software artifact tailored to the specific needs of the clinical modeling domain, 2) demonstrating its application in a concrete case in the Nephrology context and 3) development and evaluation of a new feature selection approach applicable in a validation context that builds upon interpretability methods. In conclusion, I argue that appropriate tooling, which relies on standardization and parametrization, can support rapid model prototyping and collaboration between clinicians and data scientists in clinical predictive modeling. N2 - Die Zahl der jährlich veröffentlichten Vorhersagemodelle in verschiedenen medizinischen Fachrichtungen nimmt stetig zu. Solche prognostischen oder diagnostischen Modelle helfen bei der medizinischen Entscheidungsfindung, indem sie zum Beispiel Vorhersagen zur Mortalität oder zum Krankheitsverlauf erlauben. Obwohl bereits Softwarewerkzeuge für die Entwicklung klinischer Vorhersagemodelle existieren, genügt der Stand der Technik noch immer nicht den Anforderungen klinischer Wissenschaftler. So kommt es, dass aktuelle Softwarewerkzeuge zur Modellentwicklung entweder 1) auf die Anforderungen von Datenwissenschaftlicher zugeschnitten sind und folglich Programmierkenntnisse voraussetzen, oder 2) zu generisch sind und somit den tatsächlichen Anforderungen klinischer Wissenschaftler nicht gerecht werden. Überdies wird die Reproduzierbarkeit der Modelle sowie die Durchführung und Validierung von Experimenten durch verteilte Datenbestände und Informationen, sogenannte Datensilos, stark eingeschränkt. Ähnlich verhält es sich bei der Akzeptanz von Modellen des maschinellen Lernens, welche ohne interpretierbare Erklärungen von Vorhersagen kaum gegeben sein dürfte. Eine auf diese Anforderungen klinischer Modellbildung ausgerichtete Softwarelösung kann dabei helfen, die identifizierten Herausforderungen bezüglich Modellentwicklung, -validierung und -interpretation zu bewältigen und die Akzeptanz und Nutzung unter Klinikern zu stärken. Um den Modellierungsprozess zu verstehen und zu eruieren, in welchem Ausmaß eine angemessene Softwarelösung den Stand der Technik voranbringen könnte, wurden im Zuge dieser Arbeit Interviews mit praktizierenden Modellierern im Gesundheitsbereich geführt. Daraus leiten sich funktionale und nichtfunktionale Anforderungen ab, die als Grundlage eines Softwareartefaktes für die Modellierung von Outcome- und Risikovorhersagen in der Gesundheitsforschung verwendet wurden. Um die Eignung meines Ansatzes zu verifizieren, habe ich den Anwendungsfall „akutes Nierenversagen“ im Bereich der Nephrologie in zwei verschiedenen Krankenhäusern betrachtet und validiert. Darüber hinaus wurde eine Nutzerevaluierung durchgeführt um herauszufinden, ob ein solcher Ansatz im Vergleich zum Stand der Technik Vorteile bietet und inwieweit klinische Praktiker davon profitieren können. Außerdem müssen praktizierende Kliniker bei der Aktualisierung von Modellen für die externe Validierung Ansätze zur Merkmalsselektion anwenden, da elektronische Gesundheitsakten in der Regel mehrere erklärende Merkmale enthalten. Aufbauend auf Methoden zur Interpretierbarkeit habe ich einen erklärungsorientierten rekursiven Eliminierungsansatz entwickelt. Dieser neue Ansatz wurde umfassend mit Standardverfahren der Merkmalsselektion verglichen. Daraus leiten sich folgende Forschungsbeiträge dieser Arbeit ab: 1) Entwurf und Entwicklung eines Softwareartefakts, welches auf die speziellen Bedürfnisse der klinischen Modellierungsdomäne zugeschnitten ist, 2) Demonstration seiner Anwendbarkeit für das konkrete Fallbeispiel „akutes Nierenversagen“ und 3) Entwicklung und Evaluierung eines neuen, auf Interpretierbarkeitsmethoden basierenden Ansatzes, zur Merkmalsselektion in einem Validierungskontext. Zusammenfassend ist zu folgern, dass ein geeignetes auf Standardisierung und Parametrisierung gestütztes Tool die schnelle prototypische Entwicklung und die Zusammenarbeit von Klinikern und Datenwissenschaftlern an klinischen Vorhersagemodellen unterstützen kann. KW - Predictive Modeling KW - Prädiktive Modellierung KW - Clinical Data KW - Klinische Daten KW - Künstliche Intelligenz KW - Vorhersagemodellierung KW - Überwachtes Lernen KW - Artificial Intelligence KW - Supervised Learning Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-514960 ER - TY - JOUR A1 - Datta, Suparno A1 - Sachs, Jan Philipp A1 - Freitas da Cruz, Harry A1 - Martensen, Tom A1 - Bode, Philipp A1 - Morassi Sasso, Ariane A1 - Glicksberg, Benjamin S. A1 - Böttinger, Erwin T1 - FIBER BT - enabling flexible retrieval of electronic health records data for clinical predictive modeling JF - JAMIA open N2 - Objectives: The development of clinical predictive models hinges upon the availability of comprehensive clinical data. Tapping into such resources requires considerable effort from clinicians, data scientists, and engineers. Specifically, these efforts are focused on data extraction and preprocessing steps required prior to modeling, including complex database queries. A handful of software libraries exist that can reduce this complexity by building upon data standards. However, a gap remains concerning electronic health records (EHRs) stored in star schema clinical data warehouses, an approach often adopted in practice. In this article, we introduce the FlexIBle EHR Retrieval (FIBER) tool: a Python library built on top of a star schema (i2b2) clinical data warehouse that enables flexible generation of modeling-ready cohorts as data frames. Materials and Methods: FIBER was developed on top of a large-scale star schema EHR database which contains data from 8 million patients and over 120 million encounters. To illustrate FIBER's capabilities, we present its application by building a heart surgery patient cohort with subsequent prediction of acute kidney injury (AKI) with various machine learning models. Results: Using FIBER, we were able to build the heart surgery cohort (n = 12 061), identify the patients that developed AKI (n = 1005), and automatically extract relevant features (n = 774). Finally, we trained machine learning models that achieved area under the curve values of up to 0.77 for this exemplary use case. Conclusion: FIBER is an open-source Python library developed for extracting information from star schema clinical data warehouses and reduces time-to-modeling, helping to streamline the clinical modeling process. KW - databases KW - factual KW - electronic health records KW - information storage and KW - retrieval KW - workflow KW - software/instrumentation Y1 - 2021 U6 - https://doi.org/10.1093/jamiaopen/ooab048 SN - 2574-2531 VL - 4 IS - 3 PB - Oxford Univ. Press CY - Oxford ER - TY - JOUR A1 - Freitas da Cruz, Harry A1 - Pfahringer, Boris A1 - Martensen, Tom A1 - Schneider, Frederic A1 - Meyer, Alexander A1 - Böttinger, Erwin A1 - Schapranow, Matthieu-Patrick T1 - Using interpretability approaches to update "black-box" clinical prediction models BT - an external validation study in nephrology JF - Artificial intelligence in medicine : AIM N2 - Despite advances in machine learning-based clinical prediction models, only few of such models are actually deployed in clinical contexts. Among other reasons, this is due to a lack of validation studies. In this paper, we present and discuss the validation results of a machine learning model for the prediction of acute kidney injury in cardiac surgery patients initially developed on the MIMIC-III dataset when applied to an external cohort of an American research hospital. To help account for the performance differences observed, we utilized interpretability methods based on feature importance, which allowed experts to scrutinize model behavior both at the global and local level, making it possible to gain further insights into why it did not behave as expected on the validation cohort. The knowledge gleaned upon derivation can be potentially useful to assist model update during validation for more generalizable and simpler models. We argue that interpretability methods should be considered by practitioners as a further tool to help explain performance differences and inform model update in validation studies. KW - Clinical predictive modeling KW - Nephrology KW - Validation KW - Interpretability KW - methods Y1 - 2021 U6 - https://doi.org/10.1016/j.artmed.2020.101982 SN - 0933-3657 SN - 1873-2860 VL - 111 PB - Elsevier CY - Amsterdam ER -