TY - THES A1 - Sidarenka, Uladzimir T1 - Sentiment analysis of German Twitter T1 - Sentimentanalyse des deutschen Twitters N2 - The immense popularity of online communication services in the last decade has not only upended our lives (with news spreading like wildfire on the Web, presidents announcing their decisions on Twitter, and the outcome of political elections being determined on Facebook) but also dramatically increased the amount of data exchanged on these platforms. Therefore, if we wish to understand the needs of modern society better and want to protect it from new threats, we urgently need more robust, higher-quality natural language processing (NLP) applications that can recognize such necessities and menaces automatically, by analyzing uncensored texts. Unfortunately, most NLP programs today have been created for standard language, as we know it from newspapers, or, in the best case, adapted to the specifics of English social media. This thesis reduces the existing deficit by entering the new frontier of German online communication and addressing one of its most prolific forms—users’ conversations on Twitter. In particular, it explores the ways and means by how people express their opinions on this service, examines current approaches to automatic mining of these feelings, and proposes novel methods, which outperform state-of-the-art techniques. For this purpose, I introduce a new corpus of German tweets that have been manually annotated with sentiments, their targets and holders, as well as lexical polarity items and their contextual modifiers. Using these data, I explore four major areas of sentiment research: (i) generation of sentiment lexicons, (ii) fine-grained opinion mining, (iii) message-level polarity classification, and (iv) discourse-aware sentiment analysis. In the first task, I compare three popular groups of lexicon generation methods: dictionary-, corpus-, and word-embedding–based ones, finding that dictionary-based systems generally yield better polarity lists than the last two groups. Apart from this, I propose a linear projection algorithm, whose results surpass many existing automatically-generated lexicons. Afterwords, in the second task, I examine two common approaches to automatic prediction of sentiment spans, their sources, and targets: conditional random fields (CRFs) and recurrent neural networks, obtaining higher scores with the former model and improving these results even further by redefining the structure of CRF graphs. When dealing with message-level polarity classification, I juxtapose three major sentiment paradigms: lexicon-, machine-learning–, and deep-learning–based systems, and try to unite the first and last of these method groups by introducing a bidirectional neural network with lexicon-based attention. Finally, in order to make the new classifier aware of microblogs' discourse structure, I let it separately analyze the elementary discourse units of each tweet and infer the overall polarity of a message from the scores of its EDUs with the help of two new approaches: latent-marginalized CRFs and Recursive Dirichlet Process. N2 - Die enorme Popularität von Online-Kommunikationsdiensten in den letzten Jahrzehnten hat nicht unser Leben massiv geändert (sodass Nachrichten sich wie Fegefeuer übers Internet ausbreiten, Präsidenten ihre Entscheidungen auf Twitter ankündigen, und Ergebnisse politischer Wahlen auf Facebook entschieden werden) sondern auch zu einem dramatischen Anstieg der Datenmenge geführt, die über solche Plattformen ausgetauscht werden. Deswegen braucht man heutzutage dringend zuverlässige, qualitätvolle NLP-Programme, um neue gesellschaftliche Bedürfnisse und Risiken in unzensierten Nutzernachrichten automatisch erkennen und abschätzen zu können. Leider sind die meisten modernen NLP-Anwendungen entweder auf die Analyse der Standardsprache (wie wir sie aus Zeitungstexten kennen) ausgerichtet oder im besten Fall an die Spezifika englischer Social Media angepasst. Diese Dissertation reduziert den bestehenden Rückstand, indem sie das "Neuland" der deutschen Online-Kommunikation betritt und sich einer seiner produktivsten Formen zuwendet—den User-Diskussionen auf Twitter. Diese Arbeit erforscht insbesondere die Art und Weise, wie Leute ihre Meinungen auf diesem Online-Service äußern, analysiert existierende Verfahren zur automatischen Erkennung ihrer Gefühle und schlägt neue Verfahren vor, die viele heutige State-of-the-Art-Systeme übertreffen. Zu diesem Zweck stelle ich ein neues Korpus deutscher Tweets vor, die manuell von zwei menschlichen Experten mit Sentimenten (polaren Meinungen), ihren Quellen (sources) und Zielen (targets) sowie lexikalischen polaren Termen und deren kontextuellen Modifizierern annotiert wurden. Mithilfe dieser Daten untersuche ich vier große Teilgebiete der Sentimentanalyse: (i) automatische Generierung von Sentiment-Lexika, (ii) aspekt-basiertes Opinion-Mining, (iii) Klassifizierung der Polarität von ganzen Nachrichten und (iv) diskurs-bewusste Sentimentanalyse. In der ersten Aufgabe vergleiche ich drei populäre Gruppen von Lexikongenerierungsmethoden: wörterbuch-, corpus- und word-embedding-basierte Verfahren, und komme zu dem Schluss, dass wörterbuch-basierte Ansätze generell bessere Polaritätslexika liefern als die letzten zwei Gruppen. Abgesehen davon, schlage ich einen neuen Linearprojektionsalgorithmus vor, dessen Resultate deutlich besser als viele automatisch generierte Polaritätslisten sind. Weiterhin, in der zweiten Aufgabe, untersuche ich zwei gängige Herangehensweisen an die automatische Erkennung der Textspannen von Sentimenten, Sources und Targets: Conditional Random Fields (CRFs) und rekurrente neuronale Netzwerke. Ich erziele bessere Ergebnisse mit der ersten Methode und verbessere diese Werte noch weiter durch alternative Topologien der CRF-Graphen. Bei der Analyse der Nachrichtenpolarität stelle ich drei große Sentiment-Paradigmen gegenüber: lexikon-, Machine-Learning–, und Deep-Learning–basierte Systeme, und versuche die erste und die letzte dieser Gruppen in einem Verfahren zu vereinigen, indem ich eine neue neuronale Netzwerkarchitektur vorschlage: bidirektionales rekurrentes Netzwerk mit lexikon-basierter Attention (LBA). Im letzten Kapitel unternehme ich einen Versuch, die Prädiktion der Gesamtpolarität von Tweets über die Diskursstruktur der Nachrichten zu informieren. Zu diesem Zweck wende ich den vorgeschlagenen LBA-Klassifikator separat auf jede einzelne elementare Diskurs-Einheit (EDU) eines Microblogs an und induziere die allgemeine semantische Ausrichtung dieser Nachricht mithilfe von zwei neuen Methoden: latenten marginalisierten CRFs und rekursivem Dirichlet-Prozess. KW - sentiment analysis KW - opinion mining KW - social media KW - Twitter KW - natural language processing KW - discourse analysis KW - NLP KW - computational linguistics KW - machine learning KW - Sentimentanalyse KW - Computerlinguistik KW - Meinungsforschung Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-437422 ER - TY - THES A1 - Rezaei, Mina T1 - Deep representation learning from imbalanced medical imaging N2 - Medical imaging plays an important role in disease diagnosis, treatment planning, and clinical monitoring. One of the major challenges in medical image analysis is imbalanced training data, in which the class of interest is much rarer than the other classes. Canonical machine learning algorithms suppose that the number of samples from different classes in the training dataset is roughly similar or balance. Training a machine learning model on an imbalanced dataset can introduce unique challenges to the learning problem. A model learned from imbalanced training data is biased towards the high-frequency samples. The predicted results of such networks have low sensitivity and high precision. In medical applications, the cost of misclassification of the minority class could be more than the cost of misclassification of the majority class. For example, the risk of not detecting a tumor could be much higher than referring to a healthy subject to a doctor. The current Ph.D. thesis introduces several deep learning-based approaches for handling class imbalanced problems for learning multi-task such as disease classification and semantic segmentation. At the data-level, the objective is to balance the data distribution through re-sampling the data space: we propose novel approaches to correct internal bias towards fewer frequency samples. These approaches include patient-wise batch sampling, complimentary labels, supervised and unsupervised minority oversampling using generative adversarial networks for all. On the other hand, at algorithm-level, we modify the learning algorithm to alleviate the bias towards majority classes. In this regard, we propose different generative adversarial networks for cost-sensitive learning, ensemble learning, and mutual learning to deal with highly imbalanced imaging data. We show evidence that the proposed approaches are applicable to different types of medical images of varied sizes on different applications of routine clinical tasks, such as disease classification and semantic segmentation. Our various implemented algorithms have shown outstanding results on different medical imaging challenges. N2 - Medizinische Bildanalyse spielt eine wichtige Rolle bei der Diagnose von Krankheiten, der Behandlungsplanung, und der klinischen Überwachung. Eines der großen Probleme in der medizinischen Bildanalyse ist das Vorhandensein von nicht ausbalancierten Trainingsdaten, bei denen die Anzahl der Datenpunkte der Zielklasse in der Unterzahl ist. Die Aussagen eines Modells, welches auf einem unbalancierten Datensatz trainiert wurde, tendieren dazu Datenpunkte in die Klasse mit der Mehrzahl an Trainingsdaten einzuordnen. Die Aussagen eines solchen Modells haben eine geringe Sensitivität aber hohe Genauigkeit. Im medizinischen Anwendungsbereich kann die Einordnung eines Datenpunktes in eine falsche Klasse Schwerwiegende Ergebnisse mit sich bringen. In die Nichterkennung eines Tumors Beispielsweise brigt ein viel höheres Risiko für einen Patienten, als wenn ein gesunder Patient zum Artz geschickt wird. Das Problem des Lernens unter Nutzung von nicht ausbalancierten Trainingsdaten wird erst seit Kurzem bei der Klassifizierung von Krankheiten, der Entdeckung von Tumoren und beider Segmentierung von Tumoren untersucht. In der Literatur wird hier zwischen zwei verschiedenen Ansätzen unterschieden: datenbasierte und algorithmische Ansätze. Die vorliegende Arbeit behandelt das Lernen unter Nutzung von unbalancierten medizinischen Bilddatensätzen mittels datenbasierter und algorithmischer Ansätze. Bei den datenbasierten Ansätzen ist es unser Ziel, die Datenverteilung durch gezieltes Nutzen der vorliegenden Datenbasis auszubalancieren. Dazu schlagen wir neuartige Ansätze vor, um eine ausgeglichene Einordnung der Daten aus seltenen Klassen vornehmen zu können. Diese Ansätze sind unter anderem synthesize minority class sampling, patient-wise batch normalization, und die Erstellung von komplementären Labels unter Nutzung von generative adversarial networks. Auf der Seite der algorithmischen Ansätze verändern wir den Trainingsalgorithmus, um die Tendenz in Richtung der Klasse mit der Mehrzahl an Trainingsdaten zu verringern. Dafür schlagen wir verschiedene Algorithmen im Bereich des kostenintensiven Lernens, Ensemble-Lernens und des gemeinsamen Lernens vor, um mit stark unbalancierten Trainingsdaten umgehen zu können. Wir zeigen, dass unsere vorgeschlagenen Ansätze für verschiedenste Typen von medizinischen Bildern, mit variierender Größe, auf verschiedene Anwendungen im klinischen Alltag, z. B. Krankheitsklassifizierung, oder semantische Segmentierung, anwendbar sind. Weiterhin haben unsere Algorithmen hervorragende Ergebnisse bei unterschiedlichen Wettbewerben zur medizinischen Bildanalyse gezeigt. KW - machine learning KW - deep learning KW - computer vision KW - imbalanced learning KW - medical image analysis KW - Maschinenlernen KW - tiefes Lernen KW - unbalancierter Datensatz KW - Computervision KW - medizinische Bildanalyse Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-442759 ER - TY - THES A1 - Hoang, Yen T1 - De novo binning strategy to analyze and visualize multi-dimensional cytometric data T1 - De novo Binning-Ansatz zur Untersuchung und Visualisierung von multidimensionalen Zytrometriedaten BT - engineering of combinatorial variables for supervised learning approaches N2 - Since half a century, cytometry has been a major scientific discipline in the field of cytomics - the study of system’s biology at single cell level. It enables the investigation of physiological processes, functional characteristics and rare events with proteins by analysing multiple parameters on an individual cell basis. In the last decade, mass cytometry has been established which increased the parallel measurement to up to 50 proteins. This has shifted the analysis strategy from conventional consecutive manual gates towards multi-dimensional data processing. Novel algorithms have been developed to tackle these high-dimensional protein combinations in the data. They are mainly based on clustering or non-linear dimension reduction techniques, or both, often combined with an upstream downsampling procedure. However, these tools have obstacles either in comprehensible interpretability, reproducibility, computational complexity or in comparability between samples and groups. To address this bottleneck, a reproducible, semi-automated cytometric data mining workflow PRI (pattern recognition of immune cells) is proposed which combines three main steps: i) data preparation and storage; ii) bin-based combinatorial variable engineering of three protein markers, the so called triploTs, and subsequent sectioning of these triploTs in four parts; and iii) deployment of a data-driven supervised learning algorithm, the cross-validated elastic-net regularized logistic regression, with these triploT sections as input variables. As a result, the selected variables from the models are ranked by their prevalence, which potentially have discriminative value. The purpose is to significantly facilitate the identification of meaningful subpopulations, which are most distinguish between two groups. The proposed workflow PRI is exemplified by a recently published public mass cytometry data set. The authors found a T cell subpopulation which is discriminative between effective and ineffective treatment of breast carcinomas in mice. With PRI, that subpopulation was not only validated, but was further narrowed down as a particular Th1 cell population. Moreover, additional insights of combinatorial protein expressions are revealed in a traceable manner. An essential element in the workflow is the reproducible variable engineering. These variables serve as basis for a clearly interpretable visualization, for a structured variable exploration and as input layers in neural network constructs. PRI facilitates the determination of marker levels in a semi-continuous manner. Jointly with the combinatorial display, it allows a straightforward observation of correlating patterns, and thus, the dominant expressed markers and cell hierarchies. Furthermore, it enables the identification and complex characterization of discriminating subpopulations due to its reproducible and pseudo-multi-parametric pattern presentation. This endorses its applicability as a tool for unbiased investigations on cell subsets within multi-dimensional cytometric data sets. N2 - Massen- und Durchflusszytometrie-Messungen ermöglichen die detaillierte Einteilung von Zellgruppen nach Eigenschaften vor allem in der Diagnostik und in der Grundlagenforschung anhand der Erfassung von biologischen Informationen auf Einzelzellebene. Sie unterstützen die detaillierte Analyse von komplexen, zellulären Zusammenhängen, um physiologische und pathophysiologische Prozesse zu erkennen, und funktionelle oder krankheitsspezifische Characteristika und rare Zellgruppen genauer zu spezifizieren und zu extrahieren. In den letzten Jahren haben zytometrische Technologien einen enormen Innovationssprung erfahren, sodass heutzutage bis zu 50 Proteine pro Zelle parallel gemessen werden können. Und das mit einem Durchsatz von Hunderttausenden bis mehreren Millionen von Zellen aus einer Probe. Bei der Zunahme der Messparameter steigen jedoch die Dimensionen der kombinierten Parameter exponentiell, sodass eine komplexe Kombinatorik entsteht, die mit konventionellen, manuellen Untersuchungen von bi-axialen Diagrammen nicht mehr durchführbar sind. Derzeit gibt es schon viele neue Datenanalyse-Ansätze, die vorranging auf Cluster- bzw. Dimensionsreduktionstechniken basieren und meist mit einem vorgeschalteten Downsampling in Kombination eingesetzt werden. Diese Tools produzieren aber komplexe Ergebnisse, die größtenteils nicht reproduzierbar sind oder Proben- und Gruppenvergleiche erschweren. Um dieses Problem anzugehen wurde in dieser Dissertation ein reproduzierbarer, halbautomatisierter Datenanalyse-Workflow namens PRI entwickelt, was für pattern recognition of immune cells (Mustererkennung von Immunzellen) steht. Dieser Workflow ist in drei Hauptteile untergliedert: die Datenvorbereitung und -Ablage; die Entwicklung innovativer, bin-basierter Merkmale von drei kombinierten Parametern namens TriploTs und dessen weiterführende Einteilung in vier gleich große TriploT-Areale; und die Anwendung von einem maschinellen Lernansatz basierend auf der Information von diesen Arealen. Als Ergebnis bekommt man eine Selektion der Areale, die am häufigsten von den überwachten Modellen ausgewählt wurden. Dies soll dem Wissenschaftler entscheidend dabei helfen, Zellpopulationen zu identifizieren, die am besten zwischen zwei Gruppen unterscheiden. Der vorgestellte Workflow PRI ist exemplarisch an einem kürzlich veröffentlichten Massenzytometrie-Datensatz validiert worden. Die von den Originalautoren hervorgehobene Zellpopulation konnte nicht nur identifiziert werden, sondern sogar wesentlich weiter spezifiziert werden. Außerdem wurden weitere Erkenntnisse von relevanten, kombinatorischen Proteinexpressionen festgestellt. Die Entwicklung der reproduzierbaren TriploTs führt dazu, dass sie als Basis für verständliche und leicht interpretierbare Visualisierungen, für eine strukturierte Erforschung der Daten mithilfe der Selektion der Areale, und für neuronale Netzwerkkonstrukte genutzt werden können. PRI ermöglicht eine optimierte, semi-kontinuierliche Bestimmung der Expressionsstufen, die die Identifizierung von dominant vorherrschenden und diskriminierenden Proteinen in Zellsubpopulationen wesentlich erleichtert. Darüberhinaus erlaubt es die intuitive Erfassung von korrelierenden Mustern durch die innovative, reproduzierbare Darstellung der Proteinkombinationen und hilft bei der Erforschung von Zellsubpopulationen. KW - machine learning KW - feature engineering KW - machinelles Lernen KW - Feature Engineering Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-443078 ER -