TY - THES A1 - Seidel, Karen T1 - Modelling binary classification with computability theory T1 - Binäre Klassifikation modellieren mit Berechenbarkeitstheorie N2 - We investigate models for incremental binary classification, an example for supervised online learning. Our starting point is a model for human and machine learning suggested by E.M.Gold. In the first part, we consider incremental learning algorithms that use all of the available binary labeled training data in order to compute the current hypothesis. For this model, we observe that the algorithm can be assumed to always terminate and that the distribution of the training data does not influence learnability. This is still true if we pose additional delayable requirements that remain valid despite a hypothesis output delayed in time. Additionally, we consider the non-delayable requirement of consistent learning. Our corresponding results underpin the claim for delayability being a suitable structural property to describe and collectively investigate a major part of learning success criteria. Our first theorem states the pairwise implications or incomparabilities between an established collection of delayable learning success criteria, the so-called complete map. Especially, the learning algorithm can be assumed to only change its last hypothesis in case it is inconsistent with the current training data. Such a learning behaviour is called conservative. By referring to learning functions, we obtain a hierarchy of approximative learning success criteria. Hereby we allow an increasing finite number of errors of the hypothesized concept by the learning algorithm compared with the concept to be learned. Moreover, we observe a duality depending on whether vacillations between infinitely many different correct hypotheses are still considered a successful learning behaviour. This contrasts the vacillatory hierarchy for learning from solely positive information. We also consider a hypothesis space located between the two most common hypothesis space types in the nearby relevant literature and provide the complete map. In the second part, we model more efficient learning algorithms. These update their hypothesis referring to the current datum and without direct regress to past training data. We focus on iterative (hypothesis based) and BMS (state based) learning algorithms. Iterative learning algorithms use the last hypothesis and the current datum in order to infer the new hypothesis. Past research analyzed, for example, the above mentioned pairwise relations between delayable learning success criteria when learning from purely positive training data. We compare delayable learning success criteria with respect to iterative learning algorithms, as well as learning from either exclusively positive or binary labeled data. The existence of concept classes that can be learned by an iterative learning algorithm but not in a conservative way had already been observed, showing that conservativeness is restrictive. An additional requirement arising from cognitive science research %and also observed when training neural networks is U-shapedness, stating that the learning algorithm does diverge from a correct hypothesis. We show that forbidding U-shapes also restricts iterative learners from binary labeled data. In order to compute the next hypothesis, BMS learning algorithms refer to the currently observed datum and the actual state of the learning algorithm. For learning algorithms equipped with an infinite amount of states, we provide the complete map. A learning success criterion is semantic if it still holds, when the learning algorithm outputs other parameters standing for the same classifier. Syntactic (non-semantic) learning success criteria, for example conservativeness and syntactic non-U-shapedness, restrict BMS learning algorithms. For proving the equivalence of the syntactic requirements, we refer to witness-based learning processes. In these, every change of the hypothesis is justified by a later on correctly classified witness from the training data. Moreover, for every semantic delayable learning requirement, iterative and BMS learning algorithms are equivalent. In case the considered learning success criterion incorporates syntactic non-U-shapedness, BMS learning algorithms can learn more concept classes than iterative learning algorithms. The proofs are combinatorial, inspired by investigating formal languages or employ results from computability theory, such as infinite recursion theorems (fixed point theorems). N2 - Wir untersuchen Modelle für inkrementelle binäre Klassifikation, ein Beispiel für überwachtes online Lernen. Den Ausgangspunkt bildet ein Modell für menschliches und maschinelles Lernen von E.M.Gold. Im ersten Teil untersuchen wir inkrementelle Lernalgorithmen, welche zur Berechnung der Hypothesen jeweils die gesamten binär gelabelten Trainingsdaten heranziehen. Bezogen auf dieses Modell können wir annehmen, dass der Lernalgorithmus stets terminiert und die Verteilung der Trainingsdaten die grundsätzliche Lernbarkeit nicht beeinflusst. Dies bleibt bestehen, wenn wir zusätzliche Anforderungen an einen erfolgreichen Lernprozess stellen, die bei einer zeitlich verzögerten Ausgabe von Hypothesen weiterhin zutreffen. Weiterhin untersuchen wir nicht verzögerbare konsistente Lernprozesse. Unsere Ergebnisse bekräftigen die Behauptung, dass Verzögerbarkeit eine geeignete strukturelle Eigenschaft ist, um einen Großteil der Lernerfolgskriterien zu beschreiben und gesammelt zu untersuchen. Unser erstes Theorem klärt für dieses Modell die paarweisen Implikationen oder Unvergleichbarkeiten innerhalb einer etablierten Auswahl verzögerbarer Lernerfolgskriterien auf. Insbesondere können wir annehmen, dass der inkrementelle Lernalgorithmus seine Hypothese nur dann verändert, wenn die aktuellen Trainingsdaten der letzten Hypothese widersprechen. Ein solches Lernverhalten wird als konservativ bezeichnet. Ausgehend von Resultaten über Funktionenlernen erhalten wir eine strikte Hierarchie von approximativen Lernerfolgskriterien. Hierbei wird eine aufsteigende endliche Zahl von \emph{Anomalien} (Fehlern) des durch den Lernalgorithmus vorgeschlagenen Konzepts im Vergleich zum Lernziel erlaubt. Weiterhin ergibt sich eine Dualität abhängig davon, ob das Oszillieren zwischen korrekten Hypothesen als erfolgreiches Lernen angesehen wird. Dies steht im Gegensatz zur oszillierenden Hierarchie, wenn der Lernalgorithmus von ausschließlich positiven Daten lernt. Auch betrachten wir einen Hypothesenraum, der einen Kompromiss zwischen den beiden am häufigsten in der naheliegenden Literatur vertretenen Arten von Hypothesenräumen darstellt. Im zweiten Teil modellieren wir effizientere Lernalgorithmen. Diese aktualisieren ihre Hypothese ausgehend vom aktuellen Datum, jedoch ohne Zugriff auf die zurückliegenden Trainingsdaten. Wir konzentrieren uns auf iterative (hypothesenbasierte) und BMS (zustandsbasierte) Lernalgorithmen. Iterative Lernalgorithmen nutzen ihre letzte Hypothese und das aktuelle Datum, um die neue Hypothese zu berechnen. Die bisherige Forschung klärt beispielsweise die oben erwähnten paarweisen Vergleiche zwischen den verzögerbaren Lernerfolgskriterien, wenn von ausschließlich positiven Trainingsdaten gelernt wird. Wir vergleichen verzögerbare Lernerfolgskriterien bezogen auf iterative Lernalgorithmen, sowie das Lernen von aussschließlich positiver oder binär gelabelten Daten. Bereits bekannt war die Existenz von Konzeptklassen, die von einem iterativen Lernalgorithmus gelernt werden können, jedoch nicht auf eine konservative Weise. U-shapedness ist ein in den Kognitionswissenschaften beobachtetes Phänomen, demzufolge der Lerner im Lernprozess von einer bereits korrekten Hypothese divergiert. Wir zeigen, dass iterative Lernalgorithmen auch durch das Verbieten von U-Shapes eingeschränkt werden. Zur Berechnung der nächsten Hypothese nutzen BMS-Lernalgorithmen ergänzend zum aktuellen Datum den aktuellen Zustand des Lernalgorithmus. Für Lernalgorithmen, die über unendlich viele mögliche Zustände verfügen, leiten wir alle paarweisen Implikationen oder Unvergleichbarkeiten innerhalb der etablierten Auswahl verzögerbarer Lernerfolgskriterien her. Ein Lernerfolgskriterium ist semantisch, wenn es weiterhin gilt, falls im Lernprozess andere Parameter ausgegeben werden, die jeweils für die gleichen Klassifikatoren stehen. Syntaktische (nicht-semantische) Lernerfolgskriterien, beispielsweise Konservativität und syntaktische Non-U-Shapedness, schränken BMS-Lernalgorithmen ein. Um die Äquivalenz der syntaktischen Lernerfolgskriterien zu zeigen, betrachten wir witness-based Lernprozesse. In diesen wird jeder Hypothesenwechsel durch einen später korrekt klassifizierten Zeugen in den Trainingsdaten gerechtfertig. Weiterhin sind iterative und BMS-Lernalgorithmen für die semantischen verzögerbaren Lernerfolgskriterien jeweils äquivalent. Ist syntaktische Non-U-Shapedness Teil des Lernerfolgskriteriums, sind BMS-Lernalgorithmen mächtiger als iterative Lernalgorithmen. Die Beweise sind kombinatorisch, angelehnt an Untersuchungen zu formalen Sprachen oder nutzen Resultate aus dem Gebiet der Berechenbarkeitstheorie, beispielsweise unendliche Rekursionstheoreme (Fixpunktsätze). KW - Binary Classification KW - Recursion KW - U-Shaped-Learning KW - Simulation KW - Binäre Klassifikation KW - Rekursion KW - U-Förmiges Lernen KW - Simulation Y1 - 2022 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-529988 ER - TY - THES A1 - Engelhardt, Max Angel Ronan T1 - Zwischen Simulation und Beweis - eine mathematische Analyse des Bienaymé-Galton-Watson-Prozesses und sein Einsatz innerhalb des Mathematikunterrichts T1 - Between simulation and proof - a mathematical analysis of the Bienaymé-Galton-Watson-process and its application in mathematics lessons N2 - Die Bienaymé-Galton-Watson Prozesse können für die Untersuchung von speziellen und sich entwickelnden Populationen verwendet werden. Die Populationen umfassen Individuen, welche sich identisch, zufällig, selbstständig und unabhängig voneinander fortpflanzen und die jeweils nur eine Generation existieren. Die n-te Generation ergibt sich als zufällige Summe der Individuen der (n-1)-ten Generation. Die Relevanz dieser Prozesse begründet sich innerhalb der Historie und der inner- und außermathematischen Bedeutung. Die Geschichte der Bienaymé-Galton-Watson-Prozesse wird anhand der Entwicklung des Konzeptes bis heute dargestellt. Dabei werden die Wissenschaftler:innen verschiedener Disziplinen angeführt, die Erkenntnisse zu dem Themengebiet beigetragen und das Konzept in ihren Fachbereichen angeführt haben. Somit ergibt sich die außermathematische Signifikanz. Des Weiteren erhält man die innermathematische Bedeutsamkeit mittels des Konzeptes der Verzweigungsprozesse, welches auf die Bienaymé-Galton-Watson Prozesse zurückzuführen ist. Die Verzweigungsprozesse stellen eines der aussagekräftigsten Modelle für die Beschreibung des Populationswachstums dar. Darüber hinaus besteht die derzeitige Wichtigkeit durch die Anwendungsmöglichkeit der Verzweigungsprozesse und der Bienaymé-Galton-Watson Prozesse innerhalb der Epidemiologie. Es werden die Ebola- und die Corona-Pandemie als Anwendungsfelder angeführt. Die Prozesse dienen als Entscheidungsstütze für die Politik und ermöglichen Aussagen über die Auswirkungen von Maßnahmen bezüglich der Pandemien. Neben den Prozessen werden ebenfalls der bedingte Erwartungswert bezüglich diskreter Zufallsvariablen, die wahrscheinlichkeitserzeugende Funktion und die zufällige Summe eingeführt. Die Konzepte vereinfachen die Beschreibung der Prozesse und bilden somit die Grundlage der Betrachtungen. Außerdem werden die benötigten und weiterführenden Eigenschaften der grundlegenden Themengebiete und der Prozesse aufgeführt und bewiesen. Das Kapitel erreicht seinen Höhepunkt bei dem Beweis des Kritikalitätstheorems, wodurch eine Aussage über das Aussterben des Prozesses in verschiedenen Fällen und somit über die Aussterbewahrscheinlichkeit getätigt werden kann. Die Fälle werden anhand der zu erwartenden Anzahl an Nachkommen eines Individuums unterschieden. Es zeigt sich, dass ein Prozess bei einer zu erwartenden Anzahl kleiner gleich Eins mit Sicherheit ausstirbt und bei einer Anzahl größer als Eins, die Population nicht in jedem Fall aussterben muss. Danach werden einzelne Beispiele, wie der linear fractional case, die Population von Fibroblasten (Bindegewebszellen) von Mäusen und die Entstehungsfragestellung der Prozesse, angeführt. Diese werden mithilfe der erlangten Ergebnisse untersucht und einige ausgewählte zufällige Dynamiken werden im nachfolgenden Kapitel simuliert. Die Simulationen erfolgen durch ein in Python erstelltes Programm und werden mithilfe der Inversionsmethode realisiert. Die Simulationen stellen beispielhaft die Entwicklungen in den verschiedenen Kritikalitätsfällen der Prozesse dar. Zudem werden die Häufigkeiten der einzelnen Populationsgrößen in Form von Histogrammen angebracht. Dabei lässt sich der Unterschied zwischen den einzelnen Fällen bestätigen und es wird die Anwendungsmöglichkeit der Bienaymé-Galton-Watson Prozesse bei komplexeren Problemen deutlich. Histogramme bekräftigen, dass die einzelnen Populationsgrößen nur endlich oft vorkommen. Diese Aussage wurde von Galton aufgeworfen und in der Extinktions-Explosions-Dichotomie verwendet. Die dargestellten Erkenntnisse über das Themengebiet und die Betrachtung des Konzeptes werden mit einer didaktischen Analyse abgeschlossen. Die Untersuchung beinhaltet die Berücksichtigung der Fundamentalen Ideen, der Fundamentalen Ideen der Stochastik und der Leitidee „Daten und Zufall“. Dabei ergibt sich, dass in Abhängigkeit der gewählten Perspektive die Anwendung der Bienaymé-Galton-Watson Prozesse innerhalb der Schule plausibel ist und von Vorteil für die Schüler:innen sein kann. Für die Behandlung wird exemplarisch der Rahmenlehrplan für Berlin und Brandenburg analysiert und mit dem Kernlehrplan Nordrhein-Westfalens verglichen. Die Konzeption des Lehrplans aus Berlin und Brandenburg lässt nicht den Schluss zu, dass die Bienaymé-Galton-Watson Prozesse angewendet werden sollten. Es lässt sich feststellen, dass die zugrunde liegende Leitidee nicht vollumfänglich mit manchen Fundamentalen Ideen der Stochastik vereinbar ist. Somit würde eine Modifikation hinsichtlich einer stärkeren Orientierung des Lehrplans an den Fundamentalen Ideen die Anwendung der Prozesse ermöglichen. Die Aussage wird durch die Betrachtung und Übertragung eines nordrhein-westfälischen Unterrichtsentwurfes für stochastische Prozesse auf die Bienaymé-Galton-Watson Prozesse unterstützt. Darüber hinaus werden eine Concept Map und ein Vernetzungspentagraph nach von der Bank konzipiert um diesen Aspekt hervorzuheben. N2 - The Bienaymé-Galton-Watson processes can be used to study special and developing populations. These populations include individuals that reproduce identically, randomly, separately, independently of each other, and which exist only for one generation. The n-th generation is the random sum of the individuals of the (n-1)-th generation. The relevance of these processes is based on their history and their significance in mathematical and extra-mathematical contexts. The history of the Bienaymé-Galton-Watson processes is illustrated by the development of the concept to the present day. Various scientists from different disciplines who have contributed to the topic in their respective fields are listed. This illustrates moreover the significance in extra-mathematical contexts. Furthermore, the inner- mathematical magnitude is obtained by means of the superordinate concept of branching processes, which can be traced back to the Bienaymé-Galton-Watson processes. These branching processes are one of the most significant models for describing population growth. In addition, the current importance arises from the applicability of branching processes and the Bienaymé-Galton-Watson processes within epidemiology. The Ebola and Corona pandemics are mentioned as fields of application. The processes serve as a basis for political decision-making and enable statements made on the impact of pandemic measures. In addition to the processes, the conditional expectation value for discrete random variables, the probability generating function and the random sum are also introduced. These concepts simplify the description of the processes and thus form the basis of the considerations. Also, the required and further properties of the basic topics and processes are listed and demonstrated. The chapter reaches its climax with the proof of the criticality theorem, whereby a statement can be made about the extinction of the process in different cases and thus about the extinction probability. These cases are distinguished based on the expected number of offspring from the individuals. It turns out that a process with an expected number of less than one certainly becomes extinct. On the contrary, a process with a number greater than one does not necessarily has to die out. Individual examples are then given, such as the linear fractional case, the population of fibroblasts (connective tissue cells) of mice and the question of origin. These are investigated using the results obtained and some selected random dynamics are simulated in the following chapter. The simulations are carried out by a Python self-written program and are realized using the inversion method. These simulations exemplify the developments in the different criticality cases of the processes. Besides, the frequencies of the individual population sizes are displayed in the form of histograms. The difference between the individual cases can be confirmed and the analysis of the fibroblasts reveals the applicability of the Bienaymé-Galton-Watson processes to more complex problems. Histograms confirm that the individual population sizes occur only finitely often. This statement was raised by Galton and is used in the extinction-explosion dichotomy. The presented findings about the topic and the consideration of the concept are concluded with an analysis of didactic-background. This involves the fundamental ideas, the fundamental ideas of stochastics and the guiding idea of data and chance. Depending on the chosen perspective, the use of the Bienaymé-Galton-Watson processes within the school is plausible and may be beneficial for the students. For the treatment, the Rahmenlehrplan for Berlin and Brandenburg is analysed and compared with the core curriculum of Nord Rhine-Westphalia as an example. The design of the curriculum of Berlin and Brandenburg does not allow the conclusion of applying the Bienaymé-Galton-Watson processes. It can be seen that the underlying guiding idea is not fully compatible with some fundamental ideas of stochastics. Thus, a modification to the curriculum more oriented towards these fundamental ideas would allow the application of the processes. This statement is supported by the observation and transfer of a North Rhine-Westphalian teaching design for stochastic processes to the Bienaymé-Galton-Watson processes by means of chain letters. In addition, a concept map and a Vernetzungspentagraph by von der Bank are designed to highlight this aspect. KW - Bienaymé-Galton-Watson Prozess KW - Kritikalitätstheorem KW - Verzweigungsprozess KW - Populationen KW - linear fractional case KW - bedingter Erwartungswert KW - zufällige Summe KW - Simulation KW - wahrscheinlichkeitserzeugende Funktion KW - Historie der Verzweigungsprozesse KW - Instabilität des Prozesses KW - Aussterbewahrscheinlichkeit KW - Geometrische Reproduktionsverteilung KW - Fibroblasten KW - Entstehungsfragestellung KW - Fundamentale Ideen KW - Leitidee „Daten und Zufall“ KW - Rahmenlehrplan KW - Markov-Ketten KW - Corona KW - Bienaymé-Galton-Watson process KW - criticality theorem KW - branching process KW - populations KW - linear fractional case KW - conditional expectation value KW - random sum KW - simulation KW - probability generating function KW - history of branching processes KW - instability of the process KW - extinction probability KW - geometric reproduction distribution KW - fibroblasts KW - question of origin KW - fundamental ideas KW - guiding idea “Daten und Zufall” KW - Rahmenlehrplan KW - Markov chains KW - Corona Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-524474 ER - TY - THES A1 - Grum, Marcus T1 - Construction of a concept of neuronal modeling N2 - The business problem of having inefficient processes, imprecise process analyses, and simulations as well as non-transparent artificial neuronal network models can be overcome by an easy-to-use modeling concept. With the aim of developing a flexible and efficient approach to modeling, simulating, and optimizing processes, this paper proposes a flexible Concept of Neuronal Modeling (CoNM). The modeling concept, which is described by the modeling language designed and its mathematical formulation and is connected to a technical substantiation, is based on a collection of novel sub-artifacts. As these have been implemented as a computational model, the set of CoNM tools carries out novel kinds of Neuronal Process Modeling (NPM), Neuronal Process Simulations (NPS), and Neuronal Process Optimizations (NPO). The efficacy of the designed artifacts was demonstrated rigorously by means of six experiments and a simulator of real industrial production processes. N2 - Die vorliegende Arbeit addressiert das Geschäftsproblem von ineffizienten Prozessen, unpräzisen Prozessanalysen und -simulationen sowie untransparenten künstlichen neuronalen Netzwerken, indem ein Modellierungskonzept zum Neuronalen Modellieren konstruiert wird. Dieses neuartige Konzept des Neuronalen Modellierens (CoNM) fungiert als flexibler und effizienter Ansatz zum Modellieren, Simulieren und Optimieren von Prozessen mit Hilfe von neuronalen Netzwerken und wird mittels einer Modellierungssprache, dessen mathematischen Formalisierung und technischen Substanziierung sowie einer Sammlung von neuartigen Subartefakten beschrieben. In der Verwendung derer Implementierung als CoNM-Werkzeuge können somit neue Arten einer Neuronalen-Prozess-Modellierung (NPM), Neuronalen-Prozess-Simulation (NPS) sowie Neuronalen-Prozess-Optimierung (NPO) realisiert werden. Die Wirksamkeit der erstellten Artefakte wurde anhand von sechs Experimenten demonstriert sowie in einem Simulator in realen Produktionsprozessen gezeigt. T2 - Konzept des Neuronalen Modellierens KW - Deep Learning KW - Artificial Neuronal Network KW - Explainability KW - Interpretability KW - Business Process KW - Simulation KW - Optimization KW - Knowledge Management KW - Process Management KW - Modeling KW - Process KW - Knowledge KW - Learning KW - Enterprise Architecture KW - Industry 4.0 KW - Künstliche Neuronale Netzwerke KW - Erklärbarkeit KW - Interpretierbarkeit KW - Geschäftsprozess KW - Simulation KW - Optimierung KW - Wissensmanagement KW - Prozessmanagement KW - Modellierung KW - Prozess KW - Wissen KW - Lernen KW - Enterprise Architecture KW - Industrie 4.0 Y1 - 2021 ER -