Kai Hauke Krämer

• In our daily life, recurrence plays an important role on many spatial and temporal scales and in different contexts. It is the foundation of learning, be it in an evolutionary or in a neural context. It therefore seems natural that recurrence is also a fundamental concept in theoretical dynamical systems science. The way in which states of a system recur or develop in a similar way from similar initial states makes it possible to infer information about the underlying dynamics of the system. The mathematical space in which we define the state of a system (state space) is often high dimensional, especially in complex systems that can also exhibit chaotic dynamics. The recurrence plot (RP) enables us to visualize the recurrences of any high-dimensional systems in a two-dimensional, binary representation. Certain patterns in RPs can be related to physical properties of the underlying system, making the qualitative and quantitative analysis of RPs an integral part of nonlinear systems science. The presented work has a methodological focusIn our daily life, recurrence plays an important role on many spatial and temporal scales and in different contexts. It is the foundation of learning, be it in an evolutionary or in a neural context. It therefore seems natural that recurrence is also a fundamental concept in theoretical dynamical systems science. The way in which states of a system recur or develop in a similar way from similar initial states makes it possible to infer information about the underlying dynamics of the system. The mathematical space in which we define the state of a system (state space) is often high dimensional, especially in complex systems that can also exhibit chaotic dynamics. The recurrence plot (RP) enables us to visualize the recurrences of any high-dimensional systems in a two-dimensional, binary representation. Certain patterns in RPs can be related to physical properties of the underlying system, making the qualitative and quantitative analysis of RPs an integral part of nonlinear systems science. The presented work has a methodological focus and further develops recurrence analysis (RA) by addressing current research questions related to an increasing amount of available data and advances in machine learning techniques. By automatizing a central step in RA, namely the reconstruction of the state space from measured experimental time series, and by investigating the impact of important free parameters this thesis aims to make RA more accessible to researchers outside of physics. The first part of this dissertation is concerned with the reconstruction of the state space from time series. To this end, a novel idea is proposed which automates the reconstruction problem in the sense that there is no need to preprocesse the data or estimate parameters a priori. The key idea is that the goodness of a reconstruction can be evaluated by a suitable objective function and that this function is minimized in the embedding process. In addition, the new method can process multivariate time series input data. This is particularly important because multi-channel sensor-based observations are ubiquitous in many research areas and continue to increase. Building on this, the described minimization problem of the objective function is then processed using a machine learning approach. In the second part technical and methodological aspects of RA are discussed. First, we mathematically justify the idea of setting the most influential free parameter in RA, the recurrence threshold ε, in relation to the distribution of all pairwise distances in the data. This is especially important when comparing different RPs and their quantification statistics and is fundamental to any comparative study. Second, some aspects of recurrence quantification analysis (RQA) are examined. As correction schemes for biased RQA statistics, which are based on diagonal lines, we propose a simple method for dealing with border effects of an RP in RQA and a skeletonization algorithm for RPs. This results in less biased (diagonal line based) RQA statistics for flow-like data. Third, a novel type of RQA characteristic is developed, which can be viewed as a generalized non-linear powerspectrum of high dimensional systems. The spike powerspectrum transforms a spike-train like signal into its frequency domain. When transforming the diagonal line-dependent recurrence rate (τ-RR) of a RP in this way, characteristic periods, which can be seen in the state space representation of the system can be unraveled. This is not the case, when Fourier transforming τ-RR. Finally, RA and RQA are applied to climate science in the third part and neuroscience in the fourth part. To the best of our knowledge, this is the first time RPs and RQA have been used to analyze lake sediment data in a paleoclimate context. Therefore, we first elaborate on the basic formalism and the interpretation of visually visible patterns in RPs in relation to the underlying proxy data. We show that these patterns can be used to classify certain types of variability and transitions in the Potassium record from six short (< 17m) sediment cores collected during the Chew Bahir Drilling Project. Building on this, the long core (∼ m composite) from the same site is analyzed and two types of variability and transitions are identified and compared with ODP Site  wetness index from the eastern Mediterranean. Type  variability likely reflects the influence of precessional forcing in the lower latitudes at times of maximum values of the long eccentricity cycle ( kyr) of the earth’s orbit around the sun, with a tendency towards extreme events. Type  variability appears to be related to the minimum values of this cycle and corresponds to fairly rapid transitions between relatively dry and relatively wet conditions. In contrast, RQA has been applied in the neuroscientific context for almost two decades. In the final part, RQA statistics are used to quantify the complexity in a specific frequency band of multivariate EEG (electroencephalography) data. By analyzing experimental data, it can be shown that the complexity of the signal measured in this way across the sensorimotor cortex decreases as motor tasks are performed. The results are consistent with and comple- ment the well known concepts of motor-related brain processes. We assume that the thus discovered features of neuronal dynamics in the sensorimotor cortex together with the robust RQA methods for identifying and classifying these contribute to the non-invasive EEG-based development of brain-computer interfaces (BCI) for motor control and rehabilitation. The present work is an important step towards a robust analysis of complex systems based on recurrence.…
• In unserem täglichen Leben spielt die Rekurrenz auf vielen räumlichen und zeitlichen Skalen und in verschiedenen Kontexten eine bedeutende Rolle. Es ist die Grundlage des Lernens, sei es in einem evolutionären oder in einem neuronalen Kontext. Es erscheint daher selbstverständ- lich, dass Rekurrenz auch ein grundlegendes Konzept in der dynamischen Systemwissenschaft ist. In diesem Zusammenhang ermöglicht die Art und Weise, wie sich Zustände eines Systems wiederholen oder sich auf ähnliche Weise aus ähnlichen Anfangszuständen entwickeln, Infor- mationen über die zugrunde liegende Dynamik des Systems abzuleiten. Der mathematische Raum, in dem wir den Zustand eines Systems definieren (Zustandsraum), ist häufig hoch- dimensional, insbesondere in komplexen Systemen, die darüberhinaus auch eine chaotische Dynamik aufweisen können. Der Rekurrenzplot (RP) ermöglicht es uns, die Rekurrenzen beliebiger hochdimensionaler Systeme in einer zweidimensionalen, binären Darstellung zu visualisieren. Bestimmte Muster in RPs können mit physikalischenIn unserem täglichen Leben spielt die Rekurrenz auf vielen räumlichen und zeitlichen Skalen und in verschiedenen Kontexten eine bedeutende Rolle. Es ist die Grundlage des Lernens, sei es in einem evolutionären oder in einem neuronalen Kontext. Es erscheint daher selbstverständ- lich, dass Rekurrenz auch ein grundlegendes Konzept in der dynamischen Systemwissenschaft ist. In diesem Zusammenhang ermöglicht die Art und Weise, wie sich Zustände eines Systems wiederholen oder sich auf ähnliche Weise aus ähnlichen Anfangszuständen entwickeln, Infor- mationen über die zugrunde liegende Dynamik des Systems abzuleiten. Der mathematische Raum, in dem wir den Zustand eines Systems definieren (Zustandsraum), ist häufig hoch- dimensional, insbesondere in komplexen Systemen, die darüberhinaus auch eine chaotische Dynamik aufweisen können. Der Rekurrenzplot (RP) ermöglicht es uns, die Rekurrenzen beliebiger hochdimensionaler Systeme in einer zweidimensionalen, binären Darstellung zu visualisieren. Bestimmte Muster in RPs können mit physikalischen Eigenschaften des zugrunde liegenden Systems in Beziehung gesetzt werden, wodurch die qualitative und quantitative Analyse von RPs ein integraler Bestandteil der nichtlinearen Systemwissenschaft wird. Die vorgestellte Arbeit hat einen methodischen Schwerpunkt und entwickelt die Rekurrenzsana- lyse (RA) weiter, indem sie sich mit aktuellen Forschungsfragen befasst, die sich auf eine zunehmende Menge verfügbarer Daten und Fortschritte beim maschinellen Lernen beziehen. Durch die Automatisierung eines zentralen Schritts in der RA, nämlich der Rekonstruktion des Zustandsraums aus gemessenen experimentellen Zeitreihen, und durch die Untersuchung der Auswirkungen wichtiger freier Parameter soll die RA für Forscher außerhalb der Physik zugänglicher gemacht werden. Der erste Teil dieser Dissertation befasst sich mit der Rekonstruktion des Zustandsraums aus Zeitreihen. Hierzu wird eine neue Idee vorgeschlagen, die das Rekonstruktionsproblem so automatisiert, dass weder die Daten vorverarbeitet noch a priori Parameter geschätzt werden müssen. Die Schlüsselidee ist, dass die Güte einer Rekonstruktion durch eine geeignete Kostenfunktion evaluiert werden kann und diese Funktion im Einbettungsprozess minimiert wird. Darüber hinaus kann die neue Methode multivariate Zeitreihen-Eingabedaten verarbei- ten. Das ist insbesondere deshalb von großer Bedeutung, da mehrkanalige sensorgestützte Beobachtungen in vielen Forschungsbereichen allgegenwärtig sind und weiterhin zunehmen. Darauf aufbauend wird dann das beschriebene Minimierungsproblem der Kostenfunktion mit einem Ansatz des maschinellen Lernens bearbeitet. Im zweiten Teil werden einige technische und methodische Aspekte der RA erörtert. Zu- nächst begründen wir mathematisch die Idee, den einflussreichsten freien Parameter in der RA, den Rekurrenzgrenzwert ε, in Bezug auf die Verteilung aller paarweisen Abstände in den Daten festzulegen. Dies ist insbesondere dann wichtig, wenn verschiedene RPs und ihre Quantifizierungsstatistiken verglichen werden, und ist für jede vergleichende Studie von grundlegender Bedeutung. Zweitens werden einige Aspekte der Rekurrenzquantifizierungs- analyse (RQA) untersucht. Als Korrekturschemata für verzerrte RQA-Statistiken, welche auf diagonalen Linien basierenden, schlagen wir eine einfache Methode zum Umgang mit Randeffekten von RPs in der RQA und einen Skeletonisierungsalgorithmus für RPs vor. Dies sorgt in der Folge zu weniger verzerrten (auf diagonalen Linien basierenden) RQA-Statistiken für hoch abgetastete Daten. Drittens wird eine neuartige RQA-Charakteristik entwickelt, die als verallgemeinertes, nichtlineares Leistungsspektrum hochdimensionaler Systeme angesehen werden kann. Das Spike-Powerspectrum transformiert ein Spike-train-ähnliches Signal in seinen Frequenzbereich. Wenn die diagonallinienabhängige Rekurrenzsrate (τ-RR) eines RP auf diese Weise transformiert wird, können charakteristische Perioden, die in der Zustands- raumdarstellung des Systems erkennbar sind, entschlüsselt werden. Dies ist nicht der Fall, wenn die τ-RR Fourier-transformiert wird. ix x Schließlich werden RA und RQA im dritten Teil auf Paläoklima-Seesedimentdaten und im vierten Teil auf EEG-Daten (Elektroenzephalographie) angewendet. Nach unserem besten Wissen ist dies das erste Mal, dass RPs und RQA für die Analyse von Seesedimentdaten in einem Paläoklima-Kontext verwendet wurden. Daher wird zunächst an dem grundlegenden Formalismus und der Interpretation visuell sichtbarer Muster in RPs in Bezug auf die zugrunde liegenden Proxy-Daten gearbeitet. Wir zeigen, dass diese Muster verwendet werden können, um bestimmte Arten von Variabilität und Übergängen im Kaliumdatensatz von sechs kurzen (< 17m) Sedimentkernen zu klassifizieren, die während des Chew Bahir-Bohrprojekts gesammelt wurden. Darauf aufbauend wird der lange Kern (∼ m composite) desselben Standorts analysiert und zwei Arten von Variabilität und Übergängen werden identifiziert und mit dem Feuchtigkeitsindex des ODP-Standorts  aus dem östlichen Mittelmeerraum verglichen. Die Variabilität vom Typ  spiegelt wahrscheinlich den Einfluss des Präzessionsantriebs in den unteren Breiten zu Zeiten mit Maximalwerten des langen Exzentrizitätszyklus ( kyr) der Erdumlaufbahn um die Sonne wider, wobei die Tendenz zu extremen Ereignissen besteht. Die Variabilität vom Typ  scheint mit den lokalen Minima dieses Zyklus verbunden zu sein und entspricht ziemlich schnellen Übergängen zwischen relativ trockenen und relativ nassen Bedingungen. Im Gegensatz dazu wird RQA seit fast zwei Jahrzehnten im neurowissenschaftlichen Kontext angewendet. Im letzten Teil werden RQA-Statistiken zur Quantifizierung der Komplexität in einem bestimmten Frequenzband multivariater EEG-Daten verwendet. Durch die Analyse experimenteller Daten kann gezeigt werden, dass die Komplexität des auf diese Weise über den sensomotorischen Kortex gemessenen Signals abnimmt, wenn motorische Aufgaben ausgeführt werden. Die Ergebnisse stimmen mit den bekannten Konzepten motorischer Gehirnprozesse überein und ergänzen diese. Wir nehmen an, dass die so entdeckten Merkmale der neuronalen Dynamik im sensomotorischen Kortex zusammen mit den robusten RQA-Methoden zur Identifizierung und Klassifizierung dieser zu der nicht-invasiven EEG-basierten Entwicklung von Gehirn-Computer-Schnittstellen (BCI) und zur motorischen Steuerung und Rehabilitation beitragen werden. Die vorliegende Arbeit ist ein wichtiger Schritt zu einer robusten Analyse komplexer Systeme basierend auf Rekurrenz.…