Refine
Document Type
- Article (17)
- Preprint (4)
- Monograph/Edited Volume (1)
- Other (1)
Is part of the Bibliography
- yes (23)
Keywords
Institute
- Institut für Mathematik (23) (remove)
Gilles Blanchards Vortrag gewährt Einblicke in seine Arbeiten zur Entwicklung und Analyse statistischer Eigenschaften von Lernalgorithmen. In vielen modernen Anwendungen, beispielsweise bei der Schrifterkennung oder dem Spam- Filtering, kann ein Computerprogramm auf der Basis vorgegebener Beispiele automatisch lernen, relevante Vorhersagen für weitere Fälle zu treffen. Mit der mathematischen Analyse der Eigenschaften solcher Methoden beschäftigt sich die Lerntheorie, die mit der Statistik eng zusammenhängt. Dabei spielt der Begriff der Komplexität der erlernten Vorhersageregel eine wichtige Rolle. Ist die Regel zu einfach, wird sie wichtige Einzelheiten ignorieren. Ist sie zu komplex, wird sie die vorgegebenen Beispiele "auswendig" lernen und keine Verallgemeinerungskraft haben. Blanchard wird erläutern, wie Mathematische Werkzeuge dabei helfen, den richtigen Kompromiss zwischen diesen beiden Extremen zu finden.
We introduce extensions of stability selection, a method to stabilise variable selection methods introduced by Meinshausen and Buhlmann (J R Stat Soc 72:417-473, 2010). We propose to apply a base selection method repeatedly to random subsamples of observations and subsets of covariates under scrutiny, and to select covariates based on their selection frequency. We analyse the effects and benefits of these extensions. Our analysis generalizes the theoretical results of Meinshausen and Buhlmann (J R Stat Soc 72:417-473, 2010) from the case of half-samples to subsamples of arbitrary size. We study, in a theoretical manner, the effect of taking random covariate subsets using a simplified score model. Finally we validate these extensions on numerical experiments on both synthetic and real datasets, and compare the obtained results in detail to the original stability selection method.
Uniformly valid confidence intervals post model selection in regression can be constructed based on Post-Selection Inference (PoSI) constants. PoSI constants are minimal for orthogonal design matrices, and can be upper bounded in function of the sparsity of the set of models under consideration, for generic design matrices. In order to improve on these generic sparse upper bounds, we consider design matrices satisfying a Restricted Isometry Property (RIP) condition. We provide a new upper bound on the PoSI constant in this setting. This upper bound is an explicit function of the RIP constant of the design matrix, thereby giving an interpolation between the orthogonal setting and the generic sparse setting. We show that this upper bound is asymptotically optimal in many settings by constructing a matching lower bound.