Refine
Year of publication
Document Type
- Article (9)
- Doctoral Thesis (6)
- Monograph/Edited Volume (5)
- Report (1)
Language
- German (21) (remove)
Keywords
- Evaluation (21) (remove)
Evaluation komplexer Systeme
(2015)
Seit von Foerster können wir soziale Systeme als Black Boxes betrachten, zu deren Funktionsweise keine klaren Wenn-Dann-Aussagen möglich erscheinen und deren Operationsweise sich für den Beobachter immer nur sequenziell und sprunghaft – und folglich nie ganzheitlich – darstellt. Jedes Bemühen, ein soziales System tiefgründig verstehen und abbilden zu wollen, kann somit schnell ein Gefühl von Orientierungslosigkeit und Überforderung auslösen – ähnlich, wie während einer Achterbahnfahrt. Für die Evaluationsdebatte resultiert aus dieser Sichtweise die Kernfrage, wie nun also im Rahmen von Evaluationen mit sozialer Komplexität umgegangen werden kann.
An diese Frage anknüpfend stellt der vorliegende Band das Feld der systemischen Therapie- und Beratungsansätze als inspirierenden Fundus vor, aus welchem sich Konzepte, Methoden und Techniken zur Gestaltung von Evaluationsvorhaben ableiten lassen. Aber welche Möglichkeiten und Grenzen offenbaren sich dabei? Lässt sich sozialer Komplexität mit Hilfe dieser Ansätze besser begegnen? Welche Rahmenbedingungen sollten dabei erfüllt sein und wie lassen sich systemische von nicht-systemischen Ansätzen unterscheiden?
In den letzten 20 Jahren sind Evaluationen Schritt für Schritt zu einem festen und gleichzeitig kontrovers diskutierten Bestandteil politischer Förderung geworden. Auf der Basis langjähriger Beobachtungen der Evaluationspraxis des Förderprogramms „Soziale Stadt“ zeigt dieses Buch zunächst, dass Evaluationstätigkeiten in Ministerien, Kommunalverwaltungen und Planungsbüros mit ganz unterschiedlichen Erwartungen, Herausforderungen, Widersprüchen und Irritationen verknüpft werden. Evaluationen werden dabei sowohl als Hoffnungsträger, als auch als Schreckgespenst gesehen. Der Autor nimmt diese Beobachtungen zum Anlass, den Umgang mit Evaluationen in politischen Organisationen kritisch zu hinterfragen und systematisch zu erklären. Reduziert auf die Frage „Wozu Evaluation?“ wird auf der Basis eines systemtheoretischen Zugangs erklärt, welche unterschiedlichen Funktionen Evaluationen in Organisationen erfüllen können. Vertiefend wird dabei auf organisationales Lernen, auf politische Steuerungslogik und auf die Notwendigkeit von Symbolisierungen eingegangen.
Die Bedeutung der Themen Evaluation und Qualität ist für die zweite Phase der Lehrerbildung seit einigen Jahren enorm gestiegen. Dies gilt sowohl für die Inhalte der Ausbildung der Lehramtskandidatinnen als auch für die pädagogische Arbeit in den Studienseminaren selbst. Der vorliegende Beitrag gibt daher einerseits einen kurzen Überblick über den Stand der Evaluations- und Qualitätsdebatte in der zweiten Phase der Lehrerbildung in Deutschland (Referendariat). Verdeutlicht werden sowohl zentrale Kritikpunkte der Debatte als auch bestehende Aktivitäten und Ansätze der Studienseminare zur Evaluation und Qualitätsentwicklung. Andererseits werden Perspektiven für die fachliche Weiterentwicklung der Evaluations- und Qualitätsdebatte in der zweiten Phase der Lehrerbildung entwickelt. Plädiert wird für Strategien zur Förderung von Evaluation und Qualitätsentwicklung, ein komplexes Qualitätsverständnis, das über eine Output-Orientierung hinausgeht sowie kasuistische Verfahren zur Verbesserung des pädagogischen Handelns der Lehramtskandidatinnen, aber auch der Seminarleiter und Seminarleiterinnen.
This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives.
Die Potsdamer Lehramtskandidatinnen-Studie 2004/05 hat eine umfassende Bestandsaufnahme der Qualität der Ausbildung im Vorbereitungsdienst im Land Brandenburg aus Sicht der Betroffenen vorgenommen. Mittels unterschiedlicher Methoden (standardisierte Befragung, Gruppendiskussionen, Dokumentenrecherchen u.a.) wurden in Anlehnung an ein Evaluationsdesign von STUFFLEBEAM (1984) wesentliche Aspekte der Kontext-, Input-, Prozess- und Outputqualität erfasst. Im Ergebnis entsteht – z.T. wider Erwarten – ein eher positives Bild vom Vorbereitungsdienst mit seinen vielen positiven, aber auch weniger positiven Seiten. Auf der Basis einer Stärken- und Schwächen-Analyse treten insbesondere in den qualitativen Befragungen auch eine Reihe von Kritikpunkten zutage. Determinanten für eine hohe Ergebnisqualität in Form von Kompetenzzuwachs bei den Lehramtskandidatinnen werden herausgearbeitet. Aufbauend auf den umfangreichen und facettenreichen Untersuchungsergebnissen werden abschließend entsprechende Folgerungen für die Reform der Lehrerbildung abgeleitet.
Studierende der Lehrämter wurden zu Studienbedingungen in der Lehrerbildung an je einem Ausbildungsort in den alten und neuen Bundesländern befragt. Dabei wurden Einschätzungen zu Studium und Beruf sowie zu Gründen und Motiven der Studienwahl und zu Belastungen beim Studieren erhoben. Die persönlichen Ressourcen und das Belastungserleben der Studierenden wurden mit dem diagnostischen Inventar AVEM [Arbeitsbezogene Verhaltens- und Erlebensmuster, vgl. SCHAARSCHMIDT U. FISCHER 2003] bestimmt. Die empirischen Auswertungen folgten einer differentialpsychologischen Vorgehensweise, um den Einfluss person- und strukturbezogener Bedingungen genauer analysieren zu können. Die Ergebnisse zeigen persönlichkeitsgebundene Unterschiede bei der Bewältigung der Anforderungen in Studium und Beruf, und das insbesondere in Abhängigkeit von Studienort und –abschnitt. Weiterhin ergibt sich eine Wechselwirkung person- und strukturbezogener Bedingungen auf Gründe und Motive sowie auf Einschätzungen zu Studium und Beruf. Implikationen für eine psychologisch angeleitete Gestaltung der Lehrerbildung werden diskutiert.
Dieser Band der Reihe „Potsdamer Geographische Praxis“ enthält drei Beiträge, die sich mit dem Handlungskonzept „Tolerantes Brandenburg“ der Brandenburgischen Landesregierung befassen. In allen Beiträgen wird auf der Grundlage empirischer Erhebungen analysiert, wie dieses Konzept zum Umgang mit Rechtsextremismus und Rechtspopulismus sowie zur Demokratieförderung in den letzten Jahren umgesetzt wurde. Die ersten beiden Beiträge haben die sogenannten Zukunftsdialoge „Tolerantes Brandenburg“ zum Gegenstand, die in den Jahren 2015 bis 2017 in allen kreisfreien Städten und Landkreisen Brandenburgs durchgeführt wurden. Der erste Beitrag von Schubarth, Kohlstruck und Rolfes beinhaltet die Ergebnisse der wissenschaftlichen Beobachtung der Zukunftsdialoge; die Ergebnisse beruhen überwiegend auf teilnehmenden Beobachtungen der Zukunftsdialoge und qualitativen Interviews mit Teilnehmenden. Der zweite Beitrag von Bode und Rolfes basiert auf einer quantitativen Methodik und enthält die Auswertungen einer standardisierten Befragung der Teilnehmer/innen der Zukunftsdialoge. Die Ergebnisse beider Untersuchungen liefern wichtige Erkenntnisse und gute Ansatzpunkte, wie einerseits die Institutionen des Beratungsnetzwerks „Tolerantes Brandenburg“ und das Handlungskonzept auf lokaler Ebene eine größere Bekanntheit erlangen könnten und andererseits, welche Schritte hilfreich wären, um eine (noch) stärkere Verankerung des Handlungskonzeptes in den Regionen zu erreichen. Beim dritten Beitrag von Schubarth, Kohlstruck und Rolfes handelt es sich eine Expertise aus dem Jahr 2019. Der Beitrag liefert einen mehrdimensionalen Blick auf das Handlungskonzept aus unterschiedlichen internen wie externen Perspektiven. Dabei wird vor allem auf die gesellschaftlichen und politischen Veränderungen fokussiert, die sich seit 2014 im Handlungsfeld „Demokratiestärkung und Auseinandersetzung mit dem Rechtsextremismus“ ergeben haben. Grundlage der Expertise waren leitfadenzentrierte Interviews.
Die Studie untersucht Einflussfaktoren des vorzeitigen Studienabbruchs. Dabei wird auf die Frage eingegangen, inwieweit die Universitäten für das Studienabbruchgeschehen zur Verantwortung gezogen werden können, bzw. ob sich die verschiedenen Abbruchmotivationen auf Gründe zurückführen lassen, die sich ihrem Einfluss entziehen. Möglichkeiten der Prävention werden diskutiert.
In der Praxis der Lehrevaluation werden subjektive Urteile und Qualitätseinschätzungen zu Lehrveranstaltungen oder Studienprogrammen erhoben, um die Sicht der „betroffenen“ Teilnehmer und Teilnehmerinnen zu beschreiben und diese Sicht zum Ausgangspunkt für die Entwicklung von etwaigen Verbesserungsstrategien zu machen. Dabei muss aber berücksichtigt werden, dass subjektive Urteile Quellen potenzieller Verzerrungen der erhobenen Daten enthalten, woraus sich mögliche Bedrohungen ihrer Validität ergeben. Diese beziehen sich auf sachfremde Einflüsse bspw. von Persönlichkeitsmerkmalen der beurteilenden Personen auf ihr Urteil. Ein weiterer zentraler Valididtätsaspekt von Qualitätsmessungen besteht in der Frage, ob die als relevant unterstellten Beurteilungsdimensionen (bspw. zur „allgemeinen Organisationsqualität“) den Qualitätseinschätzungen der beurteilenden Personen tatsächlich zu Grunde liegen. Lassen sich solche Qualitätsdimensionen empirisch bestätigen, so können die entsprechend validierten Evaluationsergebnisse zu einer rational basierten Beurteilung und Weiterentwicklung des Beurteilungsgegenstandes – hier: der zweiten Phase der Lehrerbildung – beitragen.
Hochschulen stehen zunehmend vor einem Legitimationsproblem bezüglich ihres Umgangs mit (öffentlich bereit gestellten) Ressourcen. Die Kritik bezieht sich hauptsächlich auf den Leistungsbereich der Lehre. Diese sei ineffektiv organisiert und trage durch schlechte Studienbedingungen – die ihrerseits von den Hochschulen selbst zu verantworten seien – zu langen Studienzeiten und hohen Abbruchquoten bei. Es wird konstatiert, dass mit der Lebenszeit der Studierenden verantwortungslos umgegangen und der gesellschaftliche Ausbildungsauftrag sowohl von der Hochschule im Ganzen, als auch von einzelnen Lehrenden nicht angemessen wahrgenommen werde. Um die gleichzeitig steigende Nachfrage nach akademischen Bildungsangeboten befriedigen zu können, vollziehen Hochschulen einen Wandel zu Dienstleistungsunternehmen, deren Leistungsfähigkeit sich an der Effizienz ihrer Angebote bemisst. Ein solches Leitbild ist von den Steuerungsgrundsätzen des New Public Management inspiriert. In diesem zieht sich der Staat aus der traditionell engen Verbindung zu den Hochschulen zurück und gewährt diesen lokale Autonomie, bspw. durch die Einführung globaler Haushalte zu ihrer finanziellen Selbststeuerung. Die Hochschulen werden zu Marktakteuren, die sich in der Konkurrenz um Kunden gegen ihre Wettbewerber durchsetzen, indem sie Qualität und Exzellenz unter Beweis stellen. Für die Durchführung von diesbezüglichen Leistungsvergleichen werden unterschiedliche Verfahren der Evaluation eingesetzt. In diese sind landläufig sowohl Daten der Hochschulstatistik, bspw. in Form von Absolventenquoten, als auch zunehmend Befragungsdaten, meist von Studierenden, zur Erhebung ihrer Qualitätseinschätzungen zu Lehre und Studium involviert. Insbesondere letzteren wird vielfach entgegen gehalten, dass sie nicht geeignet seien, die Qualität der Lehre adäquat abzubilden. Vielmehr seien sie durch subjektive Verzerrungen in ihrer Aussagefähigkeit eingeschränkt. Eine Beurteilung, die auf studentischen Befragungsdaten aufsetzt, müsse entsprechend zu Fehleinschätzungen und daraus folgend ungerechten Leistungssanktionen kommen. Im Sinne der Akzeptanz von Verfahren der Evaluation als Instrument hochschulinterner Qualitätssicherungs- und –entwicklungsprozesse ist daher zu untersuchen, inwieweit Beeinträchtigungen der Validität von für die Hochschulsteuerung eingesetzten Datenbasen deren Aussagekraft vermindern. Ausgehend von den entsprechenden Ergebnissen sind Entwicklungen der Verfahren möglich. Diese Frage steht im Zentrum der vorliegenden Arbeit.