TY - JOUR A1 - Laurinavichyute, Anna A1 - Yadav, Himanshu A1 - Vasishth, Shravan T1 - Share the code, not just the data BT - a case study of the reproducibility of articles published in the Journal of Memory and Language under the open data policy JF - Journal of memory and language N2 - In 2019 the Journal of Memory and Language instituted an open data and code policy; this policy requires that, as a rule, code and data be released at the latest upon publication. How effective is this policy? We compared 59 papers published before, and 59 papers published after, the policy took effect. After the policy was in place, the rate of data sharing increased by more than 50%. We further looked at whether papers published under the open data policy were reproducible, in the sense that the published results should be possible to regenerate given the data, and given the code, when code was provided. For 8 out of the 59 papers, data sets were inaccessible. The reproducibility rate ranged from 34% to 56%, depending on the reproducibility criteria. The strongest predictor of whether an attempt to reproduce would be successful is the presence of the analysis code: it increases the probability of reproducing reported results by almost 40%. We propose two simple steps that can increase the reproducibility of published papers: share the analysis code, and attempt to reproduce one's own analysis using only the shared materials. KW - Open data KW - Reproducible statistical analyses KW - Reproducibility KW - Open KW - science KW - Meta-research KW - Journal policy Y1 - 2022 U6 - https://doi.org/10.1016/j.jml.2022.104332 SN - 0749-596X SN - 1096-0821 VL - 125 PB - Elsevier CY - San Diego ER - TY - RPRT A1 - Kuhlmann, Sabine A1 - Franzke, Jochen A1 - Dumas, Benoît Paul A1 - Heine, Moreen T1 - Daten als Grundlage für wissenschaftliche Politikberatung N2 - Die vorliegende Studie zeigt, dass Daten in der Krise eine herausragende Bedeutung für die wissenschaftliche Politikberatung, administrative Entscheidungsvorbereitung und politische Entscheidungsfindung haben. In der Krise gab es jedoch gravierende Kommunikationsprobleme und Unsicherheiten in der wechselseitigen Erwartungshaltung von wissenschaftlichen Datengebern und politisch-administrativen Datennutzern. Die Wissensakkumulation und Entscheidungsabwägung wurde außerdem durch eine unsichere und volatile Datenlage zum Pandemiegeschehen, verbunden mit einer dynamischen Lageentwicklung, erschwert. Nach wie vor sind das Bewusstsein und wechselseitige Verständnis für die spezifischen Rollenprofile der am wissenschaftlichen Politikberatungsprozess beteiligten Akteure sowie insbesondere deren Abgrenzung als unzureichend einzuschätzen. Die Studie hat darüber hinaus vielfältige Defizite hinsichtlich der Verfügbarkeit, Qualität, Zugänglichkeit, Teilbarkeit und Nutzbarkeit von Daten identifiziert, die Datenproduzenten und -verwender vor erhebliche Herausforderungen stellen und einen umfangreichen Reformbedarf aufzeigen, da zum einen wichtige Datenbestände für eine krisenbezogene Politikberatung fehlen. Zum anderen sind die Tiefenschärfe und Differenziertheit des verfügbaren Datenbestandes teilweise unzureichend. Dies gilt z.B. für sozialstrukturelle Daten zur Schwere der Pandemiebetroffenheit verschiedener Gruppen oder für kleinräumige Daten über Belastungs- und Kapazitätsparameter, etwa zur Personalabdeckung auf Intensivstationen, in Gesundheitsämtern und Pflegeeinrichtungen. Datendefizite sind ferner im Hinblick auf eine ganzheitliche Pandemiebeurteilung festzustellen, zum Beispiel bezüglich der Gesundheitseffekte im weiteren Sinne, die aufgrund der ergriffenen Maßnahmen entstanden sind (Verschiebung oder Wegfall von Operationen, Behandlungen und Prävention, aber auch häusliche Gewalt und psychische Belastungen). Mangels systematischer Begleitstudien und evaluativer Untersuchungen, u.a. auch zu lokalen Pilotprojekten und Experimenten, bestehen außerdem Datendefizite im Hinblick auf die Wirkungen von Eindämmungsmaßnahmen oder deren Aufhebung auf der gebietskörperschaftlichen Ebene. Insgesamt belegt die Studie, dass es zur Optimierung der datenbasierten Politikberatung und politischen Entscheidungsfindung in und außerhalb von Krisen nicht nur darum gehen kann, ein „Mehr“ an Daten zu produzieren sowie deren Qualität, Verknüpfung und Teilung zu verbessern. Vielmehr müssen auch die Anreizstrukturen und Interessenlagen in Politik, Verwaltung und Wissenschaft sowie die Kompetenzen, Handlungsorientierungen und kognitiv-kulturellen Prägungen der verschiedenen Akteure in den Blick genommen werden. Es müssten also Anreize gesetzt und Strukturen geschaffen werden, um das Interesse, den Willen und das Können (will and skill) zur Datennutzung auf Seiten politisch-administrativer Entscheider und zur Dateneinspeisung auf Seiten von Wissenschaftlern zu stärken. Neben adressatengerechter Informationsaufbereitung geht es dabei auch um die Gestaltung eines normativen und institutionellen Rahmens, innerhalb dessen die Nutzung von Daten für Entscheidungen effektiver, qualifizierter, aber auch transparenter, nachvollziehbarer und damit demokratisch legitimer erfolgen kann. Vor dem Hintergrund dieser empirischen Befunde werden acht Cluster von Optimierungsmaßnahmen vorgeschlagen: (1) Etablierung von Datenstrecken und Datenteams, (2) Schaffung regionaler Datenkompetenzzentren, (3) Stärkung von Data Literacy und Beschleunigung des Kulturwandels in der öffentlichen Verwaltung, (4) Datenstandardisierung, Interoperabilität und Registermodernisierung, (5) Ausbau von Public Data Pools und Open Data Nutzung, (6) Effektivere Verbindung von Datenschutz und Datennutzung, (7) Entwicklung eines hochfrequenten, repräsentativen Datensatzes, (8) Förderung der europäischen Daten-Zusammenarbeit. N2 - This study shows that data is of outstanding importance for scientific policy advice, administrative decision preparation and political decision-making in the crisis. During the crisis, however, there were serious communication problems and uncertainties in the mutual expectations of scientific data providers and political-administrative data users. Knowledge accumulation and decision-making were also hampered by uncertain and volatile data on the pandemic, combined with a dynamic development of the situation. Awareness and mutual understanding of the specific role profiles of the actors involved in the scientific policy advisory process, as well as their demarcation in particular, are still to be assessed as insufficient. The study has also identified a variety of deficits with regard to the availability, quality, accessibility, shareability and usability of data, which represent considerable challenges to data producers and users and reveal a need for extensive reform, since, on the one hand, important data sets for crisis-related policy advice are lacking. On the other hand, the depth of focus and differentiation of the available data stocks are partly insufficient. This applies, for example, to socio-structural data on the severity of the pandemic impact of different groups or to small-scale data on burden and capacity parameters, such as staffing levels in intensive care units, health offices and care facilities. There are also data deficits with regard to a holistic pandemic assessment, for example with regard to the health effects in a broader sense that have arisen as a result of the measures taken (postponement or discontinuation of operations, treatments and prevention, but also domestic violence and psychological stress). In the absence of systematic accompanying studies and evaluative research, there are also data deficits with regard to the effects of containment measures or their removal at the territorial level. Overall, the study shows that optimising data-based policy advice and political decision-making in times of crisis as well as between crises is not just a matter of producing "more" data and improving its quality, linkage and sharing. Rather, the incentive structures and interests in politics, administration and science as well as the competences, action orientations and cognitive-cultural imprints of the various actors must also be taken into account. Incentives must be set and structures have to be created in order to strengthen the interest, the will and the skill to use data. This does not only apply for political and administrative decision-makers, but also for academics who are needed to feed data into the system. In addition to preparing information in a way that is appropriate for the target group, this also involves designing a normative and institutional framework within which the use of data for decision-making can be more effective, more qualified, but also more transparent, more comprehensible and thus more democratically legitimate. Against the background of these empirical findings, eight clusters of optimisation measures are proposed: (1) Establishment of data routes and data teams, (2) Creation of regional data competence centres, (3) Strengthening data literacy and accelerating cultural transformation in public administration, (4) Data standardisation, interoperability and register modernisation, (5) Expanding public data pools and open data use, (6) Linking data protection and data use more effectively, (7) Development of a high-frequency, representative data set, (8) Promoting European data cooperation. KW - Politikberatung KW - Daten KW - Wissenschaft KW - COVID-19 KW - Krise KW - Pandemie KW - Digitalisierung KW - policy advice KW - data KW - science KW - COVID-19 KW - crisis KW - pandemic KW - digitalization Y1 - 2021 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:517-opus4-519683 PB - Universitätsverlag Potsdam CY - Potsdam ER - TY - JOUR A1 - Basel, Nicolai A1 - Harms, Ute A1 - Prechtl, Helmut A1 - Weiss, Thomas A1 - Rothgangel, Martin T1 - Students' arguments on the science and religion issue: the example of evolutionary theory and Genesis JF - Journal of biological education N2 - Treating creationism as a controversial topic within the science and religion issue in the science classroom has been widely discussed in the recent literature. Some researchers have proposed that this topic is best addressed by focusing on sociocognitive conflict. To prepare new learning opportunities for this approach, it is necessary to know the concrete arguments that students use in their discussions on this issue. Therefore, this study aimed to provide a systematic description of these arguments. For this purpose, upper secondary students (N=43) argued for either the acceptance of evolutionary theory or faith in Genesis in a written speech. The study was conducted during their regular biology and religious education classes. Generated arguments were analysed by qualitative content analysis. Three dimensions of the arguments were described: the content (science or religion), the valuation of the argument (positive or negative), and whether the argument consisted of a descriptive or normative argumentation. The results indicate that students found it easier to generate arguments about the scientific side of the issue; however, these arguments were negatively constructed. The results are discussed with regard to implications for educational approaches for teaching controversial issues at the high-school level. KW - evolutionary theory KW - argumentation KW - science KW - religion issue KW - controversial issues Y1 - 2014 U6 - https://doi.org/10.1080/00219266.2013.849286 SN - 0021-9266 SN - 2157-6009 VL - 48 IS - 4 SP - 179 EP - 187 PB - Routledge, Taylor & Francis Group CY - Abingdon ER -