Erwiderung auf die Stellungnahme der Autoren des Glücksspiel-Surveys 2021 – Aufforderung zu einer öffentlichen wissenschaftlichen Diskussion

Am 26. September berichteten wir über das Gutachten „Qualitätsanforderungen an Studien zur Ableitung von Regulierungsmaßnahmen: Kritische Evaluation des Glücksspiel-Surveys 2021“ von Katharina Schüller. Überschrift: "Gutachten zum Glücksspiel-Survey 2021 kommt zu dem Schluss: Methodisch mangelhaft, politisch unbrauchbar". Am 28. September publizierten wir die gemeinsame Replik und Stellungnahme von Professor Dr. Gerhard Meyer (Universität Bremen), Dr. Jens Kalke, Dr. Sven Buth (beide ISD-Hamburg) und Dr. Holger Liljeberg (Info GmbH). 

Auf diese wiederum bezieht sich die Autorin der Studie, Katharina Schüller, in ihrer Erwiderung, die uns vorliegt und im Folgenden ungekürzt wiedergegeben wird – Zwischenüberschriften von der AutomatenMarkt-Redaktion:  

"Als verantwortliche Wissenschaftlerin und Verfasserin des Gutachtens, das mit Beratung von Prof. Dr. Ralf Münnich, Vorsitzender der Deutschen Statistischen Gesellschaft (DStatG) und Zensus-/Survey-Gutachter u.a. beim Bundesverfassungsgericht, entstanden ist, rückäußere ich mich wie folgt: Die Versuche der Herabwürdigung sowohl meiner Person sowie mindestens mittelbar auch der wissenschaftlichen Qualitäten von Prof. Dr. Münnich, mit denen die Survey-Autoren ihre Stellungnahme einleiten, nehme ich zur Kenntnis. Ich erachte es als Wissenschaftlerin nicht für erforderlich, diese zu kommentieren. Prof. Münnich und ich versichern vorsorglich, dass eine Einflussnahme auf die Ergebnisse des Gutachtens seitens der Auftraggeber zu keiner Zeit stattgefunden hat.

Verständlich ist hingegen, dass den Autoren des Glücksspiel-Surveys 2021 aufgrund der Kürze der Zeit eine vertiefte Beschäftigung mit den mitunter sehr komplexen Inhalten des Gutachtens nicht möglich war. Anders lassen sich die zahlreichen erneut kritikwürdigen methodischen und statistischen Behauptungen sowie die teils schlicht fehlerhafte Wiedergabe von Inhalten des Gutachtens nicht begründen. Dies mag auch erklären, warum die Verfasser der Stellungnahme die Beteiligung von Herrn Prof. Dr. Ralf Münnich gänzlich unerwähnt lassen.

Transparenz herstellen und Daten offenlegen

Bedauerlicherweise haben es die Survey-Autoren versäumt, im Rahmen der Gutachtenerstellung, über die sie frühzeitig informiert waren, wissenschaftliche Transparenz herzustellen. Trotz ausführlicher Begründung meiner Anfrage nach Herausgabe der erhobenen Rohdaten, genutzten Fragebögen und Begleitmaterialien wurde diese Bitte, die allgemeiner wissenschaftlicher Praxis entspricht, seitens der Survey-Autoren brüsk zurückgewiesen. Sie brachen die Korrespondenz mit mir per E-Mail vom 11.7.2023 einseitig ab und begründeten dies mit einem 'Mangel an Transparenz'. Es steht den Survey-Autoren frei, nun Transparenz herzustellen und ihre Daten, Fragebögen und Begleitmaterialien offenzulegen.

Gerne wiederhole ich in diesem Zusammenhang im Sinne maximaler wissenschaftlicher Transparenz umgekehrt meine Bereitschaft zu einer persönlichen und öffentlichen wissenschaftlichen Diskussion mit den Autoren des Glücksspiel-Surveys 2021 über die gutachterlich geäußerte Kritik. Ich erachte dies als wissenschaftlich zielführender als den weiteren Austausch schriftlicher Stellungnahmen.

Qualitätssicherung von Studien

Inhaltlich zeigt die Stellungnahme der Survey-Autoren einmal mehr, wie entscheidend es für die Qualitätssicherung von Studien dieser Art ist, von Beginn an einen Methodenexperten (hier: einen erfahrenen Survey-Statistiker) in die Planung und Auswertung einzubeziehen. Zu den in der Stellungnahme der Survey-Autoren aufgeworfenen Punkten nehme ich nachfolgend jeweils knapp Stellung und empfehle zur erneuten vertiefenden Lektüre die jeweils angegeben Fundstellen in meinem Gutachten:

1. Eine nichtprobabilistische Stichprobe im Rahmen eines Mixed-Mode-Ansatz (Telefon-und Online-Befragung) erhöht das Risiko von Selektionsverzerrungen, die in ihrer Auswirkung oft kaum abzuschätzen sind. Zudem führt der Methodenwechsel in diesem Fall zu einer noch höheren Nonresponse-Quote als die telefonische Befragung allein. Auf das erhebliche Problem des Nonresponse (90 % in der Online-Befragung) gehen die Autoren an keiner Stelle ein. Die von den Autoren angeführte Literatur entspricht weder im Survey noch in der Stellungnahme dem aktuellen Stand der Wissenschaft. Die Unzulässigkeit der Übertragung von methodischen Praktiken aus der Wahlforschung auf andere Befragungsmaterien–von den Survey-Autoren in der Stellungnahme abermals fälschlicherweise befürwortet –habe ich bereits in meinem Gutachten ausführlich begründet. [S. 33-70, insb. 68 f.]

2. Der Verweis auf frühere Querschnittsbefragungsdesigns der BZgA wäre kein Argument zugunsten der Fortführung dieser Praxis, wenn es darum gegangen wäre, Kausalzusammenhänge in Bezug auf Fragen des Glücksspielverhaltens zu erforschen. Hierfür wäre allein ein Längsschnittstudiendesign geeignet. Querschnittsstudien sind ebenso wie Mixed-Methods-Ansätze nicht per se abzulehnen, sie sind in ihrer Aussagekraft aber limitiert. Würden sich die Autoren auf deskriptive und explorative Aussagen beschränken, bestünden gegen eine Querschnittsstudie kaum Einwände. Jedoch finden sich im Survey trotz dessen Querschnittsdesigns zahlreiche unbewiesene Kausalaussagen, etwa jene, wonach bei problematischen Spielern, die unter anderem auch an Lotterien teilnehmen, die Spielproblematik meist durch andere Spielformen ausgelöst worden sein dürfte. Hierfür kann derSurvey jedoch qua Design keine Belege liefern. [S. 71-81]

3. Wenn die Gesamtheit des Online-Panels eine nachweislich repräsentative (d.h. probabilistische) Stichprobe der deutschen Bevölkerung darstellen würde, wäre gegen ein solches Verfahren nichts einzuwenden. Das „US Bureau of Census“ liefert eine Vorlage für ein entsprechendes Design. Den veröffentlichten Angaben im Glücksspiel-Survey nach ist jedoch von einer nichtprobabilistischen Auswahl auszugehen. Die systematischen Verzerrungen einer solche Auswahl lassen sich auch durch eine strenge Quota-Auswahl nicht korrigieren. [S. 35-48]

4. Eine immense Nonresponse-Quote in Höhe von 90 % bedarf in jedem Fall einer eingehenden Diskussion, da sie grundsätzlich mit erheblichen, kaum lösbaren methodischen Problemenverbunden ist. Leider geben die Autoren keine Hinweise darauf, wie sie mit diesen Problemen umgegangen sind bzw. ob sie sich dieser überhaupt bewusst waren. [S. 46-48]

5. Die gängigen Konfidenzintervalle gelten nur, wenn es sich um eine probabilistische Stichprobe mit zu vernachlässigendem Nonsampling-Error handelt. Die Berücksichtigung von Nonresponse und komplexen Designs in Konfidenzintervallen ist alles andere als trivial und Gegenstand aktueller Forschungsprojekte (DACSEIS, siehe cros-legacy.ec.europa.eu/content/dacseis_en) in der Statistik. Vorsorglich weise ich auf das multiple Testproblem und die Notwendigkeit der Adjustierung der Konfidenzintervalle hin, vgl. die Vorgehensweise in den BZgA-Surveys. Die gravierenden grundsätzlichen methodischen Mängel des Surveys werden punktuelle Nachjustierungen jedoch keinesfalls heilen können. [S. 35-42]

6. Bedauerlicherweise haben die Survey-Autoren die Herausgabe der Rohdaten, Fragebögen und Begleitmaterialien verweigert, obwohl dies guter wissenschaftlicher Praxis entsprochen hätte. Wir haben mehrfach darauf hingewiesen, dass wir im Gutachten nur die Materialien berücksichtigen konnten, die uns zur Verfügunggestellt wurden. Dazu gehört auch der Hinweis, den die Autoren selbst in einer weiteren Publikation geben, dass das verwendete Instrument ein individualdiagnostisches ist und seine Eignung für epidemiologische Untersuchungen möglicherweise nicht ausreicht ('Finally, although the DSM-5 criteria achieve satisfactory reliability, validity, and classification accuracy (Stinchfiel et al., 2016), they may be less suitable for epidemiological studies as they were originally developed for the clinical context.' Meyer, Kalke und Buth 2023: Problem gambling in Germany: results of a mixed-mode population survey in 2021, In: International Gambling Studies, S. 1-18, hier: S. 15). Diesem Hinweis entnehmen wir, dass zumindest diese Problematik im Rahmen des Pre-Tests nicht abschließend geklärt werden konnte. [S. 99-104, insb. S. 102 f.]

7. Die Replik der Survey-Autoren, ich hätte die Erfassung 'riskanten Spielverhaltens' bei ein bis drei erfüllten DSM-5-Kategorien grundsätzlich kritisiert, missinterpretiert und verkürzt die von mir vorgebrachte Argumentation völlig. Tatsächlich findet der Umstand, dass andere Studien (auch BZgA-Surveys) zuvor in gleicher Weise verfahren sind, in meinem Gutachten ausdrückliche Erwähnung. Einmalig ist im Falle des Surveys jedoch die Zuordnung der 'riskanten Spieler' zur Gruppe der „problematischen Spieler“, wodurch der medial stark rezipierte Wert von 8 % der Befragten mit nicht unproblematischem Spielverhalten (= problematisches Spielverhalten) erst generiert wurde. Insbesondere bietet die fehlende Sensitivitätsanalyse Anlass zur Kritik: Wenn die Datengrundlagen zur Evaluation und Rechtfertigung regulatorischer Maßnahmen geschaffen werden sollen, muss die Auswirkung der neuen Zuordnung detailliert und transparent untersucht werden. Andernfalls wird das Risiko erhebliche Mess-und Verarbeitungsfehler bewusst in Kauf genommen. [S. 82-88]

8. Auch die Behauptung der Survey-Autoren, zwei Folgepublikationen zum Survey in Fachzeitschriften seien gutachterlich geprüft worden und mein Vorwurf des fehlenden Peer-Reviews sei deshalb nicht einschlägig, geht an der im Gutachten geäußerten Kritik vorbei. Letztere bezieht sich auf den Peer-Review von Methodik und Ergebnissen als Ganzeshinsichtlich deren Eignung zur Bereitstellung von Evaluationsgrundlagen für regulatorische Maßnahmen – denn dieses Ziel definieren die Survey-Autoren in Bezug auf ihre eigene Erhebung selbst. Soweit erkennbar, behandelte keine der beiden peer-reviewten Veröffentlichungen eine entsprechend konkrete Forschungsfrage. Stattdessen wurden immer nur ausgewählte, dem jeweiligen Publikationsformat dienliche Passagen/Auszüge der Daten betrachtet; die peer-reviewten Artikel waren zudem frühestens ein Jahr nach Veröffentlichung des Ursprungs-Surveys öffentlich zugänglich. Ein Review hingegen des Glücksspiel-Surveys als Ganzem, der tiefgehende Kenntnisse der Survey-Statistik voraussetzt, stand bislang aus. Offen bleibt die Frage, warum die Limitationen, die in den peer-reviewten Artikeln diskutiert wurden, von den Survey-Autoren weder im Survey selbst noch in der Begleitkommunikation herausgestellt wurden. [S. 22-24; 99-104; 105-108, insb. S. 107, 112-115]

Verzicht auf Polemik und persönliche Angriffe

Auf die weitere – persönliche und öffentliche – wissenschaftliche Auseinandersetzung mit den Autoren des Glücksspiel-Surveys 2021 freue ich mich sehr. Das engagierte wissenschaftliche Streitgespräch ist selbstverständlicher Kernbestandteil wissenschaftlicher Betätigung. Die Bereitschaft zum Verzicht auf Polemik und persönliche Angriffe, die sich mindestens mittelbar auch gegen den angesehensten Survey-Statistiker Deutschlands richten, setze ich dabei jedoch voraus."