“Undefinierte Begriffe in systematischen Reviews machen sie unwissenschaftlich und unzuverlässig”

• Behauptung: Unbestimmte Begriffe in systematischen Übersichtsarbeiten machen sie unwissenschaftlich und unzuverlässig
• Urteil: IRREFÜHREND
• Evidenzniveau: L2 — Akademische Leitfäden und methodologische Artikel aus peer-reviewten Quellen
• Zentrale Anomalie: Die Behauptung verwechselt methodologische Strenge mit Vollständigkeit der Definitionen. Systematische Übersichtsarbeiten können wissenschaftlich fundiert sein, auch wenn unbestimmte Elemente vorhanden sind, sofern diese Unbestimmtheit explizit anerkannt wird und die Methodik streng bleibt
• 30-Sekunden-Prüfung: Autoritative Quellen (UCL, BMJ Paediatrics Open) bestätigen, dass systematische Übersichtsarbeiten entweder die Grenzen der Untersuchung definieren oder klar angeben müssen, welche Elemente unbestimmt bleiben — beide Ansätze sind methodologisch akzeptabel (S006, S003)

Steelman — was Befürworter der Position behaupten

Die überzeugendste Version dieser Behauptung basiert auf einem fundamentalen Prinzip der wissenschaftlichen Methode: Reproduzierbarkeit und Präzision erfordern klare Definitionen. Befürworter dieser Position können argumentieren, dass systematische Übersichtsarbeiten, die den Anspruch erheben, wissenschaftliche Daten zu synthetisieren, mit streng definierten Begriffen operieren müssen, andernfalls:

• Werden Ein- und Ausschlusskriterien für Studien willkürlich
• Können verschiedene Forscher die Literatursuche nicht reproduzieren
• Verlieren die Schlussfolgerungen der Übersichtsarbeit an Verallgemeinerbarkeit aufgrund konzeptueller Unschärfe
• Können Leser die Anwendbarkeit der Ergebnisse auf ihren Kontext nicht bewerten

Diese Position findet teilweise Unterstützung in der methodologischen Literatur. Leitfäden zur Durchführung systematischer Übersichtsarbeiten betonen tatsächlich die Bedeutung expliziter Einschlusskriterien und klar beschriebener Studientypen (S005). Universitätsbibliotheksleitfäden weisen auf die Notwendigkeit einer umfassenden Literatursuche und expliziter Auswahlkriterien als unterscheidende Merkmale systematischer Übersichtsarbeiten im Vergleich zu narrativen hin (S005, S008).

Darüber hinaus erkennt die philosophische Literatur die Problematik unbestimmter Begriffe in der logischen Argumentation an. Die Stanford Encyclopedia of Philosophy stellt fest, dass obwohl einige grundlegende Konzepte wie "Relevanz" und "Hinlänglichkeit" selbst in der formalen Logik intuitiv und unbestimmt bleiben, dies methodologische Schwierigkeiten schafft (S013).

Was die Evidenz tatsächlich zeigt

Empirische Daten und methodologische Leitfäden zeichnen ein nuancierteres Bild, das die Kategorisierung der ursprünglichen Behauptung widerlegt.

Unbestimmtheit als anerkannte methodologische Realität

Der Leitfaden des University College London zur Formulierung von Forschungsfragen für systematische Übersichtsarbeiten enthält eine kritisch wichtige Klarstellung: "Jede Forschungsfrage hat ideologische und theoretische Annahmen bezüglich der Bedeutungen und Prozesse, auf die sie sich konzentriert. Eine systematische Übersichtsarbeit muss entweder die Grenzen dieser Elemente in der Anfangsphase definieren oder klar angeben, welche Elemente unbestimmt bleiben" (S006).

Dieser Leitfaden, aktualisiert im Januar 2026, erkennt explizit die Legitimität zweier Ansätze an: vollständige Definition oder explizite Anerkennung der Unbestimmtheit. Die zentrale Anforderung ist Transparenz, nicht absolute Gewissheit aller Begriffe.

Empirische Beispiele wissenschaftlich fundierter Übersichtsarbeiten mit unbestimmten Konzepten

Die systematische Übersichtsarbeit von Kloos und Kollegen (2023), veröffentlicht in der Zeitschrift Medical Teacher und 15-mal zitiert, untersucht "Vernachlässigung als undefinierten und übersehenen Aspekt der Misshandlung von Medizinstudenten" (S004). Der Titel selbst erkennt an, dass das zentrale Konzept der Untersuchung — "Vernachlässigung" — undefiniert ist. Dennoch handelt es sich um eine peer-reviewte systematische Übersichtsarbeit, veröffentlicht in einer angesehenen Zeitschrift für medizinische Ausbildung, was demonstriert: Die wissenschaftliche Gemeinschaft akzeptiert systematische Übersichtsarbeiten, die explizit mit unbestimmten Konzepten arbeiten.

Dieses Beispiel illustriert ein wichtiges methodologisches Prinzip: Systematische Übersichtsarbeiten können als Werkzeug dienen, um zuvor unbestimmte Konzepte zu erforschen und zu präzisieren, nicht nur um Daten zu bereits klar definierten Fragen zu synthetisieren.

Kritik der falschen Dichotomie zwischen Übersichtstypen

Der Artikel von Gordon (2025) in BMJ Paediatrics Open liefert eine kritische Analyse eines verbreiteten Missverständnisses: "Jede unbestimmte Frage umfasst standardmäßig einen breiten Bereich — aber dies allein rechtfertigt nicht die Durchführung einer Scoping-Übersichtsarbeit. Besorgniserregender ist, dass viele Arbeiten unter dem Label Scoping-Übersichtsarbeiten wesentliche Elemente der Strenge verwerfen, die für zuverlässige und verallgemeinerbare Ergebnisse lebenswichtig sind" (S003).

Diese Beobachtung kehrt die Logik der ursprünglichen Behauptung um. Das Problem ist nicht, dass unbestimmte Begriffe Übersichtsarbeiten unwissenschaftlich machen, sondern dass Forscher manchmal Unbestimmtheit als Vorwand nutzen, um methodologische Strenge zu reduzieren. Gordon betont, dass ein breiter Untersuchungsbereich oder die Unbestimmtheit einer Frage nicht von der Notwendigkeit befreien, "wesentliche Elemente der Strenge" aufrechtzuerhalten (S003).

Methodologische Standards sind unabhängig von der Vollständigkeit der Definitionen

Die vergleichende Analyse von Übersichtstypen zeigt, dass sich systematische Übersichtsarbeiten von narrativen nicht durch die Vollständigkeit der Definitionen unterscheiden, sondern durch methodologische Merkmale (S005):

• Umfassende Literatursuche: konzipiert, um alle relevanten Studien zu entdecken
• Explizite Einschlusskriterien: klare Beschreibung der einzubeziehenden Studientypen
• Systematische Datenextraktion: strukturierter Prozess der Informationsgewinnung
• Qualitätsbewertung: formale Bewertung der methodologischen Qualität eingeschlossener Studien

Keines dieser Kriterien erfordert, dass alle Begriffe vor Beginn der Übersichtsarbeit vollständig definiert sind. Sie erfordern Transparenz, Reproduzierbarkeit und Systematik des Prozesses.

Konflikte und Unsicherheiten in der Evidenz

Einschränkungen der extrahierten Daten

Es ist notwendig, eine wesentliche Einschränkung der verfügbaren Quellen anzuerkennen: Die meisten extrahierten Materialien stellen fragmentarische Texte aus Bibliotheksleitfäden dar, die überwiegend Navigationselemente und unvollständige Auszüge enthalten. Nur vier Quellen (S003, S004, S006, S010) enthalten substantiellen Inhalt, der für methodologische Analyse geeignet ist.

Diese Einschränkung bedeutet, dass diese Analyse auf einer relativ schmalen Evidenzbasis beruht, obwohl die Qualität der verfügbaren Quellen (peer-reviewte Zeitschriften, Leitfäden prestigeträchtiger Universitäten) hoch bleibt.

Spannung zwischen Ideal und Praxis

Es besteht eine offensichtliche Spannung zwischen dem methodologischen Ideal vollständiger Bestimmtheit und der praktischen Realität des Forschungsprozesses. Die systematische Übersichtsarbeit und Meta-Analyse von Bagde und Kollegen (2023) über ChatGPT, 73-mal zitiert, stellt fest, dass "einige Studien unbestimmte Standorte oder Stichprobengrößen haben" (S010).

Diese Beobachtung weist auf ein praktisches Problem hin: Selbst in zeitgenössischen systematischen Übersichtsarbeiten, die in autoritativen Zeitschriften veröffentlicht wurden, begegnen Forscher Unbestimmtheit in den Primärdaten. Die Frage ist nicht, ob Unbestimmtheit vollständig vermieden werden kann (oft kann sie nicht), sondern wie man methodologisch korrekt mit ihr umgeht.

Philosophische Grundlagen der Unbestimmtheit

Die Stanford Encyclopedia of Philosophy erkennt ein fundamentales Problem an: Einige grundlegende Konzepte bleiben "intuitive, unbestimmte Konzepte" selbst in der formalen Logik (S013). Diese philosophische Beobachtung hat wichtige Konsequenzen für die Methodologie systematischer Übersichtsarbeiten: Wenn selbst die formale Logik die Unbestimmtheit fundamentaler Konzepte nicht vollständig eliminieren kann, ist es unrealistisch zu verlangen, dass systematische Übersichtsarbeiten in komplexen empirischen Feldern eine absolute Definition aller Begriffe erreichen.

Die konstruktive Rolle der Unbestimmtheit in explorativer Forschung

Die Existenz systematischer Übersichtsarbeiten, die unbestimmte Konzepte erforschen (S004), legt nahe, dass Unbestimmtheit in bestimmten Forschungskontexten eine methodologisch legitime Rolle spielen kann. Wenn ein Feld sich entwickelt oder wenn die untersuchten Phänomene inhärent komplex und vielschichtig sind, kann eine systematische Übersichtsarbeit gerade dazu dienen, zu kartieren, wie verschiedene Forscher Begriffe konzeptualisiert und operationalisiert haben, die noch keine konsensualen Definitionen haben.

In solchen Fällen ist Unbestimmtheit kein methodologischer Mangel, sondern der Gegenstand der Untersuchung selbst. Die wissenschaftliche Anforderung besteht nicht darin, diese Unbestimmtheit vor Beginn zu eliminieren, sondern sie systematisch zu dokumentieren und kritisch zu analysieren.

Interpretationsrisiken

Verwechslung von methodologischer Strenge mit terminologischer Präzision

Das Hauptrisiko der ursprünglichen Behauptung besteht darin, dass sie dazu führen kann, methodologisch strenge systematische Übersichtsarbeiten abzulehnen, einfach weil sie mit Konzepten arbeiten, die von der wissenschaftlichen Gemeinschaft noch verfeinert werden. Dies verwechselt zwei unterschiedliche Dimensionen wissenschaftlicher Qualität:

• Methodologische Strenge: die Systematik, Transparenz und Reproduzierbarkeit des Forschungsprozesses
• Terminologische Präzision: der Grad, in dem alle verwendeten Konzepte vollständige operationale Definitionen haben

Eine Übersichtsarbeit kann methodologisch streng sein (umfassende Suche, explizite Kriterien, systematische Bewertung), während sie mit Konzepten arbeitet, die bewusst explorativ sind oder die bestehende Unbestimmtheit im Feld widerspiegeln.

Schaffung künstlicher Barrieren für explorative Forschung

Wenn die Behauptung akzeptiert wird, dass unbestimmte Begriffe systematische Übersichtsarbeiten unwissenschaftlich machen, würde dies eine künstliche Barriere für Forschung in aufstrebenden oder interdisziplinären Bereichen schaffen, wo Konzepte notwendigerweise in Entwicklung sind. Dies könnte den perversen Effekt haben, systematische Übersichtsarbeiten nur auf reife Felder mit etablierter Terminologie zu beschränken und aufstrebende Felder der Vorteile systematischer Evidenzsynthese zu berauben.

Ignorieren der Transparenzfunktion über Unbestimmtheit

Wie der UCL-Leitfaden (S006) feststellt, besteht die eigentliche wissenschaftliche Anforderung nicht darin, alle Unbestimmtheit zu eliminieren, sondern transparent darüber zu sein. Eine Übersichtsarbeit, die explizit anerkennt, welche Begriffe unbestimmt bleiben und wie dies die Interpretation der Ergebnisse beeinflusst, ist wissenschaftlich ehrlicher als eine, die falsche Präzision durch künstlich auferlegte willkürliche Definitionen vorgibt.

Fehlinterpretation der iterativen Natur wissenschaftlichen Wissens

Wissenschaft schreitet oft durch einen iterativen Prozess voran, bei dem Konzepte durch mehrere Zyklen empirischer Forschung und theoretischer Reflexion progressiv verfeinert werden. Systematische Übersichtsarbeiten, die mit unbestimmten Konzepten arbeiten, können entscheidende Schritte in diesem Verfeinerungsprozess sein, indem sie Inkonsistenzen identifizieren, wie verschiedene Forscher Begriffe operationalisiert haben, und auf den Bedarf an größerer konzeptueller Klärung hinweisen.

Solche Übersichtsarbeiten als "unwissenschaftlich" abzulehnen, missversteht fundamental, wie wissenschaftlicher Fortschritt in der Praxis funktioniert, insbesondere in Sozial-, Verhaltens- und Gesundheitswissenschaften, wo die untersuchten Phänomene inhärent komplex und multidimensional sind.