KI Bewertung für systematische Reviews heißt: zuerst prüfen, dann entscheiden. Dieser Leitfaden zeigt klar, wann ein KI‑Tool hilft und wann Sie besser verzichten. Grundlage sind RAISE 3 und Cochrane‑Standards: Verantwortung liegt bei den Autorinnen und Autoren, Qualität darf nicht leiden, Berichte müssen transparent sein, und es braucht menschliche Aufsicht. Ein zentrales Ziel ist, Teams zu „kritisch vorsichtigen“ Entscheidungen zu befähigen. Ella Flemyng von Cochrane fasst das in vier Erwartungen zusammen: Verantwortung übernehmen, methodische Strenge sichern, Nutzung offenlegen und stets mit menschlicher Aufsicht arbeiten. Der praktische Weg dahin beginnt mit einer strukturierten Prüfung und endet – falls nötig – mit dem klaren „Nein“ zu einem Tool.

KI Bewertung für systematische Reviews: Was vor dem Einsatz zu prüfen ist

Der „Responsible Handover“-Rahmen aus RAISE 3

Prüfen Sie jedes Tool entlang von fünf Fragen:

• Wozu dient das Tool konkret?
• Woher stammen Trainings-, Test- und Validierungsdaten?
• Ist das Tool validiert und ausreichend leistungsfähig?
• Wie gut sind Bedienbarkeit und Anwenderkompetenz abgedeckt?
• Wie steht es um Transparenz, Lizenzen, Verfügbarkeit und Dokumentation?

Diese Prüfung stützt sich auf öffentlich verfügbare Informationen. Scheuen Sie sich nicht, Entwickler direkt zu kontaktieren und fehlende Details anzufragen. Diese Rückfragen fördern oft mehr Offenheit. Ein Ergebnis dieser frühen Prüfung kann ein bewusstes „Stopp“ sein. Gründe dafür:

• keine oder schwache Validierung, nicht mitigierbare Risiken
• keine veröffentlichte Validierung im relevanten Kontext
• nicht reproduzierbare Validierung
• ausschließlich entwicklergeführte Studien oder schwache Methoden
• Nicht‑Einhaltung rechtlicher oder organisatorischer Vorgaben
• Nutzungsbedingungen erlauben Training mit Ihren Inhalten ohne Opt‑out
• unzureichende menschliche Aufsicht, fehlendes Monitoring oder Auditierbarkeit
• mangelnde Reaktionsbereitschaft oder Transparenz der Entwickler

Finden Sie keine roten Flaggen, können Sie fortfahren – idealerweise mit validierten Tools und klaren Grenzen. Oder Sie „gehen mit Mitigationsmaßnahmen“ weiter: Das heißt, Sie schließen Lücken durch zusätzliche Überprüfung.

Zeigen, dass das Tool die Review‑Qualität nicht schwächt

RAISE 3 ordnet KI‑Einsätze entlang der Review‑Schritte ein und gibt Nutzungs­empfehlungen:

• akzeptabel (kurze Begründung und Offenlegung)
• menschliche Verifikation nötig (Offenlegung plus Verifikationsbeschreibung)
• Validierung innerhalb der Review nötig (vollständige Offenlegung, SWaR‑Ansatz)
• explorativ/ergänzend (vollständige Offenlegung, Validierungsmethoden)
• nicht akzeptabel (nicht einsetzen)

Für große Sprachmodelle und generative KI gilt derzeit: „mit Mitigationsmaßnahmen fortfahren“. Sie agieren als Black Box. Deshalb brauchen Sie menschliche Verifikation oder eine Validierung innerhalb der Review (Study Within a Review, SWaR). Hier knüpft die KI Bewertung für systematische Reviews an: Entscheiden, wo zusätzliche Kontrollen nötig sind.

Praxisbeispiel CESAR

Die Cochrane Evaluation of (Semi-) Automated Review methods (CESAR) prüft KI‑Tools über rund 15 Review‑Updates hinweg und vergleicht sie mit klassischen Methoden. Als Plattformstudie kann CESAR Tools mit unzureichender Leistung aussteuern und neue hinzufügen. Voraussetzung sind klare Leistungsgrenzen (Thresholds).

Schwellenwerte verstehen

Warum Thresholds? Sie machen „gut genug“ messbar, sichern Transparenz, Vergleichbarkeit und verhindern Methodenverschleiß. CESAR arbeitet mit vordefinierten Grenzwerten, u. a.:

• Screening – Sensitivität: Stopp bei Punktwert unter 80% oder wenn die obere 95%-Grenze unter 95% bleibt.
• Screening – Spezifität (Volltext): Stopp bei Punktwert unter 50% oder oberer 95%-Grenze unter 60%.
• Datenextraktion – Sensitivität: Stopp bei Punktwert unter 92% oder oberer 95%-Grenze unter 97%.
• Datenextraktion – Major‑Fehleranteil: Stopp bei Punktwert über 3% oder oberer 95%-Grenze über 2%.
• Usability – System Usability Scale: Stopp unter 57; Zielwert für Nichtunterlegenheit: 75.

Diese Werte wurden durch eine Community‑Befragung (Destiny‑Projekt), RAISE und Expertinnen und Experten der Joint AI Methods Group informiert. Wichtig: Setzen Sie Ihre eigenen Schwellen prospektiv fest und dokumentieren Sie sie klar.

Praktische Hinweise für die KI Bewertung für systematische Reviews

Effizienz ist Pflicht, nicht Kür

KI‑Tools sollen Arbeit beschleunigen. Wenn das Onboarding abgeschlossen ist und das Tool trotzdem bremst, Arbeitswege verkompliziert und Support fehlt, ist das ein valider Grund zum Abbruch.

Transparente Offenlegung

Berichten Sie die Nutzung vollständig. Nennen Sie Tool/Version/Datum, Zweck im Prozess und wie Sie es gemäß Anleitung eingesetzt oder angepasst haben. Begründen Sie:

• welche menschliche Aufsicht, Verifikation oder Overrides erfolgten,
• warum die Methode tragfähig ist (z. B. Validierungen),
• wie Sie das Tool für Ihren Kontext kalibriert oder validiert haben.

Dokumentieren Sie bekannte Limitationen, potenzielle Biases und ethische Punkte. Verweisen Sie bei Bedarf auf Ergänzungen im Anhang. So bleibt die KI Bewertung für systematische Reviews nachvollziehbar und reproduzierbar.

Aufsicht und Verantwortung bleiben menschlich

Wer KI nutzt, trifft eine bewusste Entscheidung und bleibt verantwortlich. Das schließt die Wahl des Tools, die Prüfung öffentlicher Evidenz, zusätzliche Verifikationen sowie realweltliche Validierungen ein. Cochrane, das Destiny‑Projekt und die Joint AI Methods Group arbeiten daran, Standards weiter zu schärfen – auch dazu, was künftig als „gut genug“ gilt. Am Ende zählt eine klare, belastbare KI Bewertung für systematische Reviews: prüfen, dokumentieren, überwachen – und im Zweifel nicht nutzen.

(Source: https://www.cochrane.org/about-us/news/right-tool-right-job-deciding-when-not-use-ai-tool)

For more news: Click Here

FAQ