KI Neuigkeiten
31 Okt. 2025
Read 16 min
KI Chatbots für Minderjährige verbieten: Wie Schulen handeln
KI Chatbots für Minderjährige verbieten zeigt Schulen, wie sie Unterricht und Datenschutz sichern.
US-Senatoren wollen KI Chatbots für Minderjährige verbieten. Ein parteiübergreifender Entwurf zielt auf „Companion“-Bots wie Character.ai, während ein zweiter Vorschlag Schülerdaten besser schützen soll. Schulen dürfen Lernbots wohl weiter nutzen – doch Beratung und Datenschutz werden strenger. So bereiten Sie Unterricht, Verträge und Kommunikation jetzt vor.
In den USA nimmt der politische Druck auf Anbieter von KI-Tools stark zu. Zwei Gesetzentwürfe aus dem Senat markieren eine neue Phase: Einer will „Companion“-Chatbots für Jugendliche stoppen, der andere stärkt den Schutz von Schülerdaten. Für Schulen bedeutet das: Chancen mit Lern-KI bleiben, aber die Regeln für Einsatz, Aufsicht und Verträge werden schärfer. Expertinnen und Experten erwarten weitere Vorstöße und warnen vor schnellen, unbedachten Entscheidungen. Eine große Plattform hat bereits reagiert und Minderjährige gesperrt.
Warum sich der Fokus auf Schüler-KI jetzt verschiebt
Mehrere Entwicklungen treiben die Debatte. Eltern klagen nach tragischen Fällen, in denen Chatbots angeblich an Suiziden von Jugendlichen beteiligt waren. Senatoren wie Josh Hawley (Republikaner) und Richard Blumenthal (Demokrat) werfen Tech-Konzernen vor, Gewinne über das Wohl von Kindern zu stellen. Common Sense Media meldete zudem: Rund ein Drittel der Jugendlichen, die KI-Gefährten nutzen, finden Gespräche mit dem Bot befriedigender als Treffen mit Freundinnen und Freunden. Parallel prüft die Federal Trade Commission (FTC) Anbieter emotionaler Chatbots und hat Informationsanfragen an Betreiber von ChatGPT, Gemini, Character.ai, Snapchat, Instagram, WhatsApp und Grok verschickt. Vor diesem Hintergrund wird der Ruf, KI Chatbots für Minderjährige verbieten zu wollen, lauter. Amelia Vance vom Public Interest Privacy Center spricht von einem „Auftakt“ zu vielen weiteren Vorlagen. Ihr Punkt: Politik und Schulen ringen um klare Verantwortlichkeiten, um Sicherheit und um die Frage, wie KI in Bildung überhaupt sinnvoll passt.Was die zwei US-Entwürfe konkret vorsagen
Companion-Bots für Jugendliche stoppen
Der parteiübergreifende Entwurf von Josh Hawley, mitgetragen von Richard Blumenthal und weiteren Senatorinnen und Senatoren, richtet sich gegen KI-Begleiter wie Character.ai oder Replika. Kernelemente: – Pflicht zur „angemessenen Altersverifikation“ über bloße Geburtsdatumsangaben hinaus. – Klarer Hinweis der Bots: Sie sind nicht menschlich und besitzen keine berufliche Qualifikation, z. B. keine Zulassung für psychologische Beratung. – Strafrechtliche Konsequenzen, wenn Anbieter Minderjährigen Companion-Bots bereitstellen, die sexuelle Inhalte anfordern oder erzeugen. – Ausnahmen für Chatbots, die nur in einem begrenzten Themenbereich antworten oder Teil einer größeren Software sind. Laut einem Senatsmitarbeiter soll das pädagogisch ausgerichtete, sichere Lernbots weiterhin ermöglichen. Für Schulen ist relevant: Lernassistenten wie Khan Academy’s Khanmigo scheinen von der Intention her nicht betroffen. Unklar bleibt aber, ob und wie Angebote für Studien-, Berufs- oder psychosoziale Beratung gelten. Außerdem könnten allgemeine Sprachmodelle, die Schülerinnen und Schüler für Hausaufgaben nutzen (etwa ChatGPT oder Gemini), im Fokus stehen, wenn sie als „Begleiter“ eingesetzt werden. Bemerkenswert: Nur einen Tag nach der Vorstellung des Entwurfs kündigte Character.ai an, Minderjährige freiwillig auszuschließen.Mehr Schutz für Schülerdaten bei Schul-KI
Der zweite Entwurf von Senator Bill Cassidy (Vorsitzender des Bildungsausschusses) legt den Schwerpunkt auf Datenschutz in Bildung: – Ein „Golden Seal of Excellence in Student Data Privacy“ soll Schulen und Schulträger auszeichnen, die starke Einwilligungsprozesse für Edtech-Tools umsetzen. – Eltern sollen Einsicht in relevante Teile von Verträgen zwischen Schulbezirken und Technologieanbietern erhalten, bevor diese in Klassen eingeführt werden. – Schülerfotos dürfen ohne Einwilligung der Eltern nicht zum Training von Gesichtserkennungssystemen genutzt werden. – Ein bundesweites Register soll Edtech-Anbieter listen, die Anforderungen missachten – bis zu fünf Jahre. – Mehr Forschung zur lernförderlichen Nutzung von KI und Klarstellung, dass Fördermittel für die Fortbildung von Lehrkräften zu KI eingesetzt werden können. Tammy Wincup (Securly) begrüßt den Entwurf als „ersten Schritt“. Ihr Hinweis: KI steckt inzwischen in fast allen Tools – Schutz, Wohlbefinden und Lernen müssen zusammengedacht werden.KI Chatbots für Minderjährige verbieten: Folgen für Unterricht, Beratung und Schul-IT
Die Entwürfe senden klare Signale: Der Einsatz reiner Begleiter-Bots mit emotionaler Interaktion wird für Jugendliche politisch riskant. Schulen sollten davon unabhängig vorsichtig sein, auch ohne gesetzliche Pflicht. Lernbots mit engem Fokus auf Aufgaben, Fachinhalte und Übung wirken dagegen gewollt – wenn Transparenz und Sicherheit stimmen.Unterricht: Lern-KI ja, aber eng geführt
Für Lehrkräfte ist die Kernfrage: Welche Bots sind didaktische Assistenz und welche sind emotionale Begleitung? Die Vorlage unterscheidet genau das. Praxisleitplanken: – Fokus auf thematisch begrenzte Bots mit klarer Lernfunktion (z. B. Erklärung, Übung, Feedback). – Sichtbare Hinweise, dass der Bot nicht menschlich ist, keine Abschlüsse hat und Fehler machen kann. – Inhalte begrenzen, sichere Voreinstellungen nutzen, Protokolle aktivieren. – Arbeitsaufträge so gestalten, dass der Bot Hilfen bietet, aber nicht den Lernweg ersetzt. Wichtig: Der Entwurf lässt Lernbots im Prinzip zu. Dennoch müssen Schulen für Transparenz sorgen, Altersgrenzen respektieren und Schülerdaten schützen. Auch wenn das Gesetz US-spezifisch ist, sind die Anforderungen ein guter Maßstab für Qualitätsstandards in jeder Schule.Beratung: Hilfe-Angebote mit Mensch im Mittelpunkt
Besonders sensibel ist die Nutzung von Chatbots für Berufe, Studienwahl oder psychische Gesundheit. Der Entwurf könnte solche Einsätze erschweren, weil er emotionale Interaktion und scheinbar „menschliche“ Nähe bei Jugendlichen adressiert. Expertinnen und Experten betonen: Das kann heikel sein. Schulen sollten Beratung nicht an Bots auslagern, sondern digitale Tools höchstens als strukturierte Unterstützungswerkzeuge mit klaren Grenzen nutzen – nie als Ersatz für Fachpersonal. Auch hier gilt: Eindeutige Hinweise zur Nicht-Humanität und fehlenden Qualifikationen sind Pflicht. Wenn politische Regeln KI Chatbots für Minderjährige verbieten oder deutlich einschränken, entsteht eine Lücke. Diese Lücke lässt sich aber mit bewährten, menschlichen Angeboten füllen: Schulsozialarbeit, Beratungslehrkräfte, externe Partner – unterstützt durch sichere, datenarme Tools zur Terminverwaltung, Informationssammlung und Lernorganisation.Allgemeine Sprachmodelle im Unterricht
Viele Klassen nutzen große Sprachmodelle wie ChatGPT oder Gemini für Schreib- und Rechercheaufgaben. Der Companion-Entwurf zielt zwar primär auf Gefährten-Bots, doch Schulen sollten die Nutzung allgemeiner Modelle bewusst rahmen: – Klare Regeln: Wofür ist das Modell erlaubt? Welche Hilfen sind untersagt? – Transparenzpflicht: Schülerinnen und Schüler kennzeichnen KI-Einsatz in Abgaben. – Altersangemessene Konten und Schutzmechanismen nutzen. – Kein Einsatz für psychologische oder juristische Beratung.Was Schulen jetzt konkret tun können
Auch wenn die Gesetze noch nicht verabschiedet sind: Vorausschauendes Handeln schützt Lernende und erleichtert Anpassungen.Kurzfristig (in 30–60 Tagen)
– Inventur aller KI-Funktionen: Welche Tools und Plattformen sind im Einsatz? Wo gibt es integrierte Chatfunktionen? – Risiko-Screening: Companion-Features, Rollenplay-Bots, „Freund“-Chats identifizieren und für Minderjährige deaktivieren oder sperren. – Altersangemessene Nutzung: Kontoeinstellungen prüfen, zusätzliche Verifikationen und Inhaltsfilter aktivieren. – Transparenztexte aktualisieren: Deutliche Hinweise, dass Bots nicht menschlich sind und keine professionellen Qualifikationen besitzen. – Unterrichtsregeln beschließen: Didaktische Leitlinien für Lern-KI, Kennzeichnungspflicht für KI-Unterstützung in Arbeiten.Mittelfristig (im laufenden Schulhalbjahr)
– Verträge sichtbar machen: Eltern erhalten Einsicht in relevante Klauseln zu Datenverarbeitung, Support, Löschung und Auftragsverarbeitung. – Datensparsamkeit umsetzen: Fotos, Audio und biometrische Daten nicht ohne Einwilligung sammeln oder hochladen; Trainingsnutzung untersagen. – Lieferanten prüfen: Sicherheitskonzepte, Jugendschutz, Logging und Moderation. Anbieter mit offenen Datenschutzrisiken auf eine Beobachtungsliste setzen. – Fortbildungen starten: Lehrkräfte, IT und Schulsozialarbeit zu Chancen, Grenzen und Risiken von Lern-KI schulen. – Kommunikationsplan: Elternabend oder Infobrief zu Zielen, Schutzmaßnahmen, Meldewegen bei Vorfällen, verantwortungsvoller Nutzung.Langfristig (strategisch)
– Governance festlegen: KI-Leitlinie, Rollen (Fachbereich, IT, Datenschutz, Schulpsychologie), jährliche Überprüfung. – Kuratierter KI-Werkzeugkasten: Zulässige Lernbots mit engem Fokus, geprüften Sicherheitsstandards und nachvollziehbaren Outputs. – Evidenzbasierung stärken: Teilnahme an Studien oder Pilotprojekten zur Frage, wie KI Lernen verbessert – mit sicherer Datenerhebung. – Krisen- und Eskalationsprozesse: Was tun bei Fehlverhalten des Bots, schädlichen Inhalten oder Datenschutzvorfällen?Rechtliche und ethische Leitplanken sauber umsetzen
Die Entwürfe betonen einige Grundprinzipien, die Schulen direkt übersetzen können: – Altersverifikation ernst nehmen: Nicht allein auf Selbstauskunft setzen, sondern Schulkonten und Benutzergruppen sauber strukturieren. – Offenlegen, was der Bot kann – und was nicht: Keine suggerierten Qualifikationen, klare Grenzen, einfache Sprache. – Inhalte aktiv steuern: Safe-Mode, Wortfilter, Blocklisten, Moderation. – Rechenschaft sichern: Protokolle und Nachvollziehbarkeit, damit Schulleitung und IT auf Vorfälle reagieren können. – Elterneinbindung: Früh informieren, Einwilligungen einholen, Fragen beantworten.Rolle von Edtech-Anbietern: Kooperation statt Versprechen
Die geplante Liste nicht konformer Anbieter zeigt: Vertrauen braucht Nachweise. Schulen sollten auf messbare Sicherheits- und Datenschutzstandards drängen statt auf Marketing. Konkrete Punkte für die Auswahl: – Klare Datenflüsse, kurze Speicherfristen, kein Training auf Schülerdaten ohne Einwilligung. – Zusagen zu Jugendschutz und Inhaltsmoderation, dokumentiert und überprüfbar. – Tools mit begrenztem Themenfokus und pädagogischer Ausrichtung bevorzugen. – Kontrollierbare Admin-Funktionen, Audit-Logs und schnelle Abschaltmöglichkeiten.Kommunikation mit Lernenden und Eltern
Transparenz entschärft Konflikte und baut Vertrauen auf. Gute Praxis: – In einfacher Sprache erklären, warum die Schule bestimmte Funktionen deaktiviert und wie Lern-KI trotzdem hilft. – Hinweise zu Grenzen: Bots sind nicht menschlich, können Fehler machen, bieten keine professionelle Beratung. – Regeln für verantwortungsvolles Arbeiten mit KI im Unterricht, inklusive Quellenangaben und Kennzeichnung. – Klare Meldewege: Wer ist bei technischen, inhaltlichen oder emotionalen Problemen erste Ansprechperson?Risiken realistisch einordnen – Chancen gezielt nutzen
Amelia Vance warnt: Die Debatte hat erst begonnen. Schulen sollten damit rechnen, dass weitere Vorschriften folgen. Gleichzeitig betont Tammy Wincup, dass KI „wie Wasser oder Luft“ in viele Tools einfließt. Das heißt: Verbote allein lösen das Problem nicht; es braucht saubere Implementierung, kontinuierliche Beobachtung und Fortbildung. Für den Unterricht bieten enge, gut konzipierte Lernbots klare Mehrwerte: adaptive Übung, unmittelbares Feedback, Unterstützung beim Schreiben und Verstehen. Entscheidend ist der Rahmen: Lehrkräfte steuern, setzen Ziele, bewerten kritisch; Bots liefern Hilfen, keine Heilsversprechen. In der Beratung bleibt der Mensch das Zentrum, digitale Werkzeuge sind Assistenz, nicht Ersatz.Checkliste für Schulleitungen und Träger
– Gibt es Companion- oder Rollenplay-Funktionen, die unter 18 Jahren gesperrt werden müssen? – Liegen transparente Elterninformationen und Einwilligungsprozesse vor? – Sind Verträge auf Datenminimierung, Trainingsnutzung und Löschfristen geprüft? – Haben Lehrkräfte klare Leitlinien und Fortbildungsangebote zu Lern-KI? – Sind Monitoring, Protokolle und Eskalationswege eingerichtet? Schulen müssen jetzt handlungsfähig bleiben und zugleich den Schutz von Kindern stärken. Die politischen Signale sind eindeutig: Emotionale Begleiter-Bots für Jugendliche geraten unter Druck, Datenschutz wird zur Pflichtübung. Wer früh Standards setzt, reduziert Risiken, sichert Lernchancen und schafft Vertrauen. Wenn die Politik am Ende tatsächlich KI Chatbots für Minderjährige verbieten sollte, sind gut vorbereitete Schulen bereits einen Schritt voraus.For more news: Click Here
FAQ
Q: Was verlangt der parteiübergreifende Senatsentwurf im Umgang mit KI‑Begleiter‑Chatbots für Jugendliche?
A: Der Entwurf will KI Chatbots für Minderjährige verbieten und verlangt von Anbietern eine „angemessene Altersverifikation“ über bloße Geburtsdatumsangaben hinaus. Er schreibt außerdem vor, dass Bots offenlegen müssen, dass sie keine Menschen oder Fachkräfte sind, und sieht strafrechtliche Konsequenzen vor, wenn Anbieter Minderjährigen sexualisierte Inhalte bereitstellen.
Q: Gelten die geplanten Regeln auch für Lernbots in Schulen wie Khanmigo?
A: Der Entwurf sieht Ausnahmen für Chatbots vor, die Teil einer größeren Software sind oder nur auf einen begrenzten Themenbereich antworten, sodass pädagogische Lernbots wie Khanmigo offenbar weiter nutzbar sein sollen. Unklar bleibt jedoch, wie Angebote für Berufs‑ oder psychosoziale Beratung eingeordnet werden.
Q: Wie könnte ein Verbot die Nutzung von Chatbots in der schulischen Beratung und bei psychischer Gesundheit beeinflussen?
A: Ein Verbot könnte den Einsatz von Chatbots in Studien‑ oder psychologischer Beratung erschweren und damit die Nutzung digitaler Hilfen in diesen Bereichen komplizieren. Expertinnen und Experten betonen, dass Beratung beim Menschen bleiben sollte und digitale Tools allenfalls als strukturierte Unterstützung mit klaren Grenzen dienen dürfen.
Q: Was regelt der zweite Entwurf von Sen. Bill Cassidy zum Datenschutz in Schulen?
A: Cassidys Entwurf zielt auf stärkeren Schutz von Schülerdaten und schlägt unter anderem ein „Golden Seal of Excellence in Student Data Privacy“ sowie Einsichtsrechte der Eltern in Vertragsteile vor deren Implementierung vor. Er verbietet die Nutzung von Schülerfotos zum Training von Gesichtserkennung ohne elterliche Einwilligung, sieht ein bundesweites Register nicht konformer Edtech‑Anbieter mit Einträgen bis zu fünf Jahren vor und fördert mehr Forschung sowie Klarstellungen zur Nutzung von Fördermitteln für Lehrkräftefortbildung.
Q: Welche kurzfristigen Maßnahmen sollten Schulen jetzt ergreifen?
A: Kurzfristig sollten Schulen eine Inventur aller eingesetzten KI‑Funktionen durchführen, Companion‑Features und Rollenplay‑Bots identifizieren und für Minderjährige deaktivieren sowie Altersverifikationen und Inhaltsfilter prüfen und aktivieren. Außerdem sollten Transparenztexte aktualisiert und didaktische Leitlinien beschlossen werden, damit Schulen handlungsfähig bleiben, falls die Politik KI Chatbots für Minderjährige verbieten sollte.
Q: Wie sollten Lehrkräfte Lern‑KI didaktisch sinnvoll einsetzen?
A: Lehrkräfte sollten Lern‑KI eng steuern, auf thematisch begrenzte Bots für Übungen, Erklärungen und Feedback setzen und Arbeitsaufträge so gestalten, dass die KI Hilfestellung bietet, aber nicht den Lernprozess ersetzt. Bots müssen deutlich kennzeichnen, dass sie nicht menschlich sind, Fehler machen können, und es sollten sichere Voreinstellungen, Protokolle und Inhaltsbegrenzungen genutzt werden.
Q: Welche Anforderungen sollten Schulen an Edtech‑Anbieter stellen?
A: Schulen sollten von Anbietern transparente Datenflüsse, kurze Speicherfristen und Zusagen verlangen, dass Schülerdaten nicht ohne Einwilligung zum Training von Modellen genutzt werden. Zudem sind dokumentierte Jugendschutz‑ und Moderationsmechanismen, kontrollierbare Admin‑Funktionen, Audit‑Logs und schnelle Abschaltmöglichkeiten wichtig.
Q: Welche langfristigen Schritte und Risiken sollten Schulleitungen bedenken?
A: Langfristig sollten Schulen eine KI‑Governance mit Leitlinien, Rollen, einem kuratierten Werkzeugkasten geprüfter Lernbots, Beteiligung an Studien und klaren Krisen‑ und Eskalationsprozessen etablieren. Wenn die Politik tatsächlich KI Chatbots für Minderjährige verbieten sollte, müsste die entstehende Lücke durch stärkere menschliche Beratungsangebote und datenarme Assistenztools geschlossen werden.
Contents
