KI Neuigkeiten
19 Juni 2026
Read 9 min
Kalifornien risikoreiche automatisierte Entscheidungssysteme
Bericht zeigt sechs aktive hochriskante KI-Systeme in Kalifornien und fordert klare Regeln zum Schutz.
Kalifornien risikoreiche automatisierte Entscheidungssysteme stehen jetzt im Fokus: Nach einem Jahr mit „null“ meldet der Staat sechs aktive Systeme, die über Strafvollzug, Arbeitslosenhilfe und Hochschulen mitentscheiden. Ein neuer Bericht zeigt Lücken, Risiken und Projekte wie „Poppy“, die im offiziellen Überblick fehlen.
Kalifornien risikoreiche automatisierte Entscheidungssysteme: Was der neue Bericht zeigt
Ein Gesetz von 2023 verlangt, dass Behörden jährlich offenlegen, wo automatisierte Systeme rechtlich bedeutsame Entscheidungen unterstützen oder ersetzen. Im Vorjahr meldete Kalifornien keinen Einsatz. Nun bestätigt der Staat sechs Systeme, die das Leben von Menschen direkt beeinflussen. Bürgerrechts- und Datenschutzgruppen hatten diese Transparenz gefordert, weil solche Systeme nachweislich benachteiligende Fehler machen können. Der aktuelle Bericht betont, dass die genauere Prüfung der Behördenantworten den Unterschied ausmachte. Die IT-Abteilung des Staates sprach mit Ressorts und hakte nach. So kamen Anwendungen ans Licht, die schon länger laufen – und die Diskussion über Kalifornien risikoreiche automatisierte Entscheidungssysteme gewinnt an Fahrt.Die sechs Systeme – Beispiele und Hintergründe
Wofür die Technik heute genutzt wird
Der Bericht nennt sechs aktive hochriskante Systeme. Beispiele sind:- Prognosen, ob Inhaftierte rückfällig werden
- Bewertungen, ob Anträge auf Arbeitslosenhilfe betrügerisch sind
- Fernüberwachung von Prüfungen an der California State University (CSU)
- Erkennung, ob Studierende generative KI für Texte genutzt haben
Langjährige Nutzung im Strafvollzug
Im Strafvollzug setzt die California Department of Corrections and Rehabilitation seit Jahren auf COMPAS, um Rückfallrisiken zu bewerten. Dieses Beispiel zeigt, dass Kalifornien risikoreiche automatisierte Entscheidungssysteme nicht neu sind, sondern nun sichtbarer werden.Leistungssperren in der Arbeitslosenhilfe
Ein Betrugserkennungssystem der Arbeitsverwaltung führte Ende 2020 dazu, dass zwischen Weihnachten und Neujahr Leistungen für rund 600.000 Menschen pausierten, wie eine Analyse des Legislative Analyst’s Office dokumentiert. Solche Eingriffe verdeutlichen die Tragweite automatisierter Bewertungen.Weitere Funde und Einstufungen
Neben den sechs aktiven Fällen listet der Bericht sechs Systeme, die zunächst als hochriskant galten, später aber anders bewertet wurden. Dazu zählt ein KI-Tool zur Gesetzesfolgenanalyse im Finanzministerium. Zudem nennt der Bericht zwei derzeit nicht genutzte hochriskante Systeme: Die Cannabisaufsicht entwickelt KI, um kinderaffines Verpackungsdesign zu erkennen. An der CSU wurde ein Sprachmodell zur Vorauswahl von Bewerbungen wieder eingestellt. Diese Bandbreite macht klar: Unter Kalifornien risikoreiche automatisierte Entscheidungssysteme fallen ganz unterschiedliche Anwendungen – von Prüfungsaufsicht bis Strafvollzug. Entscheidend ist stets, dass Entscheidungen rechtliche oder ähnlich starke Wirkungen auf Betroffene haben.Was im Bericht fehlt
Mehrere wichtige Vorhaben tauchen im Dokument nicht auf. Dazu zählen Pilotprojekte aus dem Gouverneursumfeld zu generativer KI:- Hilfe für Unternehmen beim Steuernmelden
- Unterstützung für Beschäftigte, die zu Obdachlosigkeit arbeiten
- Poppy, ein Assistent auf Basis großer Sprachmodelle wie Anthropic Claude, der Dokumente entwirft, Policy recherchiert und kleine Werkzeuge baut
Rahmen, Politik und öffentliche Haltung
Gesetzliche Lücken und lokale Inventare
Das Transparenzgesetz gilt nicht für alle: Justiz und University of California sind ausgenommen. Zugleich legen Kommunen wie San José und San Francisco erstmals KI-Inventare vor. Gerichte in Kalifornien entwickeln Richtlinien zur Nutzung generativer KI; in Los Angeles und Riverside wird ein KI-Tool erprobt, das Entwürfe für Beschlüsse und Memos erstellt.Politische Weichenstellungen
Der Senat stoppte jüngst SB 1248. Der Entwurf hätte untersagt, allein auf automatisierte Systeme zu stützen. Parallel drängen Firmen wie Anthropic und OpenAI an die Börse und um Regierungsaufträge. Umso wichtiger ist eine klare Leitplanke für Kalifornien risikoreiche automatisierte Entscheidungssysteme, bevor der Einsatz weiter wächst.Stimmung in der Bevölkerung
Umfragen zeigen ein geteiltes Bild bei Vertrauen in KI. Befragungen durch TechEquity und Carnegie California deuten darauf hin, dass eine Mehrheit in Kalifornien Sicherheit vor Tempo und Innovation stellt. Ähnliche Tendenzen meldet Gallup für die USA insgesamt. Diese Haltung stärkt den Ruf nach Prüfung, Evidenz und Beschwerdewegen.Warum Transparenz jetzt zählt
Der Sprung von „null“ auf „sechs“ offenbart weniger einen plötzlichen Boom als eine bessere Bestandsaufnahme. Doch es bleiben Lücken: Pilotprojekte wie Poppy, Hochschulverträge und ausgenommene Bereiche ergeben ein unvollständiges Bild. Damit Kalifornien risikoreiche automatisierte Entscheidungssysteme fair und verantwortungsvoll bleiben, braucht es vollständige Inventare, klare Regeln gegen Fehlentscheide und die Zusage, dass Menschen letztlich die Verantwortung tragen. Am Ende entscheidet Vertrauen. Es entsteht, wenn der Staat offenlegt, wo Algorithmen helfen, welche Risiken bestehen und wie Betroffene Einspruch einlegen können. Nur so werden Kalifornien risikoreiche automatisierte Entscheidungssysteme zum Werkzeug für bessere Entscheidungen – und nicht zur Black Box über Lebenswege.(Source: https://calmatters.org/politics/2026/06/california-admits-government-ai-risk-after-denying/)
For more news: Click Here
FAQ
Q: Was zeigt der neue Bericht über Kalifornien risikoreiche automatisierte Entscheidungssysteme?
A: Der Bericht zeigt, dass Kalifornien risikoreiche automatisierte Entscheidungssysteme nun in sechs aktiven Fällen genutzt werden, während im Vorjahr noch „null“ gemeldet wurden. Die staatliche IT‑Abteilung erklärt, dass gründlichere Nachfragen und Gespräche mit Ressorts diese Systeme sichtbar gemacht haben.
Q: Welche Entscheidungen treffen die genannten automatisierten Systeme?
A: Laut Bericht werden die Systeme unter anderem eingesetzt, um Rückfallwahrscheinlichkeiten von Inhaftierten einzuschätzen, Arbeitslosenleistungsbetrug zu bewerten, Fernprüfungen an der CSU zu überwachen und Texte auf generative KI zu prüfen. Diese Anwendungen können rechtliche oder ähnlich bedeutsame Wirkungen auf Betroffene haben.
Q: Warum wurden die Systeme erst jetzt entdeckt, obwohl letztes Jahr keine gemeldet wurden?
A: Die IT‑Abteilung des Staates prüfte Antworten gründlicher, führte Gespräche mit Behörden und hakte nach, wodurch zuvor nicht gemeldete Anwendungen identifiziert wurden. Das erklärt den Sprung bei den Meldungen zu Kalifornien risikoreiche automatisierte Entscheidungssysteme von „null“ auf sechs.
Q: Welche konkreten Systeme oder Vorfälle nennt der Bericht als Beispiele?
A: Der Bericht erwähnt COMPAS, das die Strafvollzugsbehörde seit mindestens einem Jahrzehnt zur Einschätzung von Rückfallrisiken nutzt, und ein Betrugserkennungssystem, das 2020 Leistungen für etwa 600.000 Menschen pausierte. Zudem listet die IT‑Abteilung sechs weitere Fälle, die zunächst als hochriskant galten, später aber anders eingestuft wurden.
Q: Welche wichtigen Projekte fehlen in der offiziellen Auflistung?
A: Pilotprojekte wie Poppy — ein Assistent auf Basis großer Sprachmodelle wie Anthropic Claude — sowie Initiativen zur Unterstützung von Unternehmen bei Steuerfragen und ein CSU‑Vertrag mit OpenAI werden im Bericht nicht aufgeführt. Die staatliche Website nennt 67 Abteilungen, die am Poppy‑Piloten mitgewirkt haben, und einen bevorstehenden landesweiten Rollout.
Q: Welche Ausnahmen und gesetzlichen Lücken weist das Transparenzgesetz auf?
A: Das Gesetz von 2023 verlangt jährliche Meldungen, schließt aber bestimmte Einrichtungen wie die Justiz und das University of California‑System von der Berichtspflicht aus. Außerdem scheiterte zuletzt SB 1248, ein Gesetzentwurf, der staatlichen Beschäftigten verbieten wollte, Entscheidungen ausschließlich auf automatisierte Systeme zu stützen.
Q: Welche Bedenken äußern Bürgerrechts‑ und Datenschutzgruppen zu diesen Systemen?
A: Diese Gruppen warnen vor nachgewiesenen Verzerrungen und Benachteiligungen in Systemen für Prüfungen, Rückfallprognosen und KI‑Erkennung sowie vor mangelnder Transparenz und Wirkungskontrolle. Solche Sorgen treiben die Forderung nach Offenlegung und strengeren Regeln für Kalifornien risikoreiche automatisierte Entscheidungssysteme an.
Q: Was wird als nächster Schritt vorgeschlagen, um den Einsatz automatisierter Systeme verantwortungsvoller zu gestalten?
A: Der Artikel fordert vollständige Inventare, klare Leitplanken gegen Fehlentscheidungen und die Zusicherung, dass Menschen letztlich die Verantwortung tragen, damit Kalifornien risikoreiche automatisierte Entscheidungssysteme fairer und transparenter werden. Solche Maßnahmen sollen Vertrauen schaffen und Betroffenen Beschwerdewege ermöglichen.
Contents
