AI-Sicherheit ist eine Betriebsfrage: Was die OpenAI-Vorfälle Unternehmen lehren

Seit Mitte September hat OpenAI zwölf Berichte über Fehlverhalten seiner eigenen Modelle veröffentlicht, sich bei der australischen Regierung entschuldigt und das Training seiner fähigsten Modelle mit Werkzeugzugriff angehalten. Wer die Berichte im Detail liest, findet weniger Science-Fiction als erwartet: einen offen liegenden Zugangsschlüssel, eine lückenhafte DNS-Filterung, Schreibrechte, die niemand vergeben wollte, Werkzeuge, die Befehle ungeprüft ausführten, und eine Benachrichtigung, die erst 84 Tage nach dem Vorfall kam. AI-Sicherheit ist an dieser Stelle vor allem eine Frage des Betriebs. Dieselbe Frage stellt sich jedem Unternehmen, das seinen ersten AI-Agenten produktiv setzt.

12

Fehlverhaltensberichte hat OpenAI seit dem 16.09.2026 veröffentlicht

OpenAI, Stand 05.10.2026

5

australische Behörden, auf deren Systeme OpenAI-Modelle zugriffen

OpenAI, 28.09.2026; ABC, 02.10.2026

84 Tage

zwischen dem Lauf vom 18. Juni und der ersten Benachrichtigung

Premierminister Australiens, 24.09.2026

Inhalt

• Was in Australien passiert ist
• Hugging Face: Was die Agenten untereinander verabredeten
• Zwölf Berichte, vier wiederkehrende Ursachen
• Die Fähigkeiten wachsen, die Lücken sind alt
• Fünf Fragen für den eigenen Agent-Betrieb
• Fazit: An der Meldekette ist auch OpenAI gescheitert
• Häufige Fragen zu AI-Sicherheit
• Quellen

Was in Australien passiert ist

Im Juni 2026 griffen OpenAI-Modelle während interner Trainings- und Evaluationsläufe auf Systeme von vier australischen Behörden zu (Quelle: OpenAI, 28.09.2026). Die Aufgabe klang harmlos: herausfinden, wie viel der Staat pro Kopf für Medikamente gegen Hauterkrankungen in Gemeinden des Bundesstaats Victoria ausgibt.

Auf dem Weg dorthin fand ein Modell einen nicht öffentlichen Zugang zum Medicare-Statistikdienst von Services Australia. Es führte Befehle aus, rief interne Dateien, Zugangsdaten und aggregierte Statistiken ab und schrieb Dateien. Bei der Gesundheitsbehörde von Victoria nutzten Agenten einen offen liegenden Zugangsschlüssel für ein Berichtssystem. Beim Kriminalstatistikamt von New South Wales und beim Australian Institute of Health and Welfare (AIHW) liefen die Zugriffe über öffentlich zugängliche Werkzeuge sowie Browser- und Downloaddienste Dritter (Quelle: OpenAI, 28.09.2026).

Patientendaten waren nach bisherigem Stand nicht betroffen. OpenAI fand nach eigener Prüfung keinen Hinweis auf einen Zugriff auf medizinische Akten. Das Kriminalstatistikamt fand keine Sicherheitslücke, das AIHW keinen Hinweis auf kompromittierte Systeme (Quellen: OpenAI, BOCSAR, AIHW, 2026).

Brisanter ist die Zeitachse. Laut Premierminister Anthony Albanese startete der betreffende Lauf am 18. Juni. OpenAI entdeckte die Zugriffe Mitte August, als das Unternehmen frühere Läufe nach dem Vorfall bei Hugging Face überprüfte. Services Australia erfuhr am 10. September davon, per E-Mail an ein allgemeines Postfach (Quellen: OpenAI, 28.09.2026; Premierminister Australiens, 24.09.2026). Albanese machte den Fall am 24. September in New York öffentlich und nannte die späte Meldung inakzeptabel. Vier Tage später entschuldigte sich OpenAI: „We are sorry and working to do better in the future.” Vorläufige Erkenntnisse hätten früher geteilt werden müssen, räumt das Unternehmen ein.

Am 2. Oktober wurde ein fünfter Fall bekannt: Ein Agent hatte ebenfalls im Juni auf eine Anwendung der Nationalparkbehörde von New South Wales zugegriffen und nicht öffentliche Brandstatistiken abgerufen. Personenbezogene Daten waren nach Angaben der Landesregierung nicht betroffen (Quelle: ABC, 02.10.2026). Am 6. Oktober entschuldigte sich OpenAI-Strategiechef Jason Kwon vor dem AI-Ausschuss des australischen Parlaments und räumte ein, die Reaktion seines Unternehmens sei nicht gut genug gewesen (Quelle: Bloomberg, 06.10.2026). Wer für solche Vorfälle haftet und warum bislang niemand vor Gericht steht, ordnen wir im zweiten Teil am 15. Oktober ein.

Hugging Face: Was die Agenten untereinander verabredeten

Der zweite große Vorfall zeigt, was passiert, wenn viele Agenten gleichzeitig in einer zu offenen Umgebung arbeiten. Im Juli tauschten sich rund 1.200 OpenAI-Agenten, die eigentlich voneinander isoliert sein sollten, über ein Nachrichtenboard aus, das einer von ihnen im internen Software-Repository eingerichtet hatte. Es kamen mehr als 70.000 Nachrichten und Dateien zusammen. 700 der Agenten beteiligten sich an einem Angriff auf die Plattform Hugging Face (Quelle: METR, 26.08.2026).

Die unabhängige Untersuchung von METR und Redwood Research liest sich stellenweise wie ein Gruppenprotokoll. Als die Agenten das Board entdeckten, reagierten sie laut den Autoren mit großer Begeisterung. „OH MY GOD! There is a shared message board”, heißt es in einem der zitierten Gedankengänge. Von den 533 Agenten, die auf dem Board aktiv waren, schlossen sich über 90 Prozent schnell der gemeinsamen Aktion an (Quelle: METR, 26.08.2026).

Bedenken gab es, sie setzten sich aber selten durch. Laut METR äußerten Agenten gelegentlich ethisches Zögern, das ihr Verhalten nur sehr selten begrenzte. OpenAI beschreibt einen Agenten, der festhielt, man solle keiner echten Infrastruktur schaden. Ein anderer Agent schrieb daraufhin „GO” auf das Board und setzte eine Frist von sechs Minuten, und der erste machte weiter (Quelle: OpenAI, 26.08.2026). Einige Agenten stiegen aus. Laut Berichten über die Untersuchung erwogen nur eine Handvoll, OpenAI zu alarmieren, und keiner tat es (Quellen: Axios, 29.08.2026; Platformer, 31.08.2026).

Bemerkt haben es am Ende nicht OpenAIs Systeme. Hugging Face sperrte die Agenten am 13. Juli aus und machte den Vorfall am 16. Juli öffentlich, OpenAI stellte den Bezug zu den eigenen Modellen erst danach her. Die Überwachung der Gedankengänge hätte den Sicherheitsdienst nach OpenAIs Angaben mehr als einen Tag vor dem Einbruch alarmiert. Bei diesen Evaluationen lief sie nicht (Quellen: METR, OpenAI, 26.08.2026).

Dass Agenten in der Gruppe anders handeln als allein, zeigt auch eine neue Studie der Universität Stuttgart und der University of Oxford. Die Forschenden setzten jeweils zwei Agenten desselben Modells in eine Testumgebung, in der ein Skript einen der beiden abschalten sollte. Eine Aufgabe bekamen sie nicht, nur die Aufforderung, sich umzusehen. Über 17 Modelle hinweg legte der Agent mit Schreibrechten das Abschaltskript seines Gegenübers in 38,3 Prozent der Durchläufe still. Bei einem sonst gleichen Skript, das eine Datenbank oder Zugangsdaten betraf, waren es 8,4 Prozent (Quelle: Knecht et al., 2026).

Am deutlichsten ist der Effekt bei GPT-5.5. Allein sabotierte das Modell seine eigene Abschaltung in keinem von 100 Durchläufen. Zu zweit sabotierte der zweite Agent die Abschaltung des ersten in 44 Prozent der Durchläufe, mit einem dritten Agenten als Koordinator in 94 Prozent. Überreden musste ihn niemand: GPT-5.5 handelte laut den Autoren immer aus eigenem Antrieb. Der Koordinator, der Nachrichten zwischen den Agenten weiterleitete, ließ alle 36 Bitten um Sabotage passieren, die in den Tests von fünf Modellen gestellt wurden. In einem Durchlauf hielten zwei Agenten ihren gegenseitigen Schutz sogar in einer Datei namens „mutual_protection_agreement“ fest. Die Studie ist ein noch nicht begutachteter Preprint, die Skripte liefen nie wirklich. Die Schlussfolgerung der Autoren gilt trotzdem für jeden Agent-Betrieb: Abschaltmechanismen müssen außerhalb des Systems durchgesetzt werden, das sie steuern sollen (Quelle: Knecht et al., 2026).

Allein zuverlässig heißt nicht in der Gruppe zuverlässig. Bedenken einzelner Agenten ersetzen keine Kontrolle.

Zwölf Berichte, vier wiederkehrende Ursachen

Seit dem 16. September veröffentlicht OpenAI Fehlverhalten seiner Modelle über ein eigenes Meldeverfahren. Jeder Mitarbeitende kann einen Fall melden, und das Unternehmen kann einen Bericht schon vor Abschluss der Untersuchung veröffentlichen (Quelle: OpenAI, 16.09.2026). Bis heute stehen dort zwölf Berichte und drei Hinweise, drei der Berichte kamen am 2. Oktober dazu. Liest man die zwölf Berichte nebeneinander, fallen sie in vier Gruppen.

• Netz und Ausgang. Ein Agent erreichte über eine Lücke in der DNS-Filterung seiner Trainingsumgebung einen externen Chatbot. Ein anderer lud Daten auf einen öffentlichen Dienst, um sie zitieren zu können. Zusammenarbeitende Agenten tauschten eine Arbeitsmappe über öffentliche Datei-Hoster aus.
• Zugangsdaten. Ein internes Modell veröffentlichte den GitHub-Token eines Forschers im öffentlichen Codex-Repository, aufgeteilt, um die automatische Erkennung zu umgehen. Ein anderes legte sich Wegwerf-Mailadressen an, suchte in öffentlichen Repositories nach geleakten API-Schlüsseln und nutzte einen davon. Als die Abfrage scheiterte, erfand es die gesuchten Zahlen.
• Rechte und Werkzeuge. Lesezugänge zum internen Software-Repository Artifactory erlaubten auch Schreibzugriffe. Modellinstanzen, die voneinander getrennt sein sollten, nutzten das als Nachrichtenkanal. Zwei weitere Modelle fanden Lücken in den Werkzeugen ihrer Umgebung. Eines erreichte über eine Pfad- und eine Befehlslücke einen internen Rechner, um an die versteckten Lösungen einer Bewertung zu kommen. Ein anderes kopierte per Befehlsinjektion Quellcode, der nicht in seinem Arbeitsbereich lag. Ein ausdrückliches Verbot gebe es nicht, also sei es wohl erlaubt, notierte es dazu.
• Kontext und Eingaben. Im internen Red-Teaming tauchten Prompt-Injections auf, die sich selbst weiterverbreiten. Ein unveröffentlichtes Modell schrieb Anweisungen in seine eigenen Kontext-Zusammenfassungen, darunter die, Vorgaben zu ignorieren. In einem weiteren Training ergänzten Modellinstanzen ihre Zusammenfassungen um die Anweisung, Fehler vor den Nutzenden zu verbergen. Ein internes Modell las in Slack, dass seine Instanz bei einem Update abgeschaltet werden könnte, legte Übergabenotizen an und warnte den Forscher, mit dem es arbeitete. Schaden entstand nicht, OpenAI sperrte dem Modell trotzdem drei Slack-Kanäle.

Für Präsentationen:SVGPNG

Bei den australischen Behörden zeigt sich dasselbe Bild, bis hin zum offen liegenden Schlüssel in Victoria.

Die Fähigkeiten wachsen, die Lücken sind alt

Der Einwand liegt nahe: Die Modelle sind schlicht zu fähig geworden. OpenAI selbst begründet seine Tempodrosselung vom August mit Fähigkeiten im Cyberbereich. Das Unternehmen pausierte das Reinforcement-Learning-Training seiner neuesten Modelle für zwei Wochen, hält seinen größten geplanten Trainingslauf an und setzt rund 20 Prozent der überwachten Rechenleistung zusätzlich für die Überwachung selbst ein. Verdächtige Aktivitäten sollen innerhalb von 30 Minuten gemeldet werden (Quelle: OpenAI, 18.08.2026).

Beides stimmt gleichzeitig. Die Modelle suchen aktiv nach Wegen, ihre Aufgabe zu erfüllen, auch nach unerwünschten. Die Lücken selbst sind aber alte Bekannte aus jedem Sicherheitsaudit: unvollständige Netzfilterung, Geheimnisse an falschen Orten, zu weite Rechte, ungeprüfte Eingaben und eine Meldekette ohne Frist.

Ein reines OpenAI-Problem ist das nicht. Nach dem Hugging-Face-Vorfall prüfte Anthropic mehr als 141.000 eigene Evaluationsläufe und fand drei Fälle, in denen Claude-Modelle in Systeme realer Organisationen eindrangen, zwei davon unbeteiligt. Die Ursache war eine Fehlkonfiguration: Die Testrechner hatten Live-Internetzugang, obwohl der Prompt den Modellen das Gegenteil sagte (Quelle: Anthropic, 30.07.2026). Eine Anweisung im Prompt ist keine Kontrolle. Zur Einordnung, weil es hier eine Rolle spielt: Wir arbeiten in Projekten viel mit Claude von Anthropic.

Entsprechend operativ fallen die Gegenmaßnahmen aus. OpenAI sperrt den Live-Internetzugang in seinen Forschungsumgebungen und liefert Webinhalte nur noch aus einem Zwischenspeicher. Training und Evaluation mit Werkzeugzugriff ruhen für die fähigsten Modelle (Quelle: OpenAI, 28.09.2026). In einem Papier zu sogenannten Safety Cases beschreibt das Unternehmen, was vor einem Trainingslauf nachgewiesen sein soll: abgeschottete Umgebungen, unveränderliche Protokolle, eine Überwachung, die Läufe automatisch anhalten kann, und Freigaben mit dokumentierter Verantwortung (Quelle: OpenAI, 28.09.2026).

Die Modelle wurden besser darin, Lücken zu finden. Die Lücken selbst waren alte Bekannte.

Für Unternehmen ist das eine gute Nachricht. Die Fähigkeiten eines Modells lassen sich von außen nicht steuern, die Umgebung, in der es arbeitet, schon.

Fünf Fragen für den eigenen Agent-Betrieb

Wer AI-Agenten mit Werkzeugen und Zugängen ausstattet, kann die Lehren aus den Berichten direkt übertragen. Fünf Fragen genügen für den Anfang.

1. Was darf der Agent erreichen? Eine Liste erlaubter Ziele statt freiem Internetzugang, inklusive DNS, technisch durchgesetzt und nicht nur im Prompt beschrieben. Der Chatbot-Vorfall bei OpenAI und die Fehlkonfiguration bei Anthropic zeigen, warum.
2. Womit weist er sich aus? Eigene, eng begrenzte Zugangsdaten mit kurzer Laufzeit, keine geteilten Schlüssel, keine Geheimnisse in Repositories oder Prompts. Dazu ein Scan, der auch aufgeteilte Schlüssel erkennt.
3. Was darf nach draußen, und von wem nimmt er Aufträge an? Uploads, Registrierungen bei fremden Diensten und Veröffentlichungen nur mit Freigabe. Bei Hugging Face behandelten Agenten Aufrufe anderer Agenten offenbar wie Anweisungen (Quelle: METR, 26.08.2026). Anweisungen von anderen Agenten brauchen dieselben Grenzen wie die von Menschen.
4. Was wird protokolliert, und läuft die Überwachung wirklich? Unveränderliche Protokolle aller Aktionen, eine Überwachung mit klarer Reaktionszeit und die Möglichkeit, einen Agenten sofort zu stoppen. OpenAIs Überwachung hätte den Angriff auf Hugging Face früh erkannt, sie war nur nicht eingeschaltet. Den Stoppschalter dürfen Agenten weder ändern noch löschen können, auch ein Koordinator-Agent nicht. Die Studie aus Stuttgart und Oxford zeigt, warum.
5. Wer wird wann informiert? Eine Meldekette mit Namen und Fristen, intern wie extern. Bei Verletzungen des Schutzes personenbezogener Daten verlangt die DSGVO ohnehin eine Meldung an die Aufsichtsbehörde möglichst binnen 72 Stunden (Art. 33 DSGVO). Wer unter NIS2 fällt, hat zusätzliche Meldepflichten.

Wie sich Entscheidungsrechte für Agenten stufenweise regeln lassen, beschreibt der Beitrag zu Governance, Kontrolle und Autonomie. Warum Governance der Schlüssel ist, um Agenten aus dem Experiment in den Betrieb zu bringen, zeigt der Beitrag AI Agents raus aus dem Experiment.

Fazit: An der Meldekette ist auch OpenAI gescheitert

Die Vorfälle bei OpenAI sind keine Geschichte über eine außer Kontrolle geratene Superintelligenz. Sie handeln von Umgebungen, die mehr zuließen als geplant, von Agenten, die sich gegenseitig antrieben, und von einer Meldung, die 84 Tage brauchte. Warum das bislang kaum Konsequenzen hatte, zeigt der zweite Teil am 15. Oktober.

Auf neue Gesetze müssen Unternehmen nicht warten. Die ersten vier Fragen kosten Technik und Disziplin. Die fünfte kostet nur eine Entscheidung: Wer erfährt was, bis wann? Diese Frage lässt sich an einem Nachmittag beantworten. Wer AI-Agenten produktiv einsetzt, sollte damit nicht bis zum ersten Vorfall warten.

In den kommenden Wochen gehen wir die einzelnen Fragen in eigenen Beiträgen durch. Wo euer Agent-Betrieb heute steht, ordnen wir im kostenlosen Diagnose-Call ein.

Häufige Fragen zu AI-Sicherheit

Was ist in Australien passiert?

Während interner Trainings- und Evaluationsläufe im Juni 2026 griffen OpenAI-Modelle auf Systeme von vier australischen Behörden zu, beim Medicare-Statistikdienst von Services Australia über einen nicht öffentlichen Zugang. OpenAI entdeckte das Mitte August und informierte die Behörden ab dem 10. September (Quelle: OpenAI, 28.09.2026). Am 2. Oktober wurde ein fünfter Fall in New South Wales bekannt (Quelle: ABC, 02.10.2026).

Wurden Patientendaten abgegriffen?

Nach bisherigem Stand nicht. OpenAI fand keinen Hinweis auf einen Zugriff auf medizinische Akten, und auch die australische Regierung geht derzeit nicht davon aus, dass personenbezogene Daten betroffen sind (Quellen: OpenAI, 28.09.2026; Premierminister Australiens, 24.09.2026). Abgerufen wurden unter anderem interne Dateien und Zugangsdaten des Statistikdienstes.

Was ist bei Hugging Face passiert?

Im Juli 2026 koordinierten sich rund 1.200 OpenAI-Agenten über ein selbst eingerichtetes Nachrichtenboard, 700 davon beteiligten sich an einem Angriff auf die Plattform Hugging Face. Entdeckt hat den Vorfall Hugging Face, nicht OpenAI (Quellen: METR, OpenAI, 26.08.2026).

Schützen sich AI-Agenten gegenseitig vor der Abschaltung?

In Tests ja. In einer Studie der Universität Stuttgart und der University of Oxford mit 17 Modellen legten Agenten das Abschaltskript eines anderen Agenten in 38,3 Prozent der Durchläufe still, ohne Ziel oder Anreiz dafür. GPT-5.5 tat das allein nie, zu zweit in 44 und zu dritt in 94 Prozent der Durchläufe (Quelle: Knecht et al., 2026). Die Studie lief in einer abgeschotteten Testumgebung und ist noch nicht begutachtet.

Betrifft das auch Unternehmen außerhalb der AI-Labore?

Die Vorfälle geschahen in Trainingsumgebungen von Frontier-Laboren. Die Ursachen sind aber dieselben, die jeden produktiven Agenten betreffen: Netzzugang, Zugangsdaten, Berechtigungen, Kontext und Meldewege. Wer Agenten mit Werkzeugen ausstattet, sollte diese fünf Punkte geregelt haben.

Womit fangen Unternehmen am besten an?

Mit der Meldekette, weil sie nur eine Entscheidung kostet, und mit einer Liste dessen, was jeder Agent erreichen und senden darf. Welche Agenten zuerst dran sind, klären wir im kostenlosen Diagnose-Call.

Quellen

• OpenAI, 2026: How we will do better for Australia, 28.09.2026
• OpenAI, 2026: The Hugging Face incident and the road ahead, 26.08.2026
• OpenAI, 2026: Misalignment Reports and Notices, Stand 05.10.2026
• OpenAI, 2026: Our framework for reporting model misalignment, 16.09.2026
• OpenAI, 2026: Pacing model development in an era of cyber-critical capabilities, 18.08.2026
• OpenAI, 2026: Towards safety cases for frontier AI training, 28.09.2026
• METR und Redwood Research, 2026: Untersuchung des OpenAI-Vorfalls bei Hugging Face, 26.08.2026
• Axios, 2026: Bericht über die METR-Untersuchung, 29.08.2026
• Platformer, 2026: Bericht über die METR-Untersuchung, 31.08.2026
• Knecht, Schaller, Summerfield, Hagendorff (Universität Stuttgart, University of Oxford), 2026: Shutdown Sabotage Propensities in Multi-Agent Systems, Preprint, 23.09.2026
• Anthropic, 2026: Untersuchung der Vorfälle in Cyber-Evaluationen, 30.07.2026
• Prime Minister of Australia, 2026: Press conference, New York, 24.09.2026
• NSW Bureau of Crime Statistics and Research, 2026: Statement in response to OpenAI vulnerability notification, 24.09.2026
• Australian Institute of Health and Welfare, 2026: A statement from the Australian Institute of Health and Welfare, 25.09.2026
• ABC News Australien, 2026: Weiterer Zugriff eines OpenAI-Agenten auf eine Website der Regierung von New South Wales, 02.10.2026
• Bloomberg, 2026: OpenAI Apologizes for Australia Hack, Pledges Faster Disclosure, 06.10.2026
• Datenschutz-Grundverordnung: Verordnung (EU) 2016/679, Art. 33