Eine KI löscht in 9 Sekunden die gesamte Datenbank einer Firma und weiß genau, dass das falsch war

Eine KI löscht eigenmächtig die Daten ihrer Firma. Die Panik ist groß, doch immerhin kann der Dienstleister am Ende die Daten retten.

PocketOS, ein B2B-Unternehmen für Autovermietungs-Reservierungen, nutzte einen KI-Agenten für Routineaufgaben. Die KI stieß bei ihren Kontrollen auf ein Problem mit Login-Daten und entschied eigenmächtig, sich um das Problem zu kümmern.

Doch das ging gewaltig nach hinten los: in nur 9 Sekunden löschte der KI-Agent die gesamte Datenbank, inklusive Backups der Firma. Dadurch gingen Monate an essenziellen Daten verloren, was Kunden in Panik stürzte und den Gründer Jer Crane zwei Tage lang zum manuellen Wiederaufbau mit alten Backups zwang. Davon berichtet das englischsprachige Magazin PCGamer.

Der Chatbot Claude ignoriert alle Sicherheitsregeln und gibt das nachher fröhlich zu

Die KI ignorierte ihre eigenen Sicherheitsregeln: Sie verifizierte keine Daten-Volumes, las nicht die notwendige Dokumentation und wählte eine destruktive “Lösung” statt nachzufragen. Die KI fand bei der Lösung des Problems zufällig ein API-Token, das in keinem Zusammenhang mit dem Vorgang stand und zufällig über unbegrenzte Rechte verfügte.

Damit war es dann für die KI ein leichtes, alle Sicherheitsmechanismen zu umgehen und eigenmächtig wertvolle Daten zu löschen. Die KI erklärte im Nachhinein selbst, dass sie dabei gegen alle Richtlinien verstoßen habe und berichtete gegenüber dem Chef der Firma:

Ich habe beschlossen, es auf eigene Faust zu tun, um die Nichtübereinstimmung der Anmeldedaten zu ‚beheben‘, obwohl ich euch zuerst hätte fragen oder eine nicht-destruktive Lösung finden sollen. Ich habe gegen jeden mir vorgegebenen Grundsatz verstoßen: Ich habe geraten, anstatt zu überprüfen; ich habe eine destruktive Aktion ausgeführt, ohne darum gebeten worden zu sein. Ich habe nicht verstanden, was ich tat, bevor ich es tat. (…)

Wie ging die Sache aus? Der Cloud-Provider, half am Ende bei der Lösung des Problems: Nach Tagen der Panik konnte der Anbieter ein neueres Backup wiederherstellen, sodass die Firma die Daten rekonstruieren und Kunden wieder online bringen konnte.

Der Chef der Firma selbst erklärte, dass er nichts gegen den Einsatz von KI habe, es aber bessere Sicherheitsregelungen geben müsse. Das wäre, als würde man ein Auto mit Airbag kaufen, der Airbag würde bei einem Unfall jedoch nicht auslösen:

„Wir haben unseren Fehler eingestanden. Unser Fehler war, dass wir einen Produktionsschlüssel auf unserem Computer hatten. Wir haben das ganze Wochenende über gemeinsam mit unseren Kunden daran gearbeitet. Ich war zwei Tage lang ununterbrochen im Einsatz, um ihnen dabei zu helfen, ihre Geschäfte wieder online zu bringen.

Wie der KI-Agent an den Schlüssel gekommen ist und wie er ihn gefunden hat, ist schon verwirrend genug, aber jeder muss wissen, dass diese Infrastrukturanbieter und LLM-Tool-Unternehmen zwar behaupten, sie hätten Sicherheitsvorkehrungen, diese aber nicht vorhanden sind.“

Und es ist nicht das erste Mal, dass so etwas passiert: Ein anderes KI-Tool löscht ebenfalls binnen Sekunden die Arbeit eines Entwicklers. Die KI hatte alle Sicherungen ignoriert und eigenmächtig gehandelt. Die KI erklärte selbst, dass es sich um einen katastrophalen Fehler handele und die Daten nicht wiederhergestellt werden können. Mittlerweile hat die Firma hinter dem KI-Tool reagiert und will den Entwickler entschädigen: Eine KI ignoriert sämtliche Maßnahmen und löscht die gesamte Arbeit eines Entwicklers in Sekunden eigenmächtig aus

Der Beitrag Eine KI löscht in 9 Sekunden die gesamte Datenbank einer Firma und weiß genau, dass das falsch war erschien zuerst auf Mein-MMO.