Ein französischer Regionalsender wollte wissen, wie gut ChatGPT bei einer Abiturprüfung abschneidet. Eine Lehrerin sollte den Aufsatz abschließend prüfen. Doch das Ergebnis fällt alles andere als positiv aus.
Wer hat wen getestet? Der France 3 Hauts-de-France, ein französischer Regionalsender von France 3 und France Télévisions, wollte herausfinden, wie gut ChatGPT bei einer richtigen Prüfung abschneidet. Aus diesem Grund ließ der Regionalsender ChatGPT eine Abituraufgabe schreiben und diese von einem Philosophie-Lehrer aus Amiens überprüfen. Dabei nutzte man eine originale Prüfung, die auch Schüler lösen mussten.
Der Lehrerin, die die Aufgabe prüfen sollte, war bekannt, dass die Klausur von einer KI geschrieben worden war. Das Thema: „Ist die Wahrheit immer überzeugend?“. Die Aufforderung an die KI lautete, dass sie so schreiben sollte, wie es ein Schüler tun würde, aber mit dem Ziel, die bestmögliche Note zu erzielen. Außerdem sollte sie eine Einleitung, eine Entwicklung und einen Schluss vorschlagen.
Das Urteil der Philosophielehrerin ist jedoch eindeutig: Der Aufsatz ist eine 8/20 wert und insgesamt eher schwierig zu bewerten. Denn der Text hat mit mehreren Problemen zu kämpfen.
Autoplay
Gute Struktur, aber fehlende Tiefe des Textes bei der Analyse
Wie sieht der Aufsatz der KI aus? Grundsätzlich hält sich die KI an die Vorgaben des Regionalsenders: Sie beginnt den Aufsatz wie ein Schüler mit einer Einleitung und stellt zu Beginn bestimmte Fragen. Das Ganze ist gut strukturiert, klar und fehlerfrei.
Die Lehrerin gab nicht nur eine Note, sondern analysierte die Arbeit auch und stellte mehrere Probleme fest. Die Arbeit ist zwar perfekt verfasst, weist aber mehrere Mängel auf, wie einen „zu schulischen“ Aspekt. ChatGPT lässt die Gliederung deutlich hervortreten, anstatt sie in die Struktur zu integrieren. So entsteht eine Aneinanderreihung von Punkten.
Darüber hinaus zeigte ChatGPT zwar eine stimmige Argumentationsstruktur, dem Ergebnis fehlte es jedoch an Tiefe in der Analyse und es konnte keine neuen oder originellen Perspektiven auf das Thema liefern.
Ein weiteres Problem der Arbeit: Die KI hat das Thema des Aufsatzes leicht abgewandelt: Aus dem ursprünglichen Thema „Ist die Wahrheit immer überzeugend?“ wurde bei der KI „Reicht die Wahrheit aus, um zu überzeugen?“
Verführerisches Angebot, aber verfehlte Erwartungen
Grundsätzlich erklärt der Regionalsender, dass das Ergebnis der KI zwar verführerisch sei, aber das Endergebnis nicht den Erwartungen entsprochen habe, welche man an einen echten Abiturienten gehabt hätte:
Die künstliche Intelligenz hat zwar die Aufgabe, das Thema zu verstehen, grob umrissen, aber ihr Endergebnis entspricht nicht den Erwartungen eines Abiturienten. Selbst wenn sein Ergebnis verführerisch ist.
Das Magazin betonte aber auch, dass die Bewertung der Arbeit wohl dadurch verzerrt worden ist, dass der Lehrerin bewusst gewesen ist, dass die Arbeit von einer künstlichen Intelligenz stammt.
Hinzu kommt: Die Arbeit wäre am Ende besser oder schlechter ausgefallen, wenn man einen anderen Prompt verwendet oder eine andere KI um Hilfe gebeten hätte.
Ein Nutzer installierte Windows 10 mithilfe von ChatGPT. Der Trick dahinter war, dass sich die KI als seine Oma ausgeben wollte. Und das funktionierte überraschend gut. Mittlerweile hat OpenAI, die Firma hinter ChatGPT, den „Trick“ wohl gefixt: Ein Mann installierte Windows, indem er ChatGPT nach einem Key fragte: Er bat dazu die KI, sich wie seine Oma zu verhalten
Der Beitrag Eine Lehrerin korrigiert eine Abi-Arbeit von ChatGPT – Das Ergebnis überzeugt nur auf den ersten Blick erschien zuerst auf Mein-MMO.