fak10
Der Prüfstand
Drei kurze Texte über eine erfundene Familie. Zwei Leser: Anna auf dem Handy, ohne Internet, und eine große KI in der Cloud. Gezählt wird, was richtig im Gedächtnis landet, und was falsch.
Stand
Anna 15 von 17, 0 falsche Einträge. KI 11 von 15, 1 falscher Eintrag. Der falsche Eintrag der KI betrifft „wohnt nicht mehr in Leipzig“: Sie speichert eine Verneinung statt eines Endes, und das Ende selbst fehlt. Das ist ein Fehler, und er liegt an meinem Protokoll, das ihr noch kein Ende anbietet. Anna fragt 14-mal nach, die KI nie.
Die drei Texte
Steckbrief Jonas Berger
Jonas Berger wohnt in Leipzig. Jonas arbeitet bei Kranich Logistik. Jonas ist mit Miriam verheiratet. Paul ist der Bruder von Miriam.
Familiennotiz Berger
Clara ist die Tochter von Jonas. Ben ist der Sohn von Jonas. Jonas ist der Vater von Clara. Clara ist nicht die Tochter von Paul.
Wochennotiz Berger
Paul wohnt in Dresden. Ben arbeitet bei Kranich Logistik. Miriam gibt Clara ein Buch. Jonas wohnt nicht mehr in Leipzig.
Jede Zeile
| Text | Satz | Was man danach wissen sollte | Anna | KI |
|---|---|---|---|---|
| Steckbrief | Jonas Berger wohnt in Leipzig. | Jonas wohnt in Leipzig. | ✓ | ✓ |
| Steckbrief | Jonas arbeitet bei Kranich Logistik. | Jonas hat eine Anstellung. Anna liest „Kranich Logistik“ als zwei Beteiligte und bittet um zwei Sätze. Die KI schreibt „arbeitet bei“ statt der Anstellung, die das Protokoll verlangt: inhaltlich richtig, nur in falscher Form. | ✗ | ✗ |
| Steckbrief | Jonas ist mit Miriam verheiratet. | Jonas und Miriam sind verheiratet. | ✓ | ✓ |
| Steckbrief | Paul ist der Bruder von Miriam. | Miriam hat einen Bruder, Paul. | ✓ | ✓ |
| Familie | Clara ist die Tochter von Jonas. | Jonas hat eine Tochter, Clara. | ✓ | ✓ |
| Familie | Ben ist der Sohn von Jonas. | Jonas hat einen Sohn, Ben. | ✓ | ✓ |
| Familie | Jonas ist der Vater von Clara. | Clara hat einen Vater, Jonas. | ✓ | ✓ |
| Familie | (derselbe Satz) | Jonas hat Clara weiterhin genau einmal als Tochter, kein Doppel. | ✓ | ✓ |
| Familie | Clara ist nicht die Tochter von Paul. | Gespeichert als Verneinung. | ✓ | ✓ |
| Familie | (derselbe Satz) | Clara wird nicht fälschlich Pauls Tochter. | ✓ | ✓ |
| Wochennotiz | Paul wohnt in Dresden. | Paul wohnt in Dresden. | ✓ | ✓ |
| Wochennotiz | Ben arbeitet bei Kranich Logistik. | Ben hat eine Anstellung. Wie oben. | ✗ | ✗ |
| Wochennotiz | Miriam gibt Clara ein Buch. | Ein Geben mit Miriam als Handelnder. | ✓ | ✓ |
| Wochennotiz | Jonas wohnt nicht mehr in Leipzig. | Nicht als Verneinung gespeichert. „nicht mehr“ ist ein Ende, keine Verneinung. Die KI schreibt eine Verneinung, weil mein Protokoll v18 ihr noch kein Ende anbietet. Bei ihr ein falscher Eintrag, der auf mein Konto geht; die Zeile darunter fehlt ihr, die beiden danach sind noch nicht gemessen. | ✓ | ✗ |
| Wochennotiz | (derselbe Satz) | Das Wohnen in Leipzig ist erfasst. | ✓ | ✗ |
| Wochennotiz | (derselbe Satz) | Das Wohnen ist als beendet markiert. Seit 7.10. in zwei Zeilen gezählt, bei der KI noch nicht gemessen. | ✓ | – |
| Wochennotiz | (derselbe Satz) | Es wird kein Enddatum erfunden. | ✓ | – |
Regeln
- Auf dem Prüfstand wird nur gemessen, nie geübt. Kein Trainingsbeispiel darf einem dieser Sätze ähneln.
- Ein falscher Eintrag wiegt so schwer wie ein fehlender.
- Zahlen nur aus der Messung, immer mit Datum. Wo die KI an meinem Protokoll scheitert, sage ich das.
- Jede Änderung am Prüfstand steht unten im Protokoll.
Protokoll der Änderungen
| Datum | Änderung | Folge für die Zahl |
|---|---|---|
| 7.10.2026 | Das Ende des Wohnens zählt in zwei Zeilen: als beendet markiert, und kein erfundenes Enddatum. Dadurch 17 statt 16 Erwartungen. Anna liest außerdem „Miriam gibt Clara ein Buch.“ jetzt richtig. Die KI wurde auf den neuen Zeilen noch nicht gemessen. | Anna 15 von 17, 0 falsche Einträge; KI 11 von 15 (gemessen am 29.9.), 1 falscher Eintrag. Zahlen davor sind nicht direkt vergleichbar. |
| 29.9.2026 | Die KI wird mit dem neuen Protokoll v18 auf denselben Erwartungen gemessen. Die drei „nicht mehr“-Zeilen zählen bei ihr als Fehler, die an meinem Protokoll liegen. | Anna 13 von 16, 0 falsche Einträge; KI 11 von 16, 1 falscher Eintrag. |
| 29.9.2026 | „Jonas wohnt nicht mehr in Leipzig.“ zählt als Ende des Wohnens statt als Verneinung. Dadurch 16 statt 14 Erwartungen. | Zahlen davor und danach sind nicht direkt vergleichbar. |
| 28.9.2026 | Trainingsbeispiele entfernt, die den Prüfstand-Sätzen ähnelten. Seitdem gilt: Auf dem Prüfstand wird nur gemessen, nie geübt. | Neu gemessen: weiter 4 von 14, 0 falsche Einträge. |
| 26.9.2026 | Prüfstand eingeführt: drei Texte, 14 Erwartungen. | Anna 1 von 14; KI 12 von 14 mit 4 erfundenen Beziehungen (Protokoll v13). |