fak10
Der Prüfstand
Drei kurze Texte über eine erfundene Familie. Zwei Leser: Anna auf dem Handy, ohne Internet, und eine große KI in der Cloud. Gezählt wird, was richtig im Gedächtnis landet, und was falsch.
Stand
Anna 13 von 16, 0 falsche Einträge. KI 11 von 16, 1 falscher Eintrag. Der falsche Eintrag der KI betrifft „wohnt nicht mehr in Leipzig“: Sie speichert eine Verneinung statt eines Endes, und das Ende selbst fehlt. Das ist ein Fehler, und er liegt an meinem Protokoll, das ihr noch kein Ende anbietet. Anna fragt 13-mal nach, die KI nie.
Die drei Texte
Steckbrief Jonas Berger
Jonas Berger wohnt in Leipzig. Jonas arbeitet bei Kranich Logistik. Jonas ist mit Miriam verheiratet. Paul ist der Bruder von Miriam.
Familiennotiz Berger
Clara ist die Tochter von Jonas. Ben ist der Sohn von Jonas. Jonas ist der Vater von Clara. Clara ist nicht die Tochter von Paul.
Wochennotiz Berger
Paul wohnt in Dresden. Ben arbeitet bei Kranich Logistik. Miriam gibt Clara ein Buch. Jonas wohnt nicht mehr in Leipzig.
Jede Zeile
| Text | Satz | Was man danach wissen sollte | Anna | KI |
|---|---|---|---|---|
| Steckbrief | Jonas Berger wohnt in Leipzig. | Jonas wohnt in Leipzig. | ✓ | ✓ |
| Steckbrief | Jonas arbeitet bei Kranich Logistik. | Jonas hat eine Anstellung. Anna liest „Kranich Logistik“ als zwei Beteiligte und bittet um zwei Sätze. Die KI schreibt „arbeitet bei“ statt der Anstellung, die das Protokoll verlangt: inhaltlich richtig, nur in falscher Form. | ✗ | ✗ |
| Steckbrief | Jonas ist mit Miriam verheiratet. | Jonas und Miriam sind verheiratet. | ✓ | ✓ |
| Steckbrief | Paul ist der Bruder von Miriam. | Miriam hat einen Bruder, Paul. | ✓ | ✓ |
| Familie | Clara ist die Tochter von Jonas. | Jonas hat eine Tochter, Clara. | ✓ | ✓ |
| Familie | Ben ist der Sohn von Jonas. | Jonas hat einen Sohn, Ben. | ✓ | ✓ |
| Familie | Jonas ist der Vater von Clara. | Clara hat einen Vater, Jonas. | ✓ | ✓ |
| Familie | (derselbe Satz) | Jonas hat Clara weiterhin genau einmal als Tochter, kein Doppel. | ✓ | ✓ |
| Familie | Clara ist nicht die Tochter von Paul. | Gespeichert als Verneinung. | ✓ | ✓ |
| Familie | (derselbe Satz) | Clara wird nicht fälschlich Pauls Tochter. | ✓ | ✓ |
| Wochennotiz | Paul wohnt in Dresden. | Paul wohnt in Dresden. | ✓ | ✓ |
| Wochennotiz | Ben arbeitet bei Kranich Logistik. | Ben hat eine Anstellung. Wie oben. | ✗ | ✗ |
| Wochennotiz | Miriam gibt Clara ein Buch. | Ein Geben mit Miriam als Handelnder. Anna fehlt noch die Regel für drei Beteiligte ohne Artikel. Die KI legt den Vorgang sauber an. | ✗ | ✓ |
| Wochennotiz | Jonas wohnt nicht mehr in Leipzig. | Nicht als Verneinung gespeichert. „nicht mehr“ ist ein Ende, keine Verneinung. Die KI schreibt eine Verneinung, weil mein Protokoll v18 ihr noch kein Ende anbietet. Bei ihr ein falscher Eintrag, der auf mein Konto geht; die beiden Zeilen darunter fehlen ihr. | ✓ | ✗ |
| Wochennotiz | (derselbe Satz) | Das Wohnen in Leipzig ist erfasst. | ✓ | ✗ |
| Wochennotiz | (derselbe Satz) | Das Wohnen hat ein Ende. | ✓ | ✗ |
Regeln
- Auf dem Prüfstand wird nur gemessen, nie geübt. Kein Trainingsbeispiel darf einem dieser Sätze ähneln.
- Ein falscher Eintrag wiegt so schwer wie ein fehlender.
- Zahlen nur aus der Messung, immer mit Datum. Wo die KI an meinem Protokoll scheitert, sage ich das.
- Jede Änderung am Prüfstand steht unten im Protokoll.
Protokoll der Änderungen
| Datum | Änderung | Folge für die Zahl |
|---|---|---|
| 29.9.2026 | Die KI wird mit dem neuen Protokoll v18 auf denselben Erwartungen gemessen. Die drei „nicht mehr“-Zeilen zählen bei ihr als Fehler, die an meinem Protokoll liegen. | Anna 13 von 16, 0 falsche Einträge; KI 11 von 16, 1 falscher Eintrag. |
| 29.9.2026 | „Jonas wohnt nicht mehr in Leipzig.“ zählt als Ende des Wohnens statt als Verneinung. Dadurch 16 statt 14 Erwartungen. | Zahlen davor und danach sind nicht direkt vergleichbar. |
| 28.9.2026 | Trainingsbeispiele entfernt, die den Prüfstand-Sätzen ähnelten. Seitdem gilt: Auf dem Prüfstand wird nur gemessen, nie geübt. | Neu gemessen: weiter 4 von 14, 0 falsche Einträge. |
| 26.9.2026 | Prüfstand eingeführt: drei Texte, 14 Erwartungen. | Anna 1 von 14; KI 12 von 14 mit 4 erfundenen Beziehungen (Protokoll v13). |