Computerlinguistik, Germanisitische Linguistik, Internet

Kann ChatGPT kein Deutsch?

ChatGPT ist in aller Munde und auch ich verwende ChatGPT in meinem Alltag und auch für die Arbeit. Für ein Experiment benötigte ich neulich eine Liste mit Nomen, deren Singular- und Pluralformen synkretisch, also formgleich, sind. Das trifft etwa auf Nomen zu, die auf –er enden. So heißt es im Singular Mitarbeiter und im Plural eben auch Mitarbeiter. Dies war für mich ein klarer Fall für ChatGPT, schließlich handelt es sich um ein Sprachmodell und ein Sprachmodell sollte so eine vergleichsweise einfache Aufgabe doch mit Links erledigen – dachte ich zumindest.

Da ich weiß, dass ChatGPT mit Englisch besser umgehen kann als mit Deutsch, „spreche“ ich mit ChatGPT auch nur auf Englisch. Meine erste Eingabe lautete:

Can you list me 50 German nouns which have the same form in the singular and in the plural?

ChatGPT begann sofort, mir eine Liste an Nomen zu generieren, allerdings stoppte ich den Vorgang sofort, da kaum eines der Nomen meinen Kriterien entsprach. So listete ChatGPT unter anderem Fisch und Glas als Beispiele für deutsche Nomen auf, deren Singlar- und Pluralformen identisch seien:

Screenshot von ChatGPT

Auch nachdem ich ChatGPT auf den Fehler aufmerksam gemacht hatte, wurden die Antworten nicht besser:

Screenshot von ChatGPT

Dann dachte ich, ich müsste vielleicht etwas genauer sein, aber auch das half nicht:

Screenshot von ChatGPT

Dann dachte ich, es würde vielleicht helfen, die Liste zu verkleiner und ChatGPT ein Beispiel zu liefern, wie die Nomen beschaffen sein sollten. Aber auch das half nicht:

Screenshot ChatGPT

Dann begann ich meine Eingabe auf Deutsch zu formulieren, aber auch dann erhielt ich alle möglichen Nomen, unter anderem Augenblick, Garten und Haar:

Screenshot ChatGPT

Auch nach einer Rückfrage war sich ChatGPT sicher, dass diese Nomen im Singular und im Plural formgleich sind:

fScreenshot ChatGPT

Diese Ergebnisse (die auch mit ChatGPT 4 repliziert wurden) sind für mich absolut erstaunlich. Klar, ChatGPT ist sicherlich mit deutlich weniger deutschen Trainigsdaten gefüttert worden als mit englischen, aber trotzdem müsste ein Sprachmodell doch etwas über die Singular- und Pluralformen deutscher Nomen wissen – und das tut es eigentlich auch:

Screenshot ChatGPT

ChatGPT weiß demnach auch, was ein unveränderlicher Plural ist. Irgendwie schafft es ChatGPT aber nicht, diese Informationen zu kombinieren (englische Nomen, die im Singular und im Plural synkretisch sind, listet das Sprachmodell übrigens problemlos auf). Zuletzt hatte ich noch versucht, ChatGPT dazu zu bringen, eine Tabelle anzufertigen, aber auch das ging schief:

Screenshot ChatGPT

Letztlich bleibt mir schleierhaft, warum ChatGPT nicht dazu in der Lage ist, deutsche Nomen aufzulisten, die den genannten Kriterien entsprechen. Wenn jemand eine Idee hat, warum die Ergebnisse so sind, wie sie sind, möge er oder sie sich gerne bei mir melden.

(Ich danke Titus von der Malsburg für ein anregendes Gespräch zu dem hier diskutierten Thema, dessen Resultate teilweise in die hier vorgestellten Eingaben miteingeflossen sind.)