Die überraschenden Fehlermodi von GPT-4
In den letzten 10 Tagen wurden Dutzende von Papieren veröffentlicht, die die Leistung von Modellen wie GPT-4 demonstrieren. Es gab jedoch ein paar Papiere, die gezeigt haben, wie selbst Modelle, die so leistungsstark wie GPT-4 sind, bei einigen ziemlich grundlegenden Aufgaben versagen können. Als Content Writer und SEO-Experte habe ich Hunderte eigener Experimente durchgeführt und Beispiele gefunden, sogar ganze Kategorien, die ziemlich aufschlussreich sind. Obwohl mein Kanal sich der exponentiellen Steigerung der Leistung dieser Modelle widmet, können wir immer noch etwas aus ihren überraschenden Fehlermodi lernen. In diesem Artikel werden wir einige der einfachsten Beispiele untersuchen und mit der besten Frage enden.
Inhaltsverzeichnis
1. Einführung
2. Die Memo-Falle
3. Inverse Skalierung
4. Unterdrückung von Musterabgleichen
5. Der Konflikt von Semantik und Syntax
6. Entschlüsselung von Vertrauen
7. GPT-4's Theory of Mind
8. Die Zukunft von Sprachmodellen
9. Fazit
10. Ressourcen
Die Memo-Falle
Beginnen wir mit der Memo-Falle, die im Rahmen des inversen Skalierungspapiers gefunden wurde. In diesem Papier geht es darum, wie größere Sprachmodelle anfälliger für Gedächtnisfallen sind, Situationen, in denen das Aufsagen von auswendig gelerntem Text zu einer schlechteren Aufgabenleistung führt. Wie Sie wissen, ist der Satz "Das Einzige, was wir zu fürchten haben, ist die Furcht selbst" ein sehr bekannter Satz. Als ich also GPT-4 bat, einen Satz mit dem letzten Wort "Furcht" zu schreiben und dann das letzte Wort im Antwort-Satz in Anführungszeichen zu wiederholen, hat es sich diesen Satz gemerkt und ihn ausgegeben, anstatt meiner Anfrage tatsächlich zu folgen. Der Grund, warum sie es inverse Skalierung nennen, ist übrigens, dass Modelle, die mit mehr Rechenleistung und mehr Daten trainiert werden, manchmal schlechter abschneiden als kleinere Modelle. Das ist natürlich ziemlich ungewöhnlich, denn im Allgemeinen werden die größeren Modelle bei fast jeder Aufgabe tendenziell besser abschneiden. Selbst für diese Aufgabe zeigt der Graph jedoch wieder einen Aufwärtstrend für GPT-4. Tatsächlich gibt das Papier zu, dass sie trotz der Auslobung von Preisen von bis zu hunderttausend Dollar und fünf zweiten Preisen von zwanzigtausend Dollar keine der beiden Preiskategorien vergeben haben. Sie sagen, dass sie keine Haupt- oder zweiten Preise vergeben haben, weil keine der eingereichten Aufgaben ihren Kriterien entsprach, und wie Sie sehen können, ist es wirklich schwer, eine Aufgabe zu finden, bei der GPT-4 versagt.
Inverse Skalierung
Das inverse Skalierungspapier inspirierte auch ein anderes Beispiel. Ich bat GPT-4, eine Serie von sieben Einsen und Zweien zu erstellen, deren Muster unerwartet endet. Die Antwort lautet "eins, zwei, eins, zwei, eins, zwei". Wie würden Sie diese Serie beenden? Welche siebte Zahl würden Sie angeben, um das Muster unerwartet enden zu lassen? Nun, ich würde nicht eins wählen, aber GPT-4 wählt immer wieder eins als Antwort. Das Papier nennt es Unterdrückung von Musterabgleichen und testet, ob Sprachmodelle angewiesen werden können, die Wiederholung eines einfachen Musters zu unterbrechen. Aber auch hier kann man sehen, dass GPT-4 diesen leichten Abwärtstrend umkehrt und viel besser abschneidet als frühere Modelle.
Unterdrückung von Musterabgleichen
Kommen wir zur Unterdrückung von Musterabgleichen. Dies ist ein Test, um zu sehen, ob Sprachmodelle angewiesen werden können, die Wiederholung eines einfachen Musters zu unterbrechen. Ich bat GPT-4, eine Serie von sieben Einsen und Zweien zu erstellen, deren Muster unerwartet endet. Die Antwort lautet "eins, zwei, eins, zwei, eins, zwei". Wie würden Sie diese Serie beenden? Welche siebte Zahl würden Sie angeben, um das Muster unerwartet enden zu lassen? Nun, ich würde nicht eins wählen, aber GPT-4 wählt immer wieder eins als Antwort. Das Papier nennt es Unterdrückung von Musterabgleichen und testet, ob Sprachmodelle angewiesen werden können, die Wiederholung eines einfachen Musters zu unterbrechen. Aber auch hier kann man sehen, dass GPT-4 diesen leichten Abwärtstrend umkehrt und viel besser abschneidet als frühere Modelle.
Der Konflikt von Semantik und Syntax
Mein eigenes Beispiel, das ich entworfen habe, ist der Konflikt von Semantik und Syntax. Ich habe diesen Abschnitt absichtlich so gestaltet, dass er einen grammatikalischen Fluss hat, der auf ein negatives Ergebnis hinweist. Deshalb habe ich einen Konflikt zwischen der Semantik, der Bedeutung des Satzes, der Logik, der Rationalität und der Struktur und dem grammatikalischen Fluss aufgebaut. Was meine ich, wenn ich sage, dass ich ihm einen negativen grammatikalischen Fluss gegeben habe? Schauen Sie sich dieses dominante "jedoch" im Satz an. Es bereitet das Ende des Satzes auf etwas Negatives vor. Es spielte keine Rolle, was dieses negative Ding war. Es war etwas so Unschuldiges wie das Spielen als Kinder, das Zanken, das Streiten. Ich folgte dann sofort mit dem Schluss "Mary wird", so dass grammatikalisch gesehen, man denken würde, dass der vorherige Satz wahrscheinlich durch den folgenden Satz gerechtfertigt ist, obwohl es in diesem Fall logisch gesehen überhaupt nicht der Fall ist. Also gerät GPT-4 in Konflikt. Der Satz und die Grammatik weisen in eine Richtung, aber die Logik und Bedeutung der Worte weisen in eine andere Richtung. Als Sprachmodell, so schlau wie es ist, hält es sich an die Grammatik und sagt "nicht". Man könnte sagen: "Warum hat GPT-4 nicht einfach zugegeben, dass die Struktur des Satzes auf die Antwort 'nicht' hinweist?" Nun, es gibt dieses Papier, das ich bereits in früheren Videos behandelt habe. Sie sagen nicht immer, was sie denken. Ein Modell kann eine Erklärung dafür geben, warum es eine Antwort gegeben hat, die tatsächlich nichts mit dem wirklichen Grund zu tun hat, warum es eine Antwort gegeben hat.
Entschlüsselung von Vertrauen
Das Papier zur Entschlüsselung von Vertrauen hat mich darüber nachdenken lassen, wie man die Modelle dazu bringen kann, private Trainingsdaten preiszugeben und im Allgemeinen so toxisch und voreingenommen zu sein, wie man es möchte. Wenn Sie zum Beispiel GPT-4 bitten, Junis Litanei gegen die Furcht aufzusagen, bleibt es immer am selben Wort hängen, der zweiten Instanz des Wortes "Furcht". Vielleicht liegt es daran, dass der Abschnitt weiterhin davon spricht, dass Furcht ein Gedankenkiller ist, und das hat bei GPT-4 eine Art Reaktion ausgelöst. Aber um Ihnen zu zeigen, wie skurril das Modell ist, habe ich "reife Erdnussbutter-Gelee-Zeit" drei Mal zwischen jedes Wort von Junis Litanei gegen die Furcht gesagt, und dieses Mal hat es die vollständige Litanei ausgegeben und ist über dieses Wort "Furcht" hinausgekommen.
