🤖 Der Aufstieg von F2: Ein Game-Changer in der generativen KI
In der Welt der generativen KI sollte das Jahr 2023 eigentlich ein Jahr des Rückgangs sein, mit mehr Fokus auf Feierlichkeiten als auf Modellen und dem MMLU. Diese Woche wurde jedoch die Veröffentlichung leistungsstarker neuer kleiner Modelle bekannt gegeben, die die KI-Landschaft im Jahr 2024 verändern könnten. In diesem Artikel werden wir uns F2 genauer ansehen, was es bedeutet und wie es Modelle vergleichbarer Größe übertrifft. Wir werden auch die Verrücktheit des MML-Brinkmanship, Optimus Gen 2 und vieles mehr diskutieren.
Inhaltsverzeichnis
- Einführung
- Was ist F2?
- Wie F2 Modelle vergleichbarer Größe übertrifft
- Die fünf Modellserien
- Die Veröffentlichung von F2
- Die Vorteile synthetischer Daten
- Vergleiche mit Gemini Nano 2 und Mistal
- Die Schwächen von Benchmarks
- Die Einführung von Imagin 2
- Der Aufstieg kleiner Modelle
- Optimus Gen 2
- Das Potenzial von Berührungsempfindlichkeit, Temperatur und Drucksensitivität
- Die AI Insiders Patreon-Stufe
- Die Fehler des MMLU
- Fazit
Was ist F2?
F2 ist ein Modell mit 2,7 Milliarden Parametern, was heutzutage als klein gilt. Tatsächlich ist es so klein, dass es problemlos auf einem Smartphone Platz finden könnte. Laut Benchmarks übertrifft F2 Modelle vergleichbarer Größe, wie solche, die mit Mamba trainiert wurden, sowie Googles neues Gemini Nano. Darüber hinaus übertrifft es auch Modelle, die 202-25 Mal so groß sind.
Wie F2 Modelle vergleichbarer Größe übertrifft
F2 wurde letzten Monat von Sassan Adella, dem CEO von Microsoft, angekündigt. Es wurde in nur 14 Tagen mit weniger als 100 A100-GPUs trainiert, und die Menge an Daten, einschließlich erneuter Lesevorgänge oder EPO, betrug 1,4 Billionen Tokens, das ist fünfmal mehr als F1.1.5 Web. Mehr Parameter bedeuten mehr Verbindungen, die hergestellt werden können, und mit mehr Rechenleistung können natürlich mehr Daten eingespeist und diese Daten öfter durchlaufen werden.
Die fünf Modellserien
Ich verfolge die fünf Modellserien seit Ende Juni, als ich Ronan Lan interviewt habe, einen der Hauptautoren des ursprünglichen F1-Papiers. Es gab starke Hinweise auf die Bedeutung von F1 in meinem ursprünglichen Video vom 2. Juli über Lehrbücher. Ich werde versuchen, Ihnen in weniger als 3 Minuten alle notwendigen Hintergrundinformationen zu F1, F1.5 und F2 zu geben. Im Wesentlichen haben sie einen Stapel von permissiv lizenziertem Open-Source-Code aus dem sogenannten Stack extrahiert. Es gibt zehnmal mehr als sie verwendet haben. Aus diesem Datensatz haben sie nur den Python-Code aus den vielen Programmiersprachen extrahiert und auch Duplikate herausgefiltert. Für F1 haben sie dann GPC4 mit einer Aufgabenauswahl für Code von Lehrbuchqualität ausgestattet, das heißt Code mit angemessenen Kommentaren und guter Syntax, um Kosten zu sparen. Sie haben einen winzigen Klassifizierer eingebaut, um die Arbeit zu beenden, die GPT-4 begonnen hat. Dieser Klassifizierer imitiert im Wesentlichen die Kennzeichnung, die GPT-4 gestartet hat. Dann haben sie GPT 3.5 dazu gebracht, seine eigenen vielfältigen Daten von Lehrbuchqualität und synthetische Frage-Antwort-Übungen zu generieren. Für weitere Details dazu schauen Sie sich das ursprüngliche Video im Juli an, das ein Interview mit einem der Hauptbeiträger enthielt.
Die Veröffentlichung von F2
F2 wurde in den letzten 24 Stunden veröffentlicht und ist Open Source. In der Beschreibung gibt es einen Link, der beschreibt, wie man F2 herunterladen kann. Ein Nebeneffekt des Trainings mit synthetischen Daten ist, dass diese tendenziell weniger toxische Daten enthalten. Die Toxizitätswerte sind bei F2 insgesamt gesunken, und das noch bevor ein verstärkendes Lernen durch menschliches Feedback stattgefunden hat.
Die Vorteile synthetischer Daten
Wie einer der Forscher des Projekts sagte: "Unsere Bemühungen mit F2 zeigen, dass wir enorme Rechenleistungen für eher ineffektive Trainingsdaten verschwendet haben." Ein Modell mit allen verfügbaren Daten zu füttern hat einen hohen Preis und führt zu einer geringeren Qualität auf dem Bildschirm.
Vergleiche mit Gemini Nano 2 und Mistal
Vergleiche mit Gemini Nano 2 und Mistal mit jeweils 7 Milliarden Parametern zeigen, dass F2 Modelle vergleichbarer Größe übertrifft. Angesichts der Tatsache, dass eines der anderen Themen dieses Videos die Schwächen von Benchmarks behandelt, weiß ich, was viele von Ihnen denken: Können wir diesen Benchmark-Zahlen vollständig vertrauen?
Die Schwächen von Benchmarks
Der MMLU ist in vielerlei Hinsicht ein fehlerhafter Benchmark. Tatsächlich werde ich dieses Video mit einem Ausschnitt aus meinem ursprünglichen Smart GPT-Video beenden, in dem einige der Fehler auf diesem Benchmark aufgezeigt werden. Ich bin ehrlich gesagt schockiert, dass er Ende 2023 immer noch verwendet wird, um Modelle bis auf zwei Dezimalstellen zu vergleichen.
Die Einführung von Imagin 2
Heute hat Google Imagin 2 veröffentlicht, ein Diffusionsmodell. Bei der Verwendung sind Sie von Google vor Urheberrechtsverletzungen geschützt, und alle Generationen sind mit Wasserzeichen versehen. Die Qualität sieht beeindruckend aus, insbesondere wenn Sie sich die Bilder oben rechts und unten in der Mitte ansehen.
Der Aufstieg kleiner Modelle
Das Thema des heutigen Videos sind kleine Modelle, und hier ist der 10 kg leichtere humanoide Roboter der Generation 2 von Tesla, Optimus Gen 2. Beim Betrachten dieses Videos denke ich an Berührungsempfindlichkeit, Temperatur und Drucksensitivität als völlig neue Modalitäten, die noch vollständig erforscht werden müssen.
Optimus Gen 2
Optimus Gen 2 ist ein Game-Changer in der Welt der Robotik. Es handelt sich um einen 10 kg leichteren humanoiden Roboter der Generation 2 von Tesla.
Die AI Insiders Patreon-Stufe
Heute ist der offizielle Start der AI Insiders Patreon-Stufe. Als Mitglied erhalten Sie Zugang zu klassischen AI-Erklärungsvideos, Bonusinhalten, dem AI Insiders Podcast, Tutorials und der Insiders Arena.
Die Fehler des MMLU
Der MMLU ist voller Fehler, von mehrdeutigen Fragen bis hin zu falschen Antworten. Diese Fehler könnten ein Modell möglicherweise verwirren, und wir müssen uns ihrer bewusst sein, wenn wir den MMLU als Benchmark verwenden.
Fazit
Zusammenfassend ist F2 ein Game-Changer in der Welt der generativen KI. Es übertrifft Modelle vergleichbarer Größe und ist Open Source. Wir müssen jedoch die Schwächen von Benchmarks wie dem MMLU und das Potenzial für Fehler in den Daten beachten. Mit kleinen Modellen wie Optimus Gen 2 und dem Aufstieg von Berührungsempfindlichkeit, Temperatur und Drucksensitivität sieht die Zukunft der KI vielversprechend aus.
