F2: Le petit modèle qui pourrait changer le paysage de l'IA en 2024 🤖
Alors que 2023 touche à sa fin, il est facile de penser que l'IA générative est reléguée au second plan par les festivités de fin d'année. Cependant, la semaine dernière a vu l'annonce de nouveaux petits modèles puissants qui pourraient changer le paysage de l'IA en 2024. Dans cet article, nous parlerons de F2, de ce que cela signifie et de la folie de la brinkmanship MML. Nous jetterons également un coup d'œil à Optimus Gen 2, qui a été annoncé aujourd'hui même, et bien plus encore.
Table des matières 📑
- Introduction
- Qu'est-ce que F2 ?
- Performance de F2
- Les cinq séries de modèles
- La sortie de F2
- Les avantages des données synthétiques
- Comparaisons avec d'autres modèles
- Les défauts des benchmarks
- Optimus Gen 2
- Sensibilité au toucher, à la température et à la pression
- Les initiés de l'IA
- Les erreurs du MML U
- Conclusion
Qu'est-ce que F2 ? 🤔
F2 a été annoncé par Sassan Adella, le PDG de Microsoft, le mois dernier. En un mot, F2 est un modèle de 2,7 milliards de paramètres, ce qui est petit selon les normes actuelles. En fait, il est si petit qu'il pourrait tenir localement sur un smartphone, selon les benchmarks. F2 surpasse les modèles de taille comparable, comme ceux entraînés à l'aide de Mamba, ainsi que le nouveau Gemini Nano de Google. Si cela ne suffisait pas, il surpasse également les modèles de 202 à 25 fois sa taille.
Performance de F2 🚀
Je suis les cinq séries de modèles depuis fin juin, lorsque j'ai interviewé Ronan Lan, l'un des auteurs clés du document original F1. Il y avait de forts indices de l'importance de F1 dans ma vidéo originale du 2 juillet sur les manuels scolaires. Essentiellement, ils ont récupéré une pile de code ouvert sous licence permissive de ce qui est appelé de manière appropriée la pile. Il y a 10 fois plus de choses qu'ils ont utilisées là-dedans, mais ils ne peuvent pas l'utiliser pour des raisons légales. Ils ont extrait uniquement le code Python des nombreux langages de programmation de cet ensemble de données et ont également filtré les duplications. Pour F1, ils ont ensuite donné à GPC4 un filtre de tâches pour le code de qualité manuel scolaire, c'est-à-dire du code avec des commentaires appropriés et une bonne syntaxe, pour réduire les coûts. Ils ont échangé un petit classificateur pour terminer le travail que GPT 4 avait commencé, avec ce classificateur imitant essentiellement l'étiquetage que GPT 4 avait lancé. Ils ont ensuite obtenu que GPT 3.5 génère ses propres données de manuels scolaires diversifiées et des exercices de questions-réponses synthétiques. Pour plus de détails sur la façon dont ils ont fait cela, consultez la vidéo originale de juillet, qui présentait une interview avec l'un des contributeurs clés.
F1 a obtenu 50% d'évaluation humaine, un benchmark de codage, et tout cela fonctionne si bien que pour F1.5, annoncé en septembre, ils ont ajouté des exercices synthétiques en raisonnement de bon sens, en logique, en science et en théorie de l'esprit. De plus, ils n'ont formé que sur des données synthétiques, laissant ces données de pile filtrées supplémentaires pour un modèle séparé appelé 5.1.5 web. Ce qu'ils ont réalisé, c'est que ces données de meilleure qualité ont permis plus de passages sur les données, appelés epox, ou pensez à un étudiant qui relit ces manuels scolaires. Dans un article exclusif de septembre, The Information a rapporté que Microsoft soutenait désormais fortement les chercheurs derrière F1. Comme je l'ai mentionné dans une vidéo à l'époque, cela leur a donné l'argent et le calcul nécessaires pour augmenter F1. Cela nous amène à la sortie de F2 au cours des dernières 24 heures, 2,7 milliards de paramètres formés en seulement 14 jours sur moins de 100 GPU A100. Pour référence, il est rapporté que Microsoft dispose de jusqu'à 150 000 H100, le successeur des A100.
Les cinq séries de modèles 🔢
Les cinq séries de modèles ont été un sujet brûlant dans la communauté de l'IA depuis leur création. Ce sont des séries de modèles qui ont été formés sur des données synthétiques, c'est-à-dire des données qui ont été générées par les modèles eux-mêmes. L'idée derrière cela est que les modèles peuvent générer leurs propres données de manuels scolaires diversifiées et des exercices de questions-réponses synthétiques, qui peuvent ensuite être utilisés pour former d'autres modèles. Les cinq séries de modèles se sont révélées très efficaces, F1 obtenant 50% d'évaluation humaine, un benchmark de codage.
La sortie de F2 🚀
La sortie de F2 est une étape importante dans le développement de l'IA. F2 est un petit modèle qui surpasse les modèles de taille comparable, ainsi que les modèles de 202 à 25 fois sa taille. La performance de F2 est un témoignage de la puissance des données synthétiques et des cinq séries de modèles. Avec F2, Microsoft a montré qu'il est possible de reproduire les performances sur certaines tâches de modèles formés avec beaucoup plus de calcul.
Les avantages des données synthétiques 📊
Les avantages des données synthétiques sont clairs. Les données synthétiques ont tendance à être moins toxiques et permettent plus de passages sur les données. Cela signifie que les modèles peuvent être formés de manière plus efficace et qu'ils peuvent atteindre des niveaux de précision plus élevés. Les données synthétiques permettent également des ensembles de données plus diversifiés, qui peuvent être utilisés pour former des modèles pour une gamme plus large de tâches.
Comparaisons avec d'autres modèles 🤝
F2 surpasse les modèles de taille comparable, comme ceux formés à l'aide de Mamba, ainsi que le nouveau Gemini Nano de Google. Si cela ne suffisait pas, il surpasse également les modèles de 202 à 25 fois sa taille. Les comparaisons avec d'autres modèles sont importantes, car elles nous permettent de voir comment F2 se compare à la concurrence.
Les défauts des benchmarks 📉
Les défauts des benchmarks sont un sujet brûlant dans la communauté de l'IA. Les benchmarks sont utilisés pour comparer les performances de différents modèles, mais ils sont souvent défectueux. Le MML U est un benchmark qui a été critiqué pour ses défauts. Dans cet article, nous avons discuté de certaines des erreurs qui ont été commises sur le MML U, et nous avons souligné l'importance de prendre les benchmarks avec un grain de sel.
Optimus Gen 2 🤖
Optimus Gen 2 a été annoncé aujourd'hui même et suscite déjà beaucoup d'enthousiasme dans la communauté de l'IA. Ce robot humanoïde de deuxième génération 10 kg plus léger de Tesla est une avancée significative dans le développement de l'IA. Avec une sensibilité au toucher, à la température et à la pression, Optimus Gen 2 est un tout nouveau type de robot.
Les initiés de l'IA 🤝
Les initiés de l'IA sont un nouveau niveau Patreon qui offre un contenu exclusif pour les passionnés d'IA. Avec Classic AI explai
