📝 Table des matières
Introduction
- La semaine étrange pour l'IA
- Comprendre la nature étrange et contre-intuitive de Chat GPT
- La vision tant attendue de GPT
La malédiction de la réversibilité
- Échec fondamental de la déduction logique
- Modèle prévalent dans l'ensemble d'entraînement
- L'asymétrie entre l'entrée et la sortie
- La découverte dévastatrice
- Le fossé dans les compétences de résolution systématique des problèmes
Le jeu d'échecs
- La capacité de GPT 3.5 à jouer aux échecs
- Le modèle mondial des échecs
- Mémorisation de certains schémas
- L'article sur les contre-factuels
- Le fossé entre le raisonnement basé sur la mémoire et le raisonnement à partir de premiers principes
L'article sur les mathématiques GM
- La mise à jour du gradient est myope
- La corrélation entre l'exactitude et la fréquence lors de la pré-formation
- Le Graal des agents autonomes généraux
L'avenir de l'IA
- L'investissement dans l'IA
- La perception du grand public de la superintelligence de l'IA
- La capacité à susciter un chef-d'œuvre en utilisant Dar 3
Conclusion
- Les limites des modèles linguistiques
- La promesse de l'AGI
- Les progrès rapides de l'IA
📝 Introduction
La semaine dernière a été étrange pour l'IA, avec des discussions et des débats sur les capacités et les limites des modèles linguistiques tels que Chat GPT. Malgré leurs capacités impressionnantes, ces modèles se révèlent être à la fois énigmatiques et intuitifs, incapables de déduire des déductions logiques simples mais capables de jouer aux échecs et de susciter un chef-d'œuvre. Dans cet article, nous explorerons la nature étrange et contre-intuitive de Chat GPT et d'autres modèles linguistiques, leurs limites en matière de raisonnement et de résolution de problèmes, ainsi que la promesse de l'AGI.
La semaine étrange pour l'IA
La semaine dernière a été étrange pour l'IA, avec des débats et des discussions sur les capacités et les limites des modèles linguistiques tels que Chat GPT. Ces modèles se révèlent être à la fois énigmatiques et intuitifs, incapables de déduire des déductions logiques simples mais capables de jouer aux échecs et de susciter un chef-d'œuvre. La question demeure : pourquoi ces modèles sont-ils si étranges et contre-intuitifs ?
Comprendre la nature étrange et contre-intuitive de Chat GPT
Malgré leurs capacités impressionnantes, les modèles linguistiques tels que Chat GPT ont des limites en matière de raisonnement et de résolution de problèmes. L'article sur la malédiction de la réversibilité met en évidence l'échec fondamental de la déduction logique et le modèle prévalent dans leur ensemble d'entraînement. Ces modèles présentent une asymétrie entre l'entrée et la sortie, ce qui rend difficile pour eux de raisonner par déduction. Les découvertes de l'article ont été dévastatrices, les chercheurs remettant en question leurs croyances antérieures sur la capacité des modèles linguistiques à généraliser.
La vision tant attendue de GPT
Au cours des dernières minutes, nous avons appris que GPTV sera disponible dans les deux prochaines semaines. Cette vision tant attendue de GPT permettra aux utilisateurs de poser des questions sur des images et de parler à Chat GPT comme ils peuvent parler à Pi d'Inflection AI. Ce nouveau développement promet d'être une avancée significative dans les capacités des modèles linguistiques.
📝 La malédiction de la réversibilité
L'article sur la malédiction de la réversibilité met en évidence les limites des modèles linguistiques en matière de raisonnement et de résolution de problèmes. Ces modèles présentent un échec fondamental de la déduction logique et ne généralisent pas un modèle prévalent dans leur ensemble d'entraînement. Par exemple, même si un modèle sait qu'Olaf Schultz a l'attribut d'être le neuvième chancelier d'Allemagne, il ne relie pas automatiquement le neuvième chancelier d'Allemagne à Olaf Schultz. Les découvertes de l'article ont été dévastatrices, les chercheurs remettant en question leurs croyances antérieures sur la capacité des modèles linguistiques à généraliser.
L'asymétrie entre l'entrée et la sortie est une autre limite des modèles linguistiques. Par exemple, lorsqu'on lui demande qui est la mère de Tom Cruz, le modèle sait qui est la mère de Tom Cruz. Cependant, lorsqu'on lui demande la mère, il ne peut pas identifier son fils célèbre. Ces limites rendent difficile pour les modèles linguistiques de raisonner par déduction.
Échec fondamental de la déduction logique
L'article sur la malédiction de la réversibilité met en évidence l'échec fondamental de la déduction logique dans les modèles linguistiques. Ces modèles ne déduisent pas que si A équivaut à B, alors B équivaut à A. Par exemple, même si un modèle sait qu'Olaf Schultz a l'attribut d'être le neuvième chancelier d'Allemagne, il ne relie pas automatiquement le neuvième chancelier d'Allemagne à Olaf Schultz.
Modèle prévalent dans l'ensemble d'entraînement
L'article sur la malédiction de la réversibilité met également en évidence le modèle prévalent dans l'ensemble d'entraînement des modèles linguistiques. Par exemple, même si un modèle sait qu'Olaf Schultz a l'attribut d'être le neuvième chancelier d'Allemagne, il ne relie pas automatiquement le neuvième chancelier d'Allemagne à Olaf Schultz. Ce modèle prévalent rend difficile pour les modèles linguistiques de raisonner par déduction.
L'asymétrie entre l'entrée et la sortie
L'asymétrie entre l'entrée et la sortie est une autre limite des modèles linguistiques. Par exemple, lorsqu'on lui demande qui est Tom Cruz, le modèle sait qui est la mère de Tom Cruz. Cependant, lorsqu'on lui demande la mère, il ne peut pas identifier son fils célèbre. Ces limites rendent difficile pour les modèles linguistiques de raisonner par déduction.
La découverte dévastatrice
Les découvertes de l'article ont été dévastatrices, les chercheurs remettant en question leurs croyances antérieures sur la capacité des modèles linguistiques à généraliser. Un chercheur de Google DeepMind est même allé jusqu'à dire : "Je suis dévasté par cette découverte." Les modèles linguistiques peuvent répondre que A est B mais pas que B est A, ce qui rend difficile pour eux de raisonner par déduction.
Le fossé dans les compétences de résolution systématique des problèmes
Le fossé important entre la mémorisation et les compétences de résolution systématique des problèmes suggère que les modèles linguistiques n'ont pas encore la capacité de raisonner par déduction. Bien qu'ils puissent faire bien plus que mémoriser, ils ont encore des limites en matière de raisonnement et de résolution de problèmes.
📝 Le jeu d'échecs
La capacité de GPT 3.5 à jouer aux échecs a été un sujet de discussion dans la communauté de l'IA. Alors qu'il y a plus de mouvements possibles aux échecs que d'atomes dans l'univers, GPT 3.5 peut jouer aux échecs à 1,
