F2：2024年にAIの風景を変える可能性のある小さなモデル 🤖
2023年が終わりに近づく中、生成型AIが休日の祝祭に後退していると考えるのは簡単です。しかし、先週、AIの風景を2024年に変える可能性のある強力な新しい小さなモデルの発表がありました。この記事では、F2について詳しく見て、それがどのように同等のサイズのモデルを上回っているのかを見ていきます。
目次 📑
- 紹介
- F2とは？
- F2のパフォーマンス
- MMLブリンクマンシップの狂気
- Optimus Gen 2
- モデルの5つのシリーズ
- 合成データ
- F2からの潜在的な教訓
- Gemini Nano 2とMISTALとの比較
- ベンチマークの欠点
- 結論
F2とは？ 🤔
F2は、現在の基準からすると小さな27億パラメータのモデルです。実際、それほど小さいため、スマートフォンにローカルに収まることができます。そのサイズにもかかわらず、F2は、Mambaを使用してトレーニングされたモデルやGoogleの新しいGemini Nanoなど、同等のサイズのモデルを上回っています。また、そのサイズのモデルの202-25倍の性能も発揮します。
F2は、MicrosoftのCEOであるSassan Adellaによって先月発表されました。100台未満のA100 GPUでわずか14日間でトレーニングされ、トレーニングにかかった費用は100ドル未満と報告されています。参考までに、MicrosoftはA100の後継であるH100を最大15万台持っています。
F2のパフォーマンス 🚀
F2のパフォーマンスは、言うまでもなく印象的です。それは1.4兆トークンでトレーニングされました。これはF1.1.5 webの5倍の量です。より多くのパラメータは、より多くの接続が可能であり、より多くの計算力とともに、より多くのデータを供給し、より多くの回数を繰り返すことができます。F2のパフォーマンスは非常に優れており、10倍の計算力でトレーニングされたモデルと同等のタスクのパフォーマンスを模倣できるように見えます。
MMLブリンクマンシップの狂気 🤯
MML Uは、モデルを小数点以下2桁まで比較するために使用されてきたベンチマークです。しかし、それには多くの欠点があります。例えば、エラーや曖昧さ、議論の余地のある質問が含まれています。一部の質問には明確な答えがなく、他の質問は尋ねる情報源によって異なります。MML Uは、モデルを小数点以下2桁まで比較するために使用されてきましたが、多くの点で欠陥があります。
Optimus Gen 2 🤖
Optimus Gen 2は、テスラの10kg軽量な第2世代ヒューマノイドロボットです。触覚、温度、圧力の感度を持ち、まだ完全に探求されていない新しいモダリティです。Optimus Gen 2や同様のロボットがAIの未来にどのような意味を持つかを考えると、興奮します。
モデルの5つのシリーズ 🤖
5つのシリーズのモデルは、6月下旬から存在しており、それ以来注目を集めています。F1は人間の評価コーディングベンチマークで50％を獲得し、これらすべてが非常にうまく機能しているため、F1.5では常識的な推論、論理、科学、心の理論の合成演習が追加されました。さらに、彼らは合成データのみでトレーニングし、追加のフィルタリングされたスタックデータはF1.5 webという別のモデルに残しました。
合成データ 🤖
合成データでトレーニングする利点の1つは、それが通常よりも有害なデータである傾向があることです。F2の場合、毒性スコアは全体的に低下しました。これは、人間のフィードバックからの強化学習を行う前のものです。合成データは、AIモデルのトレーニング方法を革新する可能性を秘めています。
F2からの潜在的な教訓 🤖
F2のパフォーマンスは印象的であり、2024年のAIの風景を変える可能性があります。F2から学べる教訓の1つは、非効果的なトレーニングデータに膨大な計算力を浪費してきたということです。もう1つの教訓は、より多くのパラメータはより多くの接続を意味し、より多くの計算力とともに、より多くのデータを供給し、より多くの回数を繰り返すことができるということです。
Gemini Nano 2とMISTALとの比較 🤖
F2は、Mambaを使用してトレーニングされたモデルやGoogleの新しいGemini Nanoなど、同等のサイズのモデルを上回っています。また、そのサイズのモデルの202-25倍の性能も発揮します。Gemini Nano 2とMISTALとの比較からわかるように、F2は小さなモデルでありながら大きな影響力を持っています。
ベンチマークの欠点 🤖
MML Uは、モデルを小数点以下2桁まで比較するために使用されてきた欠陥のあるベンチマークです。エラーや曖昧さ、議論の余地のある質問が含まれています。一部の質問には明確な答えがなく、他の質問は尋ねる情報源によって異なります。ベンチマークの欠点は、モデルを比較する際に注意が必要であり、それらがトレーニングされた文脈を考慮する必要があることを思い起こさせてくれます。
結論 🤖
F2は、2024年にAIの風景を変える可能性のある小さなモデルです。そのパフォーマンスは印象的であり、AIモデルのトレーニング方法を革新する可能性を秘めています。ただし、モデルを比較する際には注意が必要であり、それらがトレーニングされた文脈を考慮する必要があります。ベンチマークの欠点は、モデルを比較する際に注意が必要であり、それらがトレーニングされた文脈を考慮する必要があることを思い起こさせてくれます。
ハイライト 🔥
- F2は、同等のサイズのモデルを上回る27億パラメータのモデルです。
- F2は、100台未満のA100 GPUでわずか14日間でトレーニングされ、トレーニングにかかった費用は100ドル未満と報告されています。
- 合成データは、AIモデルのトレーニング方法を革新する可能性を秘めています。
- MML Uは、モデルを小数点以下2桁まで比較するために使用されて
