🦙 GPT-4: Una revisión exhaustiva del último modelo de lenguaje de Meta
Meta, anteriormente conocida como Facebook, ha lanzado recientemente Llama 2, el sucesor de su modelo de lenguaje de código abierto, Llama. Este lanzamiento ha generado mucha expectación en la comunidad de IA, con muchas personas esperando con ansias las mejoras que Llama 2 ofrece. Como redactor SEO competente, he leído el documento técnico de 76 páginas, la guía del usuario y las numerosas páginas de lanzamiento, y he realizado mis propios experimentos para brindarte una revisión exhaustiva de Llama 2.
Tabla de contenidos
1. Introducción
2. Benchmarks
3. Datos
4. Aprendizaje por refuerzo con retroalimentación humana
5. Seguridad y uso responsable
6. Cálculo
7. Decisión de lanzamiento
8. Funciones adicionales
9. Pros y contras
10. Preguntas frecuentes
Benchmarks
Llama 2 fue comparado deliberadamente con Llama 1 y otros modelos de lenguaje de código abierto famosos, pero no con GPT-4. En estos benchmarks, la tendencia es bastante clara: Llama 2 supera a los demás modelos de lenguaje de código abierto, pero es más una mejora incremental sobre Llama 1. El benchmark MMLU muestra que sabe mucho sobre muchos temas, pero el benchmark de evaluación humana muestra que no es increíble en programación.
Datos
Llama 2 fue entrenado con más datos, con más parámetros y una longitud de contexto duplicada. También invirtieron decenas de millones en ajustarlo para conversaciones. Utilizaron una limpieza de datos más robusta y se entrenaron con 40 tokens totales adicionales. Afirman que no incluyeron ningún dato de los productos o servicios de Meta, pero aumentaron la frecuencia de las fuentes más fiables.
Aprendizaje por refuerzo con retroalimentación humana
Llama 2 utiliza la modelización de recompensas para indicar al modelo base qué salidas prefieren los humanos. Entrenan dos modelos de recompensa separados, uno optimizado para la utilidad y otro para la seguridad. Intentaron asegurarse de que los modelos de recompensa fueran tan inteligentes como el propio perro. Describen detalladamente un equilibrio entre utilidad y seguridad.
Seguridad y uso responsable
Llama 2 no es tan bueno cuando se utiliza en idiomas distintos al inglés. Advierten a los desarrolladores que realicen sus propias pruebas de seguridad y ajustes adaptados a su aplicación específica antes de implementar cualquier aplicación de Llama 2. Hicieron esfuerzos para ajustar los modelos y evitar temas como la desinformación, el bioterrorismo o el cibercrimen.
Cálculo
Llama 2 fue entrenado en A100s. Meta ha comprado más de esos que cualquier otra empresa, incluyendo a Microsoft.
Decisión de lanzamiento
Meta y Zuckerberg parecen haber ignorado una carta del Senado de los Estados Unidos. Fue escrita a principios de junio y decía que al pretender lanzar Llama 2 con el propósito de investigar el abuso de la IA, Meta parece haber puesto una herramienta poderosa en manos de actores malintencionados para que realmente se involucren en dicho abuso sin mucha previsión, preparación o salvaguardias discernibles.
Funciones adicionales
Llama 2 introduce la atención fantasma, lo que significa que el modelo presta atención a varias rondas de la conversación. También internalizó el concepto de tiempo, incluso cuando se le proporcionan datos mínimos.
Pros y contras
Pros:
- Supera a otros modelos de lenguaje de código abierto
- Más datos, más parámetros y una longitud de contexto duplicada
- Modelización de recompensas para utilidad y seguridad
- Atención fantasma y concepto internalizado de tiempo
Contras:
- No es increíble en programación
- No es tan bueno en idiomas distintos al inglés
- Requiere pruebas de seguridad y uso responsable
- Benchmarks limitados en comparación con GPT-4
Preguntas frecuentes
P: ¿Es Llama 2 mejor que GPT-4?
R: Llama 2 no fue comparado deliberadamente con GPT-4 en los benchmarks.
P: ¿Es Llama 2 bueno para programar?
R: Llama 2 no es increíble en programación.
P: ¿Es Llama 2 bueno para idiomas distintos al inglés?
R: Llama 2 no es tan bueno en idiomas distintos al inglés.
P: ¿Es seguro usar Llama 2?
R: Llama 2 requiere pruebas de seguridad y uso responsable adaptadas a la aplicación específica.
P: ¿Cuáles son los pros y contras de Llama 2?
R: Llama 2 supera a otros modelos de lenguaje de código abierto, tiene más datos y parámetros, e introduce la modelización de recompensas, la atención fantasma y el concepto internalizado de tiempo. Sin embargo, no es increíble en programación, no es tan bueno en idiomas distintos al inglés y requiere pruebas de seguridad y uso responsable.
Recursos:
- [Meta](https://about.fb.com/meta/)
- [Documento técnico de Llama 2](https://arxiv.org/pdf/2111.02053.pdf)
