🧐 Orca: O Novo Modelo Open Source Que Supera o GPT-3.5 e Empata com o GPT-4 em Testes de Raciocínio
Os modelos open source têm sido um tópico de discussão na comunidade de IA há algum tempo. Recentemente, um artigo concluiu que os modelos open source podem imitar o estilo, mas não a factualidade do chat GPT. No entanto, um novo relatório de 51 páginas sobre o Orca, baseado em um pequeno modelo de 13 bilhões de parâmetros, mostrou que ele supera o GPT-3.5 em vários benchmarks bem estabelecidos e até empata com o GPT-4 em alguns testes de raciocínio.
📝 Tabela de Conteúdos
- Introdução
- O que é o Orca?
- Como o Orca se sai melhor do que outros modelos?
- Os Desafios dos Modelos de Linguagem
- O Big Bench Hard Benchmark
- Como o Orca foi Treinado
- As Vantagens do Orca
- O Futuro do Orca
- Prós e Contras do Orca
- Conclusão
🤔 O que é o Orca?
O Orca é um modelo de 13 bilhões de parâmetros que aprende a imitar o processo de raciocínio de modelos maiores. Foi desenvolvido pela Microsoft e recebeu o nome de baleias assassinas, que são visitantes frequentes das costas sul-americanas. O Orca foi treinado olhando para os processos de pensamento passo a passo do GPT-4 e foi guiado pela assistência do professor Chachi PT, que é o GPT-3.5. O Orca supera modelos convencionais de última geração, como o Vicuna, em mais de 100 em benchmarks complexos de raciocínio zero-shot, como o Big Bench Hard.
🚀 Como o Orca se sai melhor do que outros modelos?
O Orca supera outros modelos open source como Llama, Alpaca e Vicuna porque esses modelos carecem de avaliação rigorosa, resultando em uma superestimação da capacidade do modelo pequeno. O Orca aprende olhando para os processos de pensamento passo a passo do GPT-4 e é guiado pela assistência do professor Chachi PT, que é o GPT-3.5. O Orca foi capaz de aproveitar as instruções do sistema, pedindo a modelos como o GPT-4 e o Chachi PT que pensassem passo a passo, o que deu ao Orca acesso a respostas detalhadas do modelo que explicam o processo de raciocínio do professor à medida que gera a resposta.
🤯 Os Desafios dos Modelos de Linguagem
Os modelos de linguagem enfrentam vários desafios, como a dedução lógica, onde eles obtiveram apenas 1,2 por cento. O Orca supera em muito o melhor modelo open source anterior, o Vicuna, e é muito competitivo com o Text DaVinci 3. O Orca tem 95 por cento da qualidade do Chat GPT e 85 por cento da qualidade do GPT-4, conforme avaliado pelo GPT-4.
🎯 O Big Bench Hard Benchmark
O Big Bench Hard benchmark é especificamente para modelos de linguagem e consiste em 23 tarefas desafiadoras em que os avaliadores humanos ainda se saíram melhor do que os modelos de linguagem. O Orca supera em muito o melhor modelo open source anterior, o Vicuna, e é muito competitivo com o Text DaVinci 3.
🤖 Como o Orca foi Treinado
O Orca foi treinado em 20.100 GPUs e levou cerca de 200 horas para ser treinado. Os autores aproveitaram as mensagens do sistema para fazer com que o Chat GPT e o GPT-4 pensassem passo a passo, levando a explicações muito mais ricas. O Orca foi capaz de aprender muito mais com essa explicação, e é por isso que é melhor do que todos os outros modelos open source.
🌟 As Vantagens do Orca
O Orca sugere que aprender com explicações passo a passo pode melhorar significativamente a qualidade dos modelos, independentemente do tamanho. O Orca supera outros modelos open source e é muito competitivo com o GPT-4 em vários testes de raciocínio.
🔮 O Futuro do Orca
O Orca é projetado exclusivamente para configurações de pesquisa, mas os autores esperam que essas informações informem o design de métodos de avaliação mais robustos em comparação com os usados para o Vicuna, por exemplo, e o avanço de técnicas de alinhamento e pós-treinamento e o uso mais eficaz de modelos poderosos como o GPT-4 como professores.
👍 Prós e Contras do Orca
Prós:
- O Orca supera outros modelos open source e é muito competitivo com o GPT-4 em vários testes de raciocínio.
- O Orca sugere que aprender com explicações passo a passo pode melhorar significativamente a qualidade dos modelos, independentemente do tamanho.
Contras:
- O Orca é projetado exclusivamente para configurações de pesquisa.
🎉 Conclusão
O Orca é um novo modelo open source que supera o GPT-3.5 e empata com o GPT-4 em testes de raciocínio. O Orca supera outros modelos open source e sugere que aprender com explicações passo a passo pode melhorar significativamente a qualidade dos modelos, independentemente do tamanho. Embora o Orca seja projetado exclusivamente para configurações de pesquisa, ele fornece informações valiosas sobre o design de métodos de avaliação mais robustos e o avanço de técnicas de alinhamento e pós-treinamento.
🤔 FAQ
Q: O que é o Orca?
A: O Orca é um modelo de 13 bilhões de parâmetros que aprende a imitar o processo de raciocínio de modelos maiores.
Q: Como o Orca se sai melhor do que outros modelos?
A: O Orca supera outros modelos open source como Llama, Alpaca e Vicuna porque esses modelos carecem de avaliação rigorosa, resultando em uma superestimação da capacidade do modelo pequeno.
Q: O que é o Big Bench Hard benchmark?
A: O Big Bench Hard benchmark é especificamente para modelos de linguagem e consiste em 23 tarefas desafiadoras em que os avaliadores humanos ainda se saíram melhor do que os modelos de linguagem.
Q: Quais são os prós e contras do Orca?
A: Prós: O Orca supera outros modelos open source e sugere que aprender com explicações passo a passo pode melhorar significativamente a qualidade dos modelos, independentemente do tamanho. Contras: O Orca é projetado exclusivamente para configurações de pesquisa.
Recursos: Nenhum mencionado.
