A Meta está prestes a lançar o maior modelo Llama de sua história, e isso pode ser um divisor de águas.
Já conhece o GPT-4? Prepare-se para um forte concorrente de código aberto!
Em abril de 2024, a Meta lançou o Llama 3, a última versão de seus modelos de linguagem avançados baseados em inteligência artificial. O Llama 3 utiliza um conjunto de dados pelo menos sete vezes maior que o Llama 2, superando no lançamento modelos como o próprio Llama 2, o Gemma (também open-source do Google) e o Anthropic Claude Sonnet (que posteriormente recebeu uma atualização tornando-se uma das LLMs mais poderosas).
Mas as novidades não param por aí. Vazamentos apontam para o lançamento iminente dos modelos Llama 3 mais poderosos, treinados com mais de 400 bilhões de parâmetros. Esses titãs da linguagem artificial fazem parte de uma série de projetos da Meta que utilizam centenas de milhares de GPUs Nvidia H100.
Em testes iniciais, o Llama 3 400B ajustado por instruções alcançou 86,1 no benchmark MMLU, ficando praticamente no mesmo patamar do GPT-4, mas utilizando menos da metade dos parâmetros.
Simplificando: por que isso é tão importante?
Simplificando, modelos de linguagem grandes com mais parâmetros tendem a ter melhor desempenho em tarefas do mundo real e em testes padronizados. O fato de o Llama 3 400B quase igualar a pontuação MMLU do GPT-4 com menos de 50% dos parâmetros sugere que a Meta avançou significativamente na arquitetura e treinamento de modelos, podendo competir de igual para igual com a OpenAI.
Ao alcançar desempenho equivalente com menos parâmetros, o Llama 3 400B deve ser muito mais eficiente do que o ChatGPT-4 da OpenAI em termos de recursos computacionais, consumo de energia e custo.
