Visão Geral
O Groq é o mais recente modelo de linguagem grande de inteligência artificial (IA) a entrar em cena. Ele está conquistando as redes sociais com sua velocidade de resposta e uma nova tecnologia que pode dispensar a necessidade de GPUs para processamento de dados.
A equipe por trás do Groq desenvolveu seu próprio chip ASIC personalizado para modelos de linguagem grande (LLMs), permitindo a geração de cerca de 500 tokens por segundo. Em comparação, o ChatGPT 3.5, a versão do modelo disponível publicamente, pode gerar cerca de 40 tokens por segundo.
A Groq Inc., desenvolvedora desse modelo, afirma ter criado a primeira Unidade de Processamento de Linguagem (LPU) por meio da qual executa seu modelo, em vez das escassas e caras unidades de processamento gráfico (GPUs) normalmente usadas para executar outros modelos de IA. Isso permite que o Groq seja mais rápido do que outros modelos baseados em GPU.
The first public demo using Groq: a lightning-fast AI Answers Engine.
It writes factual, cited answers with hundreds of words in less than a second.
More than 3/4 of the time is spent searching, not generating!
The LLM runs in a fraction of a second.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp— Matt Shumer (@mattshumer_) February 19, 2024
O modelo de IA Groq está ganhando ampla atenção nas redes sociais, desafiando o domínio do ChatGPT e fazendo comparações com o modelo do próprio Elon Musk, o Grok, de nome semelhante.
O Groq se tornou uma sensação da noite para o dia depois que seus testes públicos se tornaram virais na plataforma de rede social X, revelando que sua velocidade de computação e resposta supera o popular chatbot de IA da OpenAI, o ChatGPT.
No entanto, a empresa por trás do Groq não é nova. Ela foi fundada em 2016, quando o nome do modelo, Groq, também foi registrado. Em novembro passado, quando o próprio modelo de IA de Elon Musk, chamado Grok – escrito com um k – estava ganhando força, os desenvolvedores por trás do Groq original publicaram uma postagem no blog da empresa criticando Musk pela escolha do nome.
Desde que o Groq se tornou viral nas mídias sociais, nem Musk nem a página do Grok no X fizeram qualquer comentário sobre a semelhança entre o nome dos dois modelos.
Os usuários da plataforma começaram a fazer comparações entre o modelo LPU e outros modelos populares baseados em GPU. Um usuário que trabalha com desenvolvimento de IA chamou o Groq de “divisor de águas” para produtos que exigem baixa latência, que se refere ao tempo necessário para processar uma solicitação e obter uma resposta.
Outro usuário escreveu que as LPUs do Groq poderiam oferecer uma “melhoria maciça” para as GPUs quando se trata de atender às necessidades dos aplicativos de IA no futuro e disse que também pode vir a ser uma boa alternativa para o “hardware de alto desempenho” dos chips A100 e H100 produzidos pela Nvidia.
Wow, that's a lot of tweets tonight! FAQs responses.
— Groq Inc (@GroqInc) February 19, 2024
• We're faster because we designed our chip & systems
• It's an LPU, Language Processing Unit (not a GPU)
• We use open-source models, but we don't train them
• We are increasing access capacity weekly, stay tuned pic.twitter.com/nFlFXETKUP
A OpenAI está buscando trilhões de dólares em financiamento de governos e investidores de todo o mundo para desenvolver seu próprio chip a fim de superar os problemas de escalabilidade de seus produtos. Isso ocorre em um momento em que os principais desenvolvedores de IA estão buscando desenvolver chips internamente, para não depender exclusivamente dos modelos produzidos pela Nvidia.
Artigos Relacionados
Sobre o Autor
Olá, sou Felipe L, apaixonado pelo universo da tecnologia e entusiasta dos jogos eletrônicos.
0 Comentários