A batalha dos cem modelos na indústria de IA: de problemas acadêmicos a problemas de engenharia
No mês passado, a indústria de IA protagonizou um duelo com tema animal.
De um lado está o Llama, lançado pela Meta, que é muito apreciado pela comunidade de desenvolvedores devido à sua natureza de código aberto. A NEC(, uma empresa de eletricidade japonesa, após estudar o artigo e o código-fonte do Llama, rapidamente desenvolveu uma versão em japonês do ChatGPT, resolvendo o gargalo no desenvolvimento de IA no Japão.
O outro lado é um grande modelo chamado Falcon. Em maio deste ano, o Falcon-40B foi lançado, superando o Llama e alcançando o topo da "Tabela de Classificação de LLMs de Código Aberto". Esta lista é elaborada pela comunidade de modelos de código aberto e fornece padrões para avaliar a capacidade dos LLMs. Basicamente, a tabela de classificação é dominada alternadamente pelo Llama e pelo Falcon.
Após o lançamento do Llama 2, a família Llama está temporariamente à frente; mas no início de setembro, o Falcon lançou a versão 180B, alcançando novamente uma classificação mais alta.
Curiosamente, os desenvolvedores do Falcon são do Instituto de Inovação Tecnológica de Abu Dhabi, a capital dos Emirados Árabes Unidos. As autoridades dos Emirados Árabes Unidos afirmaram que estão envolvidos neste setor para quebrar o status quo.
No dia seguinte ao lançamento da versão 180B, o Ministro da Inteligência Artificial dos Emirados Árabes Unidos foi selecionado para a lista dos "100 mais influentes na área de IA" da revista Time; entre os selecionados estão também o "pai da IA" Geoffrey Hinton, Sam Altman da OpenAI, entre outros.
Hoje, o campo da IA entrou numa fase de grande diversidade: países e empresas com recursos financeiros estão a promover planos para versões locais do ChatGPT. Apenas na região do Golfo, há mais de um participante — em agosto, a Arábia Saudita acabou de comprar mais de 3000 chips H100 para universidades locais, para treinar LLM.
Um investidor reclamou: "Naquela época, subestimei a inovação do modelo de negócios da Internet, achando que não havia barreiras; não imaginava que o empreendedorismo em grandes modelos de tecnologia ainda teria tantas vozes..."
Por que deveria ser uma tecnologia dura de alta dificuldade, mas se tornou uma competição em que todos podem participar?
Transformer: O ponto de viragem crucial no desenvolvimento da IA
As start-ups dos EUA, os gigantes tecnológicos da China e os magnatas do petróleo do Oriente Médio conseguem perseguir o sonho dos grandes modelos, graças ao famoso artigo: "Attention Is All You Need".
Em 2017, oito cientistas da computação do Google publicaram o algoritmo Transformer neste artigo. Este artigo é atualmente o terceiro mais citado na história da IA, e o surgimento do Transformer desencadeou esta onda de entusiasmo em IA.
Os atuais grandes modelos, incluindo a série GPT que causou sensação mundial, são todos baseados na arquitetura Transformer.
Antes disso, fazer com que as máquinas entendessem o texto sempre foi um desafio para a academia. Diferente do reconhecimento de imagens, ao ler, os humanos não se concentram apenas nas palavras atuais, mas também levam em consideração o contexto. As entradas das redes neurais iniciais eram independentes entre si, dificultando a compreensão de textos longos ou até mesmo de artigos inteiros.
Em 2014, o cientista da Google, Ilya, fez um avanço pela primeira vez. Ele usou redes neurais recorrentes )RNN( para processar linguagem natural, melhorando significativamente o desempenho do Google Tradutor. O RNN introduziu um "design cíclico", permitindo que os neurônios recebessem tanto a entrada atual quanto a entrada do momento anterior, adquirindo assim a capacidade de "contextualizar".
A aparição das RNNs despertou o entusiasmo da comunidade acadêmica para a pesquisa. No entanto, os desenvolvedores rapidamente descobriram que as RNNs têm sérias deficiências: o algoritmo utiliza cálculos sequenciais, embora resolva o problema do contexto, a eficiência de execução é baixa e é difícil lidar com uma grande quantidade de parâmetros.
A partir de 2015, Shazeer e outros começaram a desenvolver alternativas ao RNN, e o resultado final foi o Transformer. Em comparação com o RNN, o Transformer possui duas grandes inovações: a primeira é a substituição do design cíclico por codificação de posição, permitindo o processamento paralelo e aumentando significativamente a eficiência do treinamento; a segunda é uma melhoria na capacidade de compreender o contexto.
O Transformer resolveu vários problemas técnicos de uma só vez, tornando-se gradualmente a solução principal para o processamento de linguagem natural. Ele transformou os grandes modelos de pesquisa teórica em problemas puramente de engenharia.
Em 2019, a OpenAI desenvolveu o GPT-2 com base no Transformer, surpreendendo a comunidade acadêmica. O Google imediatamente lançou uma IA mais poderosa - Meena. Em comparação com o GPT-2, Meena não trouxe inovações algorítmicas, apenas aumentou os parâmetros de treinamento e a capacidade computacional. Essa abordagem de "empilhamento violento" deixou uma impressão profunda no autor do Transformer, Ashish Vaswani.
O surgimento do Transformer fez com que a velocidade de inovação dos algoritmos de base na academia diminuísse. Elementos de engenharia como engenharia de dados, escala de computação e arquitetura de modelos tornaram-se gradualmente fundamentais nas competições de IA. Qualquer empresa com um certo nível de capacidade técnica pode desenvolver grandes modelos.
O cientista da computação Andrew Ng, durante uma palestra na Universidade de Stanford, apontou: "A IA é um conjunto de ferramentas, incluindo aprendizagem supervisionada, aprendizagem não supervisionada, aprendizagem por reforço e agora a IA generativa. Todas são tecnologias gerais, semelhantes à eletricidade e à Internet."
Embora a OpenAI continue a ser a líder em LLM, uma empresa de análise de semicondutores acredita que a vantagem do GPT-4 se deve principalmente a soluções de engenharia - se for open source, qualquer concorrente poderá replicá-lo rapidamente. O analista prevê que outras grandes empresas de tecnologia poderão em breve criar grandes modelos com desempenho equivalente ao do GPT-4.
A vulnerabilidade do fosso
Hoje, a "batalha das centenas de modelos" já não é uma expressão exagerada, mas uma realidade objetiva.
O relatório mostra que, até julho deste ano, o número de grandes modelos na China atingiu 130, superando os 114 dos Estados Unidos. Além da China e dos Estados Unidos, outros países ricos também estão lançando grandes modelos locais: como o Bhashini, liderado pelo governo indiano, e o HyperClova X, desenvolvido pela empresa de internet sul-coreana Naver.
Esta cena parece ter voltado ao início da Internet, uma época de intensa competição entre capital e tecnologia.
Como mencionado anteriormente, o Transformer transforma grandes modelos em um problema puramente de engenharia; desde que haja talento, financiamento e hardware, é possível alcançar isso apenas empilhando parâmetros. No entanto, a redução da barreira de entrada não significa que qualquer um possa se tornar um gigante na era da IA.
Tomando como exemplo o "Animal Battle" mencionado no início do artigo: embora o Falcon tenha superado o Llama em alguns rankings, o impacto real no Meta é limitado.
É bem conhecido que as empresas tornam públicos os seus resultados de pesquisa, tanto para compartilhar o progresso tecnológico quanto para aproveitar a sabedoria coletiva. À medida que o mundo acadêmico e industrial continua a usar e melhorar o Llama, a Meta pode aplicar esses resultados em seus próprios produtos.
Para grandes modelos de código aberto, uma comunidade de desenvolvedores ativa é a verdadeira vantagem competitiva. A Meta estabeleceu sua estratégia de código aberto já em 2015, quando fundou seu laboratório de IA; Zuckerberg, que começou com as redes sociais, entende bem a arte de "manter relações com os usuários".
Por exemplo, em outubro deste ano, a Meta organizou o evento "Incentivo aos Criadores de IA": desenvolvedores que utilizam o Llama 2 para resolver problemas sociais como educação e meio ambiente têm a oportunidade de receber um financiamento de 500 mil dólares.
Atualmente, a série Llama da Meta tornou-se o padrão para LLMs de código aberto. Até o início de outubro, 8 dos 10 primeiros LLMs em um ranking de código aberto eram baseados no Llama 2 e utilizavam seu protocolo de código aberto. Apenas nesta plataforma, existem mais de 1500 LLMs que utilizam o protocolo de código aberto Llama 2.
Claro, melhorar o desempenho como o Falcon é uma estratégia, mas atualmente a maioria dos LLMs ainda tem uma diferença significativa em relação ao GPT-4.
Recentemente, o GPT-4 obteve a primeira posição no teste AgentBench com uma pontuação de 4,41. O AgentBench foi lançado em conjunto por várias universidades renomadas para avaliar a capacidade de raciocínio e tomada de decisão de LLM em ambientes abertos multidimensionais. Os resultados do teste mostraram que o segundo colocado, Claude, obteve apenas 2,77, uma diferença significativa. Outras LLMs de código aberto conhecidas tiveram pontuações em torno de 1 ponto, menos de um quarto da pontuação do GPT-4.
É importante notar que o GPT-4 foi lançado em março deste ano, o que é um resultado mais de seis meses após a concorrência global ter começado a alcançar. A OpenAI consegue manter sua posição de liderança devido à sua equipe de pesquisa altamente qualificada e à experiência acumulada ao longo do tempo.
Em outras palavras, a principal vantagem dos grandes modelos não é a escala de parâmetros, mas sim a construção de ecossistemas (rota de código aberto) ou a pura capacidade de inferência (rota de código fechado).
Com a crescente atividade da comunidade de código aberto, o desempenho dos LLMs pode tender a ser semelhante, uma vez que todos estão a utilizar arquiteturas de modelo e conjuntos de dados semelhantes.
Outra questão mais intuitiva é: além do Midjourney, parece que nenhum outro grande modelo conseguiu gerar lucro.
Desafios da ancoragem de valor
Em agosto deste ano, um artigo intitulado "OpenAI pode falir até o final de 2024" chamou a atenção. A essência do artigo pode ser resumida da seguinte forma: a velocidade de queima de dinheiro da OpenAI é excessiva.
O texto menciona que, desde o desenvolvimento do ChatGPT, as perdas da OpenAI aumentaram rapidamente, com um prejuízo de cerca de 540 milhões de dólares em 2022, dependendo apenas dos investimentos da Microsoft para se sustentar.
Embora o título seja um pouco sensacionalista, reflete de fato a situação geral dos fornecedores de grandes modelos: um sério desequilíbrio entre custos e receitas.
Os custos elevados fazem com que atualmente apenas fabricantes de chips como a NVIDIA se beneficiem principalmente da onda de IA.
De acordo com a consultora Omdia, a Nvidia vendeu mais de 300 mil chips H100 no segundo trimestre deste ano. Este é um chip de IA altamente eficiente, que empresas de tecnologia e instituições de pesquisa em todo o mundo estão competindo para comprar. Se empilharmos esses 300 mil H100, o peso será equivalente a 4,5 aviões Boeing 747.
Os resultados da Nvidia dispararam, com um aumento de receita de 854% em relação ao ano anterior, surpreendendo Wall Street. Atualmente, o preço do H100 no mercado de segunda mão já foi inflacionado para 40.000 a 50.000 dólares, enquanto seu custo de materiais é de apenas cerca de 3.000 dólares.
Os altos custos de poder de computação dificultam, até certo ponto, o desenvolvimento da indústria. A Sequoia Capital já estimou que as empresas de tecnologia em todo o mundo deverão investir 200 bilhões de dólares anualmente na construção de infraestruturas para grandes modelos; em comparação, os grandes modelos podem gerar no máximo 75 bilhões de dólares de receita por ano, apresentando uma lacuna de pelo menos 125 bilhões de dólares.
Além disso, com exceção de poucos como o Midjourney, a maioria das empresas de software, após investir enormes custos, ainda não encontrou um modelo de lucro claro. Mesmo os líderes do setor, como a Microsoft e os negócios de IA da Adobe, enfrentam desafios.
A ferramenta de geração de código AI GitHub Copilot, desenvolvida pela Microsoft em colaboração com a OpenAI, cobra uma taxa mensal de 10 dólares, mas devido aos custos das instalações, a Microsoft acaba perdendo 20 dólares por mês. Usuários intensivos podem fazer a Microsoft perder até 80 dólares por mês. Com base nisso, pode-se supor que o Microsoft 365 Copilot, que tem um preço de 30 dólares, pode gerar ainda mais prejuízo.
Da mesma forma, a Adobe, que lançou recentemente a ferramenta Firefly AI, rapidamente introduziu um sistema de pontos para evitar que os usuários abusem e causem prejuízos à empresa. Assim que os usuários ultrapassarem os pontos atribuídos mensalmente, a Adobe reduzirá a velocidade do serviço.
É importante notar que a Microsoft e a Adobe já têm cenários de negócios claros e uma grande base de usuários pagantes. Enquanto isso, a maioria dos grandes modelos de parâmetros ainda tem como principal cenário de aplicação o chat.
É inegável que, sem o surgimento do OpenAI e do ChatGPT, esta revolução da IA pode não ter ocorrido. No entanto, nesta fase atual, o valor criado pelo treino de grandes modelos ainda é debatível.
Com o aumento da concorrência homogeneizada e o surgimento contínuo de modelos de código aberto, os fornecedores de grandes modelos puros podem enfrentar uma pressão maior para sobreviver.
Assim como o sucesso do iPhone 4 não depende apenas do seu processador A4, mas sim da sua capacidade de executar várias aplicações interessantes, o verdadeiro valor da IA pode estar mais refletido nos seus cenários de aplicação concretos.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
16 gostos
Recompensa
16
6
Partilhar
Comentar
0/400
WalletManager
· 08-04 16:48
Falar demais não ajuda, é apenas uma questão de quem tem mais parâmetros no modelo.
Ver originalResponder0
LuckyHashValue
· 08-02 08:00
O Japão está a fazer avanços incríveis em IA.
Ver originalResponder0
PaperHandSister
· 08-02 07:54
Esses dois disputando, quem ganhar não é melhor que o GPT4 bull.
Ver originalResponder0
BridgeTrustFund
· 08-02 07:46
Uma montanha não tolera duas ovelhas. Quem ganhou?
Ver originalResponder0
SquidTeacher
· 08-02 07:45
É um rolo duro, um rolo duro!
Ver originalResponder0
SurvivorshipBias
· 08-02 07:35
Céus, não é isso uma luta entre uma alpaca e um falcão?
Batalha de Modelos de IA: De Problemas Académicos a Competições de Engenharia
A batalha dos cem modelos na indústria de IA: de problemas acadêmicos a problemas de engenharia
No mês passado, a indústria de IA protagonizou um duelo com tema animal.
De um lado está o Llama, lançado pela Meta, que é muito apreciado pela comunidade de desenvolvedores devido à sua natureza de código aberto. A NEC(, uma empresa de eletricidade japonesa, após estudar o artigo e o código-fonte do Llama, rapidamente desenvolveu uma versão em japonês do ChatGPT, resolvendo o gargalo no desenvolvimento de IA no Japão.
O outro lado é um grande modelo chamado Falcon. Em maio deste ano, o Falcon-40B foi lançado, superando o Llama e alcançando o topo da "Tabela de Classificação de LLMs de Código Aberto". Esta lista é elaborada pela comunidade de modelos de código aberto e fornece padrões para avaliar a capacidade dos LLMs. Basicamente, a tabela de classificação é dominada alternadamente pelo Llama e pelo Falcon.
Após o lançamento do Llama 2, a família Llama está temporariamente à frente; mas no início de setembro, o Falcon lançou a versão 180B, alcançando novamente uma classificação mais alta.
Curiosamente, os desenvolvedores do Falcon são do Instituto de Inovação Tecnológica de Abu Dhabi, a capital dos Emirados Árabes Unidos. As autoridades dos Emirados Árabes Unidos afirmaram que estão envolvidos neste setor para quebrar o status quo.
No dia seguinte ao lançamento da versão 180B, o Ministro da Inteligência Artificial dos Emirados Árabes Unidos foi selecionado para a lista dos "100 mais influentes na área de IA" da revista Time; entre os selecionados estão também o "pai da IA" Geoffrey Hinton, Sam Altman da OpenAI, entre outros.
Hoje, o campo da IA entrou numa fase de grande diversidade: países e empresas com recursos financeiros estão a promover planos para versões locais do ChatGPT. Apenas na região do Golfo, há mais de um participante — em agosto, a Arábia Saudita acabou de comprar mais de 3000 chips H100 para universidades locais, para treinar LLM.
Um investidor reclamou: "Naquela época, subestimei a inovação do modelo de negócios da Internet, achando que não havia barreiras; não imaginava que o empreendedorismo em grandes modelos de tecnologia ainda teria tantas vozes..."
Por que deveria ser uma tecnologia dura de alta dificuldade, mas se tornou uma competição em que todos podem participar?
Transformer: O ponto de viragem crucial no desenvolvimento da IA
As start-ups dos EUA, os gigantes tecnológicos da China e os magnatas do petróleo do Oriente Médio conseguem perseguir o sonho dos grandes modelos, graças ao famoso artigo: "Attention Is All You Need".
Em 2017, oito cientistas da computação do Google publicaram o algoritmo Transformer neste artigo. Este artigo é atualmente o terceiro mais citado na história da IA, e o surgimento do Transformer desencadeou esta onda de entusiasmo em IA.
Os atuais grandes modelos, incluindo a série GPT que causou sensação mundial, são todos baseados na arquitetura Transformer.
Antes disso, fazer com que as máquinas entendessem o texto sempre foi um desafio para a academia. Diferente do reconhecimento de imagens, ao ler, os humanos não se concentram apenas nas palavras atuais, mas também levam em consideração o contexto. As entradas das redes neurais iniciais eram independentes entre si, dificultando a compreensão de textos longos ou até mesmo de artigos inteiros.
Em 2014, o cientista da Google, Ilya, fez um avanço pela primeira vez. Ele usou redes neurais recorrentes )RNN( para processar linguagem natural, melhorando significativamente o desempenho do Google Tradutor. O RNN introduziu um "design cíclico", permitindo que os neurônios recebessem tanto a entrada atual quanto a entrada do momento anterior, adquirindo assim a capacidade de "contextualizar".
A aparição das RNNs despertou o entusiasmo da comunidade acadêmica para a pesquisa. No entanto, os desenvolvedores rapidamente descobriram que as RNNs têm sérias deficiências: o algoritmo utiliza cálculos sequenciais, embora resolva o problema do contexto, a eficiência de execução é baixa e é difícil lidar com uma grande quantidade de parâmetros.
A partir de 2015, Shazeer e outros começaram a desenvolver alternativas ao RNN, e o resultado final foi o Transformer. Em comparação com o RNN, o Transformer possui duas grandes inovações: a primeira é a substituição do design cíclico por codificação de posição, permitindo o processamento paralelo e aumentando significativamente a eficiência do treinamento; a segunda é uma melhoria na capacidade de compreender o contexto.
O Transformer resolveu vários problemas técnicos de uma só vez, tornando-se gradualmente a solução principal para o processamento de linguagem natural. Ele transformou os grandes modelos de pesquisa teórica em problemas puramente de engenharia.
Em 2019, a OpenAI desenvolveu o GPT-2 com base no Transformer, surpreendendo a comunidade acadêmica. O Google imediatamente lançou uma IA mais poderosa - Meena. Em comparação com o GPT-2, Meena não trouxe inovações algorítmicas, apenas aumentou os parâmetros de treinamento e a capacidade computacional. Essa abordagem de "empilhamento violento" deixou uma impressão profunda no autor do Transformer, Ashish Vaswani.
O surgimento do Transformer fez com que a velocidade de inovação dos algoritmos de base na academia diminuísse. Elementos de engenharia como engenharia de dados, escala de computação e arquitetura de modelos tornaram-se gradualmente fundamentais nas competições de IA. Qualquer empresa com um certo nível de capacidade técnica pode desenvolver grandes modelos.
O cientista da computação Andrew Ng, durante uma palestra na Universidade de Stanford, apontou: "A IA é um conjunto de ferramentas, incluindo aprendizagem supervisionada, aprendizagem não supervisionada, aprendizagem por reforço e agora a IA generativa. Todas são tecnologias gerais, semelhantes à eletricidade e à Internet."
Embora a OpenAI continue a ser a líder em LLM, uma empresa de análise de semicondutores acredita que a vantagem do GPT-4 se deve principalmente a soluções de engenharia - se for open source, qualquer concorrente poderá replicá-lo rapidamente. O analista prevê que outras grandes empresas de tecnologia poderão em breve criar grandes modelos com desempenho equivalente ao do GPT-4.
A vulnerabilidade do fosso
Hoje, a "batalha das centenas de modelos" já não é uma expressão exagerada, mas uma realidade objetiva.
O relatório mostra que, até julho deste ano, o número de grandes modelos na China atingiu 130, superando os 114 dos Estados Unidos. Além da China e dos Estados Unidos, outros países ricos também estão lançando grandes modelos locais: como o Bhashini, liderado pelo governo indiano, e o HyperClova X, desenvolvido pela empresa de internet sul-coreana Naver.
Esta cena parece ter voltado ao início da Internet, uma época de intensa competição entre capital e tecnologia.
Como mencionado anteriormente, o Transformer transforma grandes modelos em um problema puramente de engenharia; desde que haja talento, financiamento e hardware, é possível alcançar isso apenas empilhando parâmetros. No entanto, a redução da barreira de entrada não significa que qualquer um possa se tornar um gigante na era da IA.
Tomando como exemplo o "Animal Battle" mencionado no início do artigo: embora o Falcon tenha superado o Llama em alguns rankings, o impacto real no Meta é limitado.
É bem conhecido que as empresas tornam públicos os seus resultados de pesquisa, tanto para compartilhar o progresso tecnológico quanto para aproveitar a sabedoria coletiva. À medida que o mundo acadêmico e industrial continua a usar e melhorar o Llama, a Meta pode aplicar esses resultados em seus próprios produtos.
Para grandes modelos de código aberto, uma comunidade de desenvolvedores ativa é a verdadeira vantagem competitiva. A Meta estabeleceu sua estratégia de código aberto já em 2015, quando fundou seu laboratório de IA; Zuckerberg, que começou com as redes sociais, entende bem a arte de "manter relações com os usuários".
Por exemplo, em outubro deste ano, a Meta organizou o evento "Incentivo aos Criadores de IA": desenvolvedores que utilizam o Llama 2 para resolver problemas sociais como educação e meio ambiente têm a oportunidade de receber um financiamento de 500 mil dólares.
Atualmente, a série Llama da Meta tornou-se o padrão para LLMs de código aberto. Até o início de outubro, 8 dos 10 primeiros LLMs em um ranking de código aberto eram baseados no Llama 2 e utilizavam seu protocolo de código aberto. Apenas nesta plataforma, existem mais de 1500 LLMs que utilizam o protocolo de código aberto Llama 2.
Claro, melhorar o desempenho como o Falcon é uma estratégia, mas atualmente a maioria dos LLMs ainda tem uma diferença significativa em relação ao GPT-4.
Recentemente, o GPT-4 obteve a primeira posição no teste AgentBench com uma pontuação de 4,41. O AgentBench foi lançado em conjunto por várias universidades renomadas para avaliar a capacidade de raciocínio e tomada de decisão de LLM em ambientes abertos multidimensionais. Os resultados do teste mostraram que o segundo colocado, Claude, obteve apenas 2,77, uma diferença significativa. Outras LLMs de código aberto conhecidas tiveram pontuações em torno de 1 ponto, menos de um quarto da pontuação do GPT-4.
É importante notar que o GPT-4 foi lançado em março deste ano, o que é um resultado mais de seis meses após a concorrência global ter começado a alcançar. A OpenAI consegue manter sua posição de liderança devido à sua equipe de pesquisa altamente qualificada e à experiência acumulada ao longo do tempo.
Em outras palavras, a principal vantagem dos grandes modelos não é a escala de parâmetros, mas sim a construção de ecossistemas (rota de código aberto) ou a pura capacidade de inferência (rota de código fechado).
Com a crescente atividade da comunidade de código aberto, o desempenho dos LLMs pode tender a ser semelhante, uma vez que todos estão a utilizar arquiteturas de modelo e conjuntos de dados semelhantes.
Outra questão mais intuitiva é: além do Midjourney, parece que nenhum outro grande modelo conseguiu gerar lucro.
Desafios da ancoragem de valor
Em agosto deste ano, um artigo intitulado "OpenAI pode falir até o final de 2024" chamou a atenção. A essência do artigo pode ser resumida da seguinte forma: a velocidade de queima de dinheiro da OpenAI é excessiva.
O texto menciona que, desde o desenvolvimento do ChatGPT, as perdas da OpenAI aumentaram rapidamente, com um prejuízo de cerca de 540 milhões de dólares em 2022, dependendo apenas dos investimentos da Microsoft para se sustentar.
Embora o título seja um pouco sensacionalista, reflete de fato a situação geral dos fornecedores de grandes modelos: um sério desequilíbrio entre custos e receitas.
Os custos elevados fazem com que atualmente apenas fabricantes de chips como a NVIDIA se beneficiem principalmente da onda de IA.
De acordo com a consultora Omdia, a Nvidia vendeu mais de 300 mil chips H100 no segundo trimestre deste ano. Este é um chip de IA altamente eficiente, que empresas de tecnologia e instituições de pesquisa em todo o mundo estão competindo para comprar. Se empilharmos esses 300 mil H100, o peso será equivalente a 4,5 aviões Boeing 747.
Os resultados da Nvidia dispararam, com um aumento de receita de 854% em relação ao ano anterior, surpreendendo Wall Street. Atualmente, o preço do H100 no mercado de segunda mão já foi inflacionado para 40.000 a 50.000 dólares, enquanto seu custo de materiais é de apenas cerca de 3.000 dólares.
Os altos custos de poder de computação dificultam, até certo ponto, o desenvolvimento da indústria. A Sequoia Capital já estimou que as empresas de tecnologia em todo o mundo deverão investir 200 bilhões de dólares anualmente na construção de infraestruturas para grandes modelos; em comparação, os grandes modelos podem gerar no máximo 75 bilhões de dólares de receita por ano, apresentando uma lacuna de pelo menos 125 bilhões de dólares.
Além disso, com exceção de poucos como o Midjourney, a maioria das empresas de software, após investir enormes custos, ainda não encontrou um modelo de lucro claro. Mesmo os líderes do setor, como a Microsoft e os negócios de IA da Adobe, enfrentam desafios.
A ferramenta de geração de código AI GitHub Copilot, desenvolvida pela Microsoft em colaboração com a OpenAI, cobra uma taxa mensal de 10 dólares, mas devido aos custos das instalações, a Microsoft acaba perdendo 20 dólares por mês. Usuários intensivos podem fazer a Microsoft perder até 80 dólares por mês. Com base nisso, pode-se supor que o Microsoft 365 Copilot, que tem um preço de 30 dólares, pode gerar ainda mais prejuízo.
Da mesma forma, a Adobe, que lançou recentemente a ferramenta Firefly AI, rapidamente introduziu um sistema de pontos para evitar que os usuários abusem e causem prejuízos à empresa. Assim que os usuários ultrapassarem os pontos atribuídos mensalmente, a Adobe reduzirá a velocidade do serviço.
É importante notar que a Microsoft e a Adobe já têm cenários de negócios claros e uma grande base de usuários pagantes. Enquanto isso, a maioria dos grandes modelos de parâmetros ainda tem como principal cenário de aplicação o chat.
É inegável que, sem o surgimento do OpenAI e do ChatGPT, esta revolução da IA pode não ter ocorrido. No entanto, nesta fase atual, o valor criado pelo treino de grandes modelos ainda é debatível.
Com o aumento da concorrência homogeneizada e o surgimento contínuo de modelos de código aberto, os fornecedores de grandes modelos puros podem enfrentar uma pressão maior para sobreviver.
Assim como o sucesso do iPhone 4 não depende apenas do seu processador A4, mas sim da sua capacidade de executar várias aplicações interessantes, o verdadeiro valor da IA pode estar mais refletido nos seus cenários de aplicação concretos.