As leis de escalonamento em IA — as relações matemáticas que governam a melhoria de desempenho dos modelos conforme se aumenta computação, dados e parâmetros — estão se aproximando de seus limites. A conversa entre Nathan Lambert, da AI2, e Sebastian Raschka revela uma indústria às voltas com questões fundamentais sobre a sustentabilidade dos paradigmas atuais de desenvolvimento em inteligência artificial.

A estrutura do cronograma da conversa conta a história por si só: quase uma hora dedicada a leis de escala e metodologias de treinamento, seguida de discussões extensas sobre técnicas de pós-treinamento e direções alternativas de pesquisa. Essa distribuição reflete para onde o desafio técnico migrou. O escalonamento bruto já não garante ganhos de desempenho transformadores, empurrando os pesquisadores rumo a abordagens mais sofisticadas em otimização pós-treinamento e arquiteturas especializadas.

O foco de Lambert no pós-treinamento — a fase posterior ao treinamento inicial do modelo, em que se desenvolvem capacidades de seguir instruções e incorporar feedback humano — evidencia onde a inovação real está acontecendo. À medida que o pré-treinamento atinge retornos decrescentes, a indústria aposta em técnicas de refinamento capazes de extrair mais capacidade dos tamanhos de modelo já existentes. Isso representa um amadurecimento do campo, que migra da escala por força bruta para a engenharia de precisão.

A dimensão geopolítica acrescenta urgência a esses desafios técnicos. O desenvolvimento chinês de IA opera sob restrições diferentes — menos acesso a hardware de ponta, mas potencialmente mais dados e menos limitações regulatórias. Isso cria trajetórias paralelas de desenvolvimento que podem divergir significativamente, com implicações para a liderança global em IA que vão além da competição de mercado e entram no terreno da segurança nacional.

A discussão sobre cultura de trabalho — "semanas de 72 horas ou mais" — e o insulamento do Vale do Silício sugerem uma indústria sob pressão. A combinação de limitações nas leis de escala, competição geopolítica e exigências massivas de capital está comprimindo os prazos de tomada de decisão. Empresas estão fazendo apostas de bilhões de dólares em arquiteturas e abordagens que podem não dar resultado.

O aspecto mais revelador é a progressão dos temas: de cronogramas para a AGI a estratégias de monetização e cenários de aquisição. Essa sequência indica uma indústria que está hedgeando suas apostas — explorando como monetizar as capacidades atuais enquanto permanece incerta sobre avanços fundamentais. A própria extensão de quatro horas da conversa sinaliza a complexidade de questões que pareciam simples apenas dois anos atrás.

A discussão sobre hardware — a posição da NVIDIA, clusters de computação, arquiteturas alternativas — sublinha como o progresso em IA se tornou limitado pela infraestrutura. O sucesso depende cada vez mais do acesso a recursos escassos, e não apenas de inovação algorítmica.

O que emerge é uma indústria em ponto de inflexão. A abordagem direta de escalonamento que impulsionou o progresso de 2019 a 2024 está batendo em paredes. A próxima fase será provavelmente definida por quem conseguir navegar com mais eficácia a otimização pós-treinamento, as arquiteturas alternativas e as restrições de recursos — ao mesmo tempo em que administra pressões geopolíticas que adicionam variáveis não técnicas a problemas puramente técnicos.

Com reportagem de Lex Fridman

Source · Lex Fridman