TorchTPU e TorchNeuron: o avanço do PyTorch além da CUDA da Nvidia

Principais pontos

• O Google lançou o TorchTPU como projeto de código aberto no GitHub. Trata-se de uma pilha nativa do PyTorch para suas Tensor Processing Units (TPUs), desenvolvida em conjunto com a equipe do PyTorch na Meta.
• Um dia antes, a Amazon anunciou o TorchNeuron, um backend nativo do PyTorch com licença Apache 2.0 para seus chips Trainium2 e Trainium3. Ele entrou em beta pública em 20 de outubro.
• As duas ferramentas se conectam ao PrivateUse1, o ponto de extensão oficial do PyTorch para hardware novo. Na prática, migrar um modelo pode ser tão simples quanto mudar a configuração de dispositivo.
• Nenhuma delas está completa ainda. A Amazon lista lacunas de operadores e recursos sem suporte, incluindo formatos dinâmicos. Os próprios engenheiros do Google afirmaram que mudar o tamanho das entradas provoca recompilação.
• A disputa envolve tanto software quanto silício. A vantagem da Nvidia depende muito da CUDA, a plataforma de programação em torno da qual o PyTorch foi em grande parte construído.

Durante quase toda a última década, um desenvolvedor de IA que escrevia um modelo em PyTorch estava, na prática, escrevendo para hardware da Nvidia. Isso começa a mudar. Num intervalo de dois dias nesta semana, os dois maiores provedores de nuvem lançaram softwares que permitem rodar código PyTorch em seus próprios chips de IA com pouca ou nenhuma reescrita. A Amazon saiu na frente com o TorchNeuron para seus chips Trainium. O Google veio em seguida, com a abertura do código do TorchTPU para suas Tensor Processing Units. O TechCrunch descreveu a dupla como um ataque conjunto ao "reduto" da Nvidia entre os desenvolvedores de aplicativos de IA.

Este texto explicativo mostra o que é um backend do PyTorch, o que cada empresa lançou, o que os desenvolvedores podem e não podem migrar hoje e por que a camada de software pode decidir boa parte da corrida do hardware de IA, mais do que as especificações dos chips.

Primeiro, o que é o PyTorch e por que ele importa?

O PyTorch é um framework de código aberto para criar e treinar redes neurais. A Meta (então Facebook) o criou em 2016 e o transferiu para a Linux Foundation em 2022, segundo o TechCrunch. A maioria dos grandes modelos de linguagem, geradores de imagens e sistemas de voz da pesquisa atual é definida em código PyTorch. A Amazon diz que 85% dos pesquisadores e desenvolvedores de IA escrevem seu código em PyTorch. O número vem do próprio anúncio da Amazon e não é uma contagem independente.

O problema é que o PyTorch cresceu sobre GPUs da Nvidia. Muitos de seus recursos, testes e truques de desempenho pressupunham a CUDA, a plataforma de programação da Nvidia. A Nvidia descreve a CUDA como "a base da computação em GPU", um kit de compiladores, bibliotecas e ferramentas de depuração. Uma equipe que quisesse rodar PyTorch em outro chip normalmente precisava usar wrappers especiais, adaptar o código ou aceitar um desempenho menor.

O que é um "backend", em termos simples?

Uma imagem útil: o PyTorch é o carro, e o backend é o motor por baixo dele. Os desenvolvedores dirigem com comandos conhecidos, como camadas, tensores, otimizadores e loops de treinamento. O backend converte essas instruções em trabalho que um chip específico consegue executar. A Amazon usa uma analogia parecida e descreve o TorchNeuron como uma forma de trocar o motor sem "desmontar o carro".

O gancho técnico é um mecanismo chamado PrivateUse1. Segundo a documentação do PyTorch, trata-se de um espaço reservado que permite aos fabricantes de hardware registrar um novo dispositivo sem editar os arquivos centrais do PyTorch. Um backend que o utiliza registra suas próprias versões das operações básicas do PyTorch. As operações que ainda não foram implementadas podem recorrer à CPU. O dispositivo também pode ser renomeado, de modo que o desenvolvedor escreve device="neuron" ou um nome de dispositivo TPU em vez de algo genérico.

As duas novas ferramentas seguem esse caminho. Isso importa porque iniciativas anteriores, como o antigo projeto PyTorch/XLA do Google, ficavam ao lado do PyTorch, e não dentro dele. Engenheiros do Google resumiram o objetivo do TorchTPU numa publicação do blog para desenvolvedores de abril de 2026 com uma frase simples: "tem que parecer PyTorch".

O que a Amazon lançou: TorchNeuron

Engenheiros da Amazon explicaram o TorchNeuron no blog oficial do PyTorch. No caso mais simples, a mudança é uma única linha: mover o modelo para o dispositivo 'neuron'. Código escrito com torch.accelerator, a interface independente de dispositivo recomendada pelo PyTorch, roda sem modificações. Um modelo compilado só precisa indicar uma vez o backend do compilador Neuron.

Segundo essa publicação e a documentação do AWS Neuron, o TorchNeuron oferece suporte a:

• Modo eager, em que as operações são executadas imediatamente, para pesquisa e depuração, além de um modo experimental "adaptive eager" que funde operações para reduzir a sobrecarga;
• torch.compile, que captura um modelo como grafo e o envia ao compilador Neuron da Amazon para desempenho de produção;
• ferramentas padrão de treinamento distribuído, incluindo DDP, FSDP2, paralelismo de tensores e de pipeline, e DTensor;
• uma linguagem de kernels, a NKI, para ajustar manualmente as partes mais pesadas de um modelo, e uma biblioteca de código aberto com kernels prontos.

A Hugging Face diz que o Trainium agora é um backend nativo de suas bibliotecas Transformers e Diffusers. A Amazon também informa que enviou pull requests ao próprio PyTorch para remover "pressupostos de CUDA fixados no código". O TechCrunch descreveu isso como tornar o PyTorch mais neutro em relação ao hardware por padrão.

O que o Google lançou: TorchTPU

O Google anunciou a abertura do código na PyTorch Conference 2026, em uma publicação no blog do Google Cloud. O texto foi assinado por Mark Lohmeyer, vice-presidente e gerente-geral de infraestrutura de IA e computação, e Bill Jia, vice-presidente de engenharia. O código está no GitHub, na organização google-pytorch. O Google afirma que cargas de trabalho PyTorch existentes podem rodar em TPUs "com alterações mínimas de código, usando as APIs conhecidas".

Assim como o TorchNeuron, o TorchTPU oferece um modo eager para depuração e um caminho torch.compile para produção. A publicação técnica do Google de abril explicou que o caminho compilado usa o XLA, o veterano compilador de TPUs do Google, em vez do Inductor, compilador padrão do PyTorch. O texto também descreveu três variantes do modo eager, incluindo um modo "fused eager" que, segundo o Google, foi de 50% a mais de 100% mais rápido do que seu modo estrito de uma operação por vez.

O anúncio do Google se concentra no ecossistema mais amplo. Ele lista suporte nativo nos motores de inferência vLLM e SGLang, na biblioteca de treinamento TorchTitan e no framework de orquestração Ray. No Hugging Face Transformers v5, usar uma TPU é questão da configuração device_map="tpu". O Google também lançou, em prévia, um "TPU agent suite" que ajuda a automatizar a integração inicial, o diagnóstico e o ajuste. E atualizou o LiteRT, seu runtime no dispositivo, para que modelos PyTorch possam ser convertidos para celulares e notebooks.

Lado a lado

Fontes: blog do PyTorch (TorchNeuron, atualizado em 20 out. 2026); documentação do AWS Neuron; blog do Google Cloud (TorchTPU, out. 2026); Google Developers Blog (abr. 2026). Todos os números de desempenho e de testes são informados pelas empresas e não passaram por benchmarks independentes.

O que os desenvolvedores podem migrar hoje, e o que não podem

A promessa das duas empresas é "sem reescrever". A realidade, com base na documentação delas mesmas, é "sem reescrever em muitos casos comuns".

Provavelmente migra com pouco esforço

• Modelos transformer padrão carregados por bibliotecas da Hugging Face, que as duas empresas agora suportam upstream;
• jobs de treinamento baseados no TorchTitan ou em sharding comum no estilo FSDP;
• inferência de LLMs via vLLM, que as duas nuvens agora suportam;
• código que já usa as APIs do PyTorch independentes de dispositivo em vez de fixar cuda no código.

Ainda difícil, ou sem suporte

• Kernels CUDA personalizados. Kernels da Nvidia escritos à mão não rodam em outros chips. As equipes precisam recorrer às bibliotecas de kernels do fornecedor ou reescrevê-los em NKI (Amazon) ou Pallas (Google).
• Formatos dinâmicos. A Amazon inclui "formatos dinâmicos e simbólicos" entre os recursos que o TorchNeuron optou por não suportar na primeira versão. Os engenheiros do Google escreveram que mudanças no comprimento de sequência e no tamanho do lote provocam recompilação nas TPUs, e listaram um suporte melhor a formatos dinâmicos como item do roadmap.
• Operações menos comuns. A lista de recursos sem suporte da Amazon inclui tensores esparsos, NestedTensor, autograd em modo direto e alguns modos de upsampling. No modo eager, uma operação sem versão para Neuron roda na CPU com um aviso, o que pode deixar o modelo muito mais lento.
• Ferramentas específicas da CUDA. Recursos como CUDA graphs e operações coletivas específicas da NCCL são, por definição, exclusivos da Nvidia.

"Rodar" também não é o mesmo que "rodar rápido". As duas empresas ressaltam que o modo compilado e kernels ajustados são necessários para velocidade de produção. As afirmações de clientes variam conforme a carga de trabalho. O diretor de tecnologia da Deepgram, Adam Sypniewski, disse na publicação da Amazon que o Trainium processou cerca de 60% mais segundos de áudio de entrada por dólar do que as referências em GPU que a empresa já usava "nos benchmarks que avaliamos". Trata-se da medição de um único cliente e não deve ser lida como resultado geral.

Por que a camada de software importa mais do que as especificações dos chips

Números brutos de desempenho de chips são fáceis de publicar e comparar. Os custos de troca são mais difíceis de enxergar. O investimento real de uma empresa está no código dos modelos, nas receitas de treinamento, nos hábitos de depuração, nas ferramentas de monitoramento e nos engenheiros que dominam tudo isso. A publicação da Amazon no blog do PyTorch diz isso diretamente: o custo de rodar IA inclui o tempo de engenharia necessário para fazer as cargas de trabalho funcionarem e continuarem funcionando à medida que as bibliotecas mudam.

A posição da Nvidia se apoiou em tornar esse tempo de engenharia o menor possível em seu próprio hardware. Como observa o TechCrunch, muitos recursos do PyTorch foram criados para funcionar com GPUs da Nvidia porque esses chips já eram o padrão da pesquisa em IA. Um chip rival com especificações melhores pode perder mesmo assim se a migração custar meses de adaptação.

Os backends nativos atacam esse custo diretamente. Eles não precisam superar a Nvidia em todos os benchmarks. Basta tornar a troca barata o suficiente para que preço, disponibilidade ou capacidade definam a decisão. Para a Amazon, a aposta é grande: a empresa diz que seu negócio de silício próprio ultrapassou uma receita anualizada de US$ 25 bilhões. O Google, por sua vez, oferece TPUs a clientes externos pelo Google Cloud. A Meta diz que o TorchTPU permite que ela implante suas próprias cargas de trabalho PyTorch nesses chips.

Há também uma mudança mais silenciosa dentro do próprio PyTorch. Cada alteração upstream que remove um pressuposto oculto de CUDA ajuda todos os chips que não são da Nvidia, e não apenas os da Amazon ou do Google. A diretora de engenharia do PyTorch na Meta, Jana van Greunen, é citada nos anúncios das duas empresas. Na publicação da Amazon, ela disse que os desenvolvedores "deveriam ter uma experiência consistente entre plataformas de hardware".

O que significa

Para os desenvolvedores de IA, o efeito prático é ter mais opções. As equipes podem testar com mais facilidade o mesmo modelo PyTorch em GPUs da Nvidia, Trainium ou TPUs e comparar custo e velocidade em suas próprias cargas de trabalho. O melhor primeiro teste é um modelo padrão em uma biblioteca suportada, e não uma base de código de pesquisa muito personalizada.

Para a Nvidia, esta semana não encerra sua liderança em software. O TechCrunch observou que os desenvolvedores não vão abandonar automaticamente o hardware da Nvidia. As ferramentas da Nvidia são maduras, e kernels personalizados escritos para CUDA ainda precisam ser adaptados à mão. Nenhuma das ferramentas, nem a da Amazon nem a do Google, é ainda um substituto geral. A Amazon chama seu lançamento de beta, e o Google classifica partes de sua pilha como prévias.

O que mudou foi a direção. Dois hyperscalers agora tratam o PyTorch, e não seus próprios frameworks proprietários, como a porta de entrada para seus chips. Ambos também dizem que estão contribuindo com correções para o próprio PyTorch. Se esses esforços continuarem, a pergunta-chave para as equipes de IA pode deixar de ser "meu código vai rodar neste chip?" e passar a ser "qual chip roda meu código com o menor custo?". Essa mudança pressionaria preços e margens em todo o mercado de hardware de IA. Várias questões seguem em aberto: com que rapidez as lacunas restantes serão fechadas, como os benchmarks independentes vão se comparar e como a Nvidia vai reagir.

Fontes

• TechCrunch: Google has joined Amazon in attacking Nvidia's stronghold with AI app developers (20 out. 2026)
• Google Cloud Blog: TorchTPU is now open source: run native PyTorch on TPUs
• Google Developers Blog: TorchTPU: Running PyTorch Natively on TPUs at Google Scale (abr. 2026)
• PyTorch Blog: Introducing TorchNeuron: Native PyTorch backend for AWS Trainium
• About Amazon: anúncio do TorchNeuron
• Documentação do AWS Neuron: Native PyTorch (TorchNeuron) overview
• Documentação do PyTorch: Facilitating New Backend Integration by PrivateUse1
• Nvidia Developer: CUDA Zone
• The Next Web: Amazon's TorchNeuron lets PyTorch code run on AWS Trainium chips (19 out. 2026)