TorchTPU y TorchNeuron: el impulso de PyTorch más allá de Nvidia CUDA

Puntos clave

• Google publicó TorchTPU como proyecto de código abierto en GitHub. Es una pila nativa de PyTorch para sus Tensor Processing Units (TPU), desarrollada junto con el equipo de PyTorch de Meta.
• Un día antes, Amazon anunció TorchNeuron, un backend nativo de PyTorch con licencia Apache 2.0 para sus chips Trainium2 y Trainium3. Entró en beta pública el 20 de octubre.
• Ambas herramientas se conectan a PrivateUse1, el punto de extensión oficial de PyTorch para hardware nuevo. En la práctica, migrar un modelo puede ser tan sencillo como cambiar el ajuste de dispositivo.
• Ninguna está completa todavía. Amazon enumera operadores pendientes y funciones que no admite, entre ellas las formas dinámicas. Los propios ingenieros de Google han señalado que cambiar el tamaño de las entradas provoca una recompilación.
• La competencia gira tanto en torno al software como al silicio. La ventaja de Nvidia se apoya en gran medida en CUDA, la plataforma de programación sobre la que se construyó buena parte de PyTorch.

Durante casi toda la última década, un desarrollador de IA que escribía un modelo en PyTorch lo escribía, en la práctica, para hardware de Nvidia. Eso empieza a cambiar. En apenas dos días de esta semana, los dos mayores proveedores de nube lanzaron software que permite ejecutar código de PyTorch en sus propios chips de IA con poca o ninguna reescritura. Amazon se adelantó con TorchNeuron para sus chips Trainium. Google le siguió con la publicación en código abierto de TorchTPU para sus Tensor Processing Units. TechCrunch describió ambos lanzamientos como un ataque conjunto al "bastión" de Nvidia entre los desarrolladores de aplicaciones de IA.

Este artículo explicativo aborda qué es un backend de PyTorch, qué lanzó cada empresa, qué pueden y qué no pueden migrar hoy los desarrolladores y por qué la capa de software podría decidir buena parte de la carrera del hardware de IA, más que las especificaciones de los chips.

Primero, ¿qué es PyTorch y por qué importa?

PyTorch es un framework de código abierto para crear y entrenar redes neuronales. Meta (entonces Facebook) lo creó en 2016 y lo cedió a la Linux Foundation en 2022, según TechCrunch. La mayoría de los grandes modelos de lenguaje, generadores de imágenes y sistemas de voz de la investigación actual están definidos en código de PyTorch. Amazon afirma que el 85% de los investigadores y desarrolladores de IA escribe su código en PyTorch. Esa cifra procede del propio anuncio de Amazon y no es un recuento independiente.

El problema es que PyTorch creció sobre GPU de Nvidia. Muchas de sus funciones, pruebas y optimizaciones de rendimiento daban por supuesto CUDA, la plataforma de programación de Nvidia. Nvidia describe CUDA como "la base de la computación en GPU", un conjunto de compiladores, bibliotecas y herramientas de depuración. Un equipo que quería ejecutar PyTorch en otro chip normalmente tenía que usar envoltorios especiales, adaptar su código o aceptar un rendimiento menor.

¿Qué es un "backend", en términos sencillos?

Una imagen útil: PyTorch es el automóvil y el backend es el motor que va debajo. Los desarrolladores conducen con controles conocidos, como capas, tensores, optimizadores y bucles de entrenamiento. El backend convierte esas instrucciones en trabajo que un chip concreto puede ejecutar. Amazon usa una analogía parecida y describe TorchNeuron como una forma de cambiar el motor sin "desarmar el auto".

El mecanismo técnico se llama PrivateUse1. Según la documentación de PyTorch, es una ranura reservada que permite a los fabricantes de hardware registrar un dispositivo nuevo sin modificar los archivos centrales de PyTorch. Un backend que la utiliza registra sus propias versiones de las operaciones básicas de PyTorch. Las operaciones que aún no ha implementado pueden recurrir a la CPU. El dispositivo también puede renombrarse, de modo que el desarrollador escribe device="neuron" o un nombre de dispositivo TPU en lugar de uno genérico.

Las dos herramientas nuevas siguen esta vía. Eso importa porque iniciativas anteriores, como el antiguo proyecto PyTorch/XLA de Google, funcionaban junto a PyTorch y no dentro de él. Los ingenieros de Google resumieron el objetivo de TorchTPU en una entrada de su blog para desarrolladores de abril de 2026 con una frase sencilla: "debe sentirse como PyTorch".

Lo que lanzó Amazon: TorchNeuron

Ingenieros de Amazon explicaron TorchNeuron en el blog oficial de PyTorch. En el caso más simple, el cambio es una sola línea: mover el modelo al dispositivo 'neuron'. El código escrito con torch.accelerator, la interfaz independiente del dispositivo que recomienda PyTorch, funciona sin modificaciones. Un modelo compilado solo necesita indicar una vez el backend del compilador Neuron.

Según esa entrada y la documentación de AWS Neuron, TorchNeuron admite:

• Modo eager, en el que las operaciones se ejecutan de inmediato, para investigación y depuración, además de un modo experimental "adaptive eager" que fusiona operaciones para reducir la sobrecarga;
• torch.compile, que captura un modelo como grafo y lo pasa por el compilador Neuron de Amazon para obtener rendimiento de producción;
• herramientas estándar de entrenamiento distribuido, como DDP, FSDP2, paralelismo de tensores y de pipeline, y DTensor;
• un lenguaje de kernels, NKI, para ajustar a mano las partes más exigentes de un modelo, y una biblioteca de código abierto con kernels listos para usar.

Hugging Face afirma que Trainium es ahora un backend nativo de sus bibliotecas Transformers y Diffusers. Amazon también informa de que envió pull requests al propio PyTorch para eliminar "suposiciones de CUDA codificadas de forma fija". TechCrunch lo describió como una forma de hacer que PyTorch sea más neutral respecto al hardware por defecto.

Lo que lanzó Google: TorchTPU

Google anunció la publicación en código abierto en la PyTorch Conference 2026 mediante una entrada en el blog de Google Cloud. La firmaron Mark Lohmeyer, vicepresidente y director general de infraestructura de IA y computación, y Bill Jia, vicepresidente de ingeniería. El código está en GitHub, en la organización google-pytorch. Google afirma que las cargas de trabajo existentes de PyTorch pueden ejecutarse en TPU "con cambios mínimos de código, usando las API conocidas".

Al igual que TorchNeuron, TorchTPU ofrece un modo eager para depuración y una vía torch.compile para producción. La entrada técnica de Google de abril explicaba que su vía compilada usa XLA, el veterano compilador de TPU de Google, en lugar de Inductor, el compilador predeterminado de PyTorch. También describía tres variantes de eager, entre ellas un modo "fused eager" que, según Google, funcionó entre un 50% y más de un 100% más rápido que su modo estricto de una operación a la vez.

El anuncio de Google se centra en el ecosistema más amplio. Enumera el soporte nativo en los motores de inferencia vLLM y SGLang, la biblioteca de entrenamiento TorchTitan y el framework de orquestación Ray. En Hugging Face Transformers v5, usar una TPU es cuestión del ajuste device_map="tpu". Google también lanzó en versión preliminar un "TPU agent suite" que ayuda a automatizar la incorporación, el diagnóstico y el ajuste. Además, actualizó LiteRT, su entorno de ejecución en el dispositivo, para que los modelos de PyTorch puedan convertirse para teléfonos y portátiles.

Comparación lado a lado

Fuentes: blog de PyTorch (TorchNeuron, actualizado el 20 oct 2026); documentación de AWS Neuron; blog de Google Cloud (TorchTPU, oct 2026); Google Developers Blog (abr 2026). Todas las cifras de rendimiento y pruebas las reportan las empresas y no se han verificado con pruebas independientes.

Qué pueden migrar hoy los desarrolladores y qué no

La promesa de ambas empresas es "sin reescribir". La realidad, según su propia documentación, es "sin reescribir en muchos casos habituales".

Probablemente se migra con poco esfuerzo

• Modelos transformer estándar cargados mediante bibliotecas de Hugging Face, que ambas empresas ya admiten upstream;
• trabajos de entrenamiento basados en TorchTitan o en particionado habitual al estilo FSDP;
• la inferencia de LLM mediante vLLM, que ambas nubes ya admiten;
• código que ya usa las API de PyTorch independientes del dispositivo en lugar de fijar cuda en el código.

Todavía difícil o sin soporte

• Kernels CUDA personalizados. Los kernels de Nvidia escritos a mano no se ejecutan en otros chips. Los equipos deben recurrir a las bibliotecas de kernels del fabricante o reescribirlos en NKI (Amazon) o Pallas (Google).
• Formas dinámicas. Amazon incluye las "formas dinámicas y simbólicas" entre las funciones que TorchNeuron decidió no admitir en su primera versión. Los ingenieros de Google escribieron que los cambios en la longitud de secuencia y el tamaño de lote provocan recompilaciones en TPU, y señalaron un mejor soporte de formas dinámicas como parte de su hoja de ruta.
• Operaciones poco comunes. La lista de funciones no admitidas de Amazon incluye tensores dispersos, NestedTensor, autograd en modo directo y algunos modos de sobremuestreo. En modo eager, una operación sin versión para Neuron se ejecuta en la CPU con una advertencia, lo que puede ralentizar mucho un modelo.
• Herramientas específicas de CUDA. Funciones como CUDA graphs y las operaciones colectivas específicas de NCCL son, por definición, exclusivas de Nvidia.

Además, "funciona" no es lo mismo que "funciona rápido". Ambas empresas subrayan que se necesitan el modo compilado y kernels optimizados para alcanzar velocidad de producción. Las afirmaciones de los clientes varían según la carga de trabajo. El director de tecnología de Deepgram, Adam Sypniewski, dijo en la entrada de Amazon que Trainium procesó alrededor de un 60% más de segundos de audio de entrada por dólar que las referencias con GPU que ya usaba la empresa "en las pruebas que evaluamos". Es la medición de un solo cliente y no debe interpretarse como un resultado general.

Por qué la capa de software importa más que las especificaciones de los chips

Las cifras de rendimiento bruto de un chip son fáciles de publicar y comparar. Los costos de cambio son más difíciles de ver. La inversión real de una empresa está en el código de sus modelos, sus recetas de entrenamiento, sus hábitos de depuración, sus herramientas de monitoreo y los ingenieros que los conocen. La entrada de Amazon en el blog de PyTorch lo dice directamente: el costo de ejecutar IA incluye el tiempo de ingeniería necesario para que las cargas de trabajo funcionen y sigan funcionando a medida que cambian las bibliotecas.

La posición de Nvidia se ha basado en que ese tiempo de ingeniería sea mínimo en su propio hardware. Como señala TechCrunch, muchas funciones de PyTorch se diseñaron para funcionar con GPU de Nvidia porque esos chips ya eran el estándar de la investigación en IA. Un chip rival con mejores especificaciones puede perder igualmente si migrar a él cuesta meses de adaptación.

Los backends nativos atacan ese costo directamente. No tienen que superar a Nvidia en todas las pruebas de rendimiento. Solo tienen que abaratar el cambio lo suficiente como para que el precio, la disponibilidad o la capacidad inclinen la decisión. Para Amazon hay mucho en juego: afirma que su negocio de silicio propio ha superado una tasa anualizada de ingresos de 25.000 millones de dólares. Google, por su parte, ofrece TPU a clientes externos a través de Google Cloud. Meta afirma que TorchTPU le permite desplegar sus propias cargas de trabajo de PyTorch en esos chips.

También hay un cambio más discreto dentro del propio PyTorch. Cada cambio upstream que elimina una suposición oculta de CUDA ayuda a todos los chips que no son de Nvidia, no solo a los de Amazon o Google. La directora de ingeniería de PyTorch en Meta, Jana van Greunen, aparece citada en los anuncios de ambas empresas. En la entrada de Amazon dijo que los desarrolladores "deberían tener una experiencia coherente en todas las plataformas de hardware".

Qué significa

Para los desarrolladores de IA, el efecto práctico es tener más opciones. Los equipos pueden probar con más facilidad el mismo modelo de PyTorch en GPU de Nvidia, Trainium o TPU y comparar costo y velocidad con sus propias cargas de trabajo. La mejor primera prueba es un modelo estándar en una biblioteca compatible, no un código de investigación muy personalizado.

Para Nvidia, esta semana no pone fin a su liderazgo en software. TechCrunch señaló que los desarrolladores no abandonarán automáticamente el hardware de Nvidia. Sus herramientas son maduras y los kernels personalizados escritos para CUDA todavía deben adaptarse a mano. Ni la herramienta de Amazon ni la de Google son aún un sustituto general. Amazon califica su lanzamiento de beta y Google etiqueta partes de su pila como versiones preliminares.

Lo que ha cambiado es la dirección. Dos hiperescaladores tratan ahora a PyTorch, y no a sus propios frameworks propietarios, como la puerta de entrada a sus chips. Ambos afirman además que están aportando correcciones al propio PyTorch. Si esos esfuerzos continúan, la pregunta clave para los equipos de IA podría pasar de "¿funcionará mi código en este chip?" a "¿qué chip ejecuta mi código al menor costo?". Ese cambio presionaría los precios y los márgenes en todo el mercado de hardware de IA. Aún hay varias incógnitas: con qué rapidez se cierran las brechas restantes, cómo se comparan las pruebas independientes y cómo responde Nvidia.

Fuentes

• TechCrunch: Google has joined Amazon in attacking Nvidia's stronghold with AI app developers (20 oct 2026)
• Google Cloud Blog: TorchTPU is now open source: run native PyTorch on TPUs
• Google Developers Blog: TorchTPU: Running PyTorch Natively on TPUs at Google Scale (abr 2026)
• PyTorch Blog: Introducing TorchNeuron: Native PyTorch backend for AWS Trainium
• About Amazon: anuncio de TorchNeuron
• Documentación de AWS Neuron: Native PyTorch (TorchNeuron) overview
• Documentación de PyTorch: Facilitating New Backend Integration by PrivateUse1
• Nvidia Developer: CUDA Zone
• The Next Web: Amazon's TorchNeuron lets PyTorch code run on AWS Trainium chips (19 oct 2026)