AIAIExplainer NO. ---

TorchTPU dan TorchNeuron: dorongan PyTorch melampaui Nvidia CUDA

Google dan Amazon merilis backend PyTorch native untuk cip AI mereka dalam pekan yang sama. Berikut cara kerja backend, apa yang sudah bisa dipindahkan pengembang dari GPU Nvidia, dan mengapa perangkat lunak bisa lebih menentukan daripada spesifikasi cip.

By Rowan Ashby Published 21.10.26 12:31 UTC 8 min read

Foto jarak dekat papan Google Tensor Processing Unit 3.0 beserta cip dan pendinginnya — Zinskauf / Wikimedia Commons / CC BY-SA 4.0 · Source

Poin penting

Google merilis TorchTPU sebagai proyek sumber terbuka di GitHub. Ini adalah tumpukan PyTorch native untuk Tensor Processing Unit (TPU) milik Google, yang dikembangkan bersama tim PyTorch di Meta.
Sehari sebelumnya, Amazon mengumumkan TorchNeuron, backend PyTorch native berlisensi Apache 2.0 untuk cip Trainium2 dan Trainium3. Alat ini memasuki tahap beta publik pada 20 Oktober.
Kedua alat terhubung ke PrivateUse1, titik ekstensi resmi PyTorch untuk perangkat keras baru. Dalam praktiknya, memindahkan model bisa sesederhana mengganti pengaturan perangkat.
Belum ada yang lengkap. Amazon mencantumkan celah operator dan fitur yang tidak didukung, termasuk bentuk dinamis. Para insinyur Google sendiri menyatakan bahwa perubahan ukuran masukan memicu kompilasi ulang.
Persaingan ini menyangkut perangkat lunak sama besarnya dengan silikon. Keunggulan Nvidia sangat bertumpu pada CUDA, platform pemrograman yang menjadi dasar utama pengembangan PyTorch.

Selama hampir satu dekade terakhir, pengembang AI yang menulis model dengan PyTorch pada praktiknya menulisnya untuk perangkat keras Nvidia. Keadaan itu mulai berubah. Dalam rentang dua hari pekan ini, dua penyedia layanan cloud terbesar merilis perangkat lunak yang memungkinkan kode PyTorch berjalan di cip AI buatan mereka sendiri dengan sedikit atau tanpa penulisan ulang. Amazon lebih dulu dengan TorchNeuron untuk cip Trainium. Google menyusul dengan merilis TorchTPU secara sumber terbuka untuk Tensor Processing Unit miliknya. TechCrunch menggambarkan keduanya sebagai serangan bersama terhadap "benteng" Nvidia di kalangan pengembang aplikasi AI.

Artikel penjelas ini membahas apa itu backend PyTorch, apa yang dirilis masing-masing perusahaan, apa yang sudah dan belum bisa dipindahkan pengembang saat ini, serta mengapa lapisan perangkat lunak mungkin lebih menentukan persaingan perangkat keras AI daripada spesifikasi cip.

Pertama, apa itu PyTorch dan mengapa penting?

PyTorch adalah kerangka kerja sumber terbuka untuk membangun dan melatih jaringan saraf. Meta (saat itu Facebook) menciptakannya pada 2016 dan menyerahkannya kepada Linux Foundation pada 2022, menurut TechCrunch. Sebagian besar model bahasa besar, pembuat gambar, dan sistem suara dalam riset saat ini didefinisikan dengan kode PyTorch. Amazon menyebut 85% peneliti dan pengembang AI menulis kode mereka dengan PyTorch. Angka itu berasal dari pengumuman Amazon sendiri dan bukan hasil penghitungan independen.

Masalahnya, PyTorch tumbuh di atas GPU Nvidia. Banyak fitur, pengujian, dan trik kinerjanya mengasumsikan CUDA, platform pemrograman Nvidia. Nvidia menggambarkan CUDA sebagai "fondasi komputasi GPU", yakni seperangkat kompiler, pustaka, dan alat debugging. Tim yang ingin menjalankan PyTorch di cip lain biasanya harus memakai pembungkus khusus, menyesuaikan kodenya, atau menerima kinerja yang lebih lambat.

Apa itu "backend", secara sederhana?

Gambaran yang berguna: PyTorch adalah mobilnya, dan backend adalah mesin di bawahnya. Pengembang mengemudi dengan kendali yang sudah dikenal, seperti lapisan, tensor, pengoptimal, dan perulangan pelatihan. Backend mengubah instruksi tersebut menjadi pekerjaan yang dapat dijalankan oleh cip tertentu. Amazon memakai analogi serupa, dengan menggambarkan TorchNeuron sebagai cara mengganti mesin tanpa "membongkar mobilnya".

Pengait teknisnya adalah mekanisme bernama PrivateUse1. Menurut dokumentasi PyTorch, ini adalah slot cadangan yang memungkinkan produsen perangkat keras mendaftarkan perangkat baru tanpa menyunting berkas inti PyTorch. Backend yang memakainya mendaftarkan versinya sendiri atas operasi dasar PyTorch. Operasi yang belum diimplementasikan dapat dialihkan ke CPU. Nama perangkat juga dapat diubah, sehingga pengembang menulis device="neuron" atau nama perangkat TPU, bukan nama generik.

Kedua alat baru ini menempuh jalur tersebut. Hal itu penting karena upaya sebelumnya, seperti proyek PyTorch/XLA milik Google yang lebih lama, berada di samping PyTorch, bukan di dalamnya. Para insinyur Google merumuskan tujuan TorchTPU dalam unggahan blog pengembang pada April 2026 dengan ungkapan sederhana: "rasanya harus seperti PyTorch".

Yang dirilis Amazon: TorchNeuron

Insinyur Amazon menjelaskan TorchNeuron di blog resmi PyTorch. Dalam kasus paling sederhana, perubahannya hanya satu baris: memindahkan model ke perangkat 'neuron'. Kode yang ditulis dengan torch.accelerator, antarmuka netral-perangkat yang direkomendasikan PyTorch, berjalan tanpa perubahan. Model yang dikompilasi cukup menyebut backend kompiler Neuron satu kali.

Menurut unggahan tersebut dan dokumentasi AWS Neuron, TorchNeuron mendukung:

Mode eager, yaitu operasi dijalankan seketika, untuk riset dan debugging, ditambah mode eksperimental "adaptive eager" yang menggabungkan operasi untuk memangkas beban tambahan;
torch.compile, yang menangkap model sebagai graf dan meneruskannya ke kompiler Neuron milik Amazon untuk kinerja produksi;
alat pelatihan terdistribusi standar, termasuk DDP, FSDP2, paralelisme tensor dan pipeline, serta DTensor;
bahasa kernel NKI untuk menyetel secara manual bagian model yang paling berat, serta pustaka sumber terbuka berisi kernel siap pakai.

Hugging Face menyatakan Trainium kini menjadi backend native untuk pustaka Transformers dan Diffusers. Amazon juga melaporkan telah mengirimkan pull request ke PyTorch untuk menghapus "asumsi CUDA yang ditanam langsung di kode". TechCrunch menggambarkan langkah ini sebagai upaya membuat PyTorch lebih netral terhadap perangkat keras secara bawaan.

Yang dirilis Google: TorchTPU

Google mengumumkan rilis sumber terbuka itu di PyTorch Conference 2026 melalui unggahan di Google Cloud Blog. Unggahan itu ditulis oleh Mark Lohmeyer, wakil presiden dan manajer umum infrastruktur AI dan komputasi, serta Bill Jia, wakil presiden bidang rekayasa. Kodenya tersedia di GitHub di bawah organisasi google-pytorch. Google menyatakan beban kerja PyTorch yang ada dapat berjalan di TPU "dengan perubahan kode minimal, menggunakan API yang sudah dikenal".

Seperti TorchNeuron, TorchTPU menawarkan mode eager untuk debugging dan jalur torch.compile untuk produksi. Unggahan rekayasa Google pada April menjelaskan bahwa jalur kompilasinya memakai XLA, kompiler TPU lama milik Google, alih-alih kompiler bawaan PyTorch, Inductor. Unggahan itu juga menjelaskan tiga varian eager, termasuk mode "fused eager" yang menurut Google berjalan 50% hingga lebih dari 100% lebih cepat daripada mode ketat satu-operasi.

Pengumuman Google berfokus pada ekosistem yang lebih luas. Google mencantumkan dukungan native di mesin penyaji vLLM dan SGLang, pustaka pelatihan TorchTitan, dan kerangka orkestrasi Ray. Di Hugging Face Transformers v5, menargetkan TPU cukup dengan pengaturan device_map="tpu". Google juga merilis pratinjau "TPU agent suite" yang membantu mengotomatiskan orientasi awal, diagnostik, dan penyetelan. Google memperbarui LiteRT, runtime di perangkatnya, sehingga model PyTorch dapat dikonversi untuk ponsel dan laptop.

Perbandingan berdampingan

Aspek	Amazon TorchNeuron	Google TorchTPU
Cip sasaran	Trainium2, Trainium3	TPU Google (Ironwood/v7x disebut untuk uji skala besar)
Status	Beta publik sejak 20 Okt 2026	Sumber terbuka di GitHub; agent suite dalam pratinjau
Lisensi	Apache 2.0	Tidak disebut dalam pengumuman Google
Jalur integrasi	PyTorch PrivateUse1	PyTorch PrivateUse1
Jalur kompiler	TorchDynamo → StableHLO → kompiler Neuron	TorchDynamo → StableHLO → XLA
Angka utama dari vendor	~154.000 hasil uji upstream pada putaran Agustus 2026; ~69.000 dilewati, ~22.000 di antaranya karena operator belum diturunkan	Hingga 52% pemanfaatan FLOPs model pada Qwen 3 8B, penskalaan hampir linear hingga 8.192 TPU Ironwood

Sumber: blog PyTorch (TorchNeuron, diperbarui 20 Okt 2026); dokumentasi AWS Neuron; Google Cloud Blog (TorchTPU, Okt 2026); Google Developers Blog (Apr 2026). Semua angka kinerja dan pengujian dilaporkan oleh perusahaan dan belum diuji secara independen.

Apa yang bisa dipindahkan pengembang saat ini, dan apa yang belum

Janji kedua perusahaan adalah "tanpa menulis ulang". Kenyataannya, berdasarkan dokumentasi mereka sendiri, adalah "tanpa menulis ulang untuk banyak kasus umum".

Kemungkinan bisa dipindahkan dengan sedikit upaya

Model transformer standar yang dimuat melalui pustaka Hugging Face, yang kini didukung kedua perusahaan di upstream;
pekerjaan pelatihan yang dibangun di atas TorchTitan atau sharding umum bergaya FSDP;
penyajian LLM melalui vLLM, yang kini didukung kedua cloud;
kode yang sudah memakai API PyTorch netral-perangkat alih-alih menuliskan cuda secara langsung.

Masih sulit, atau belum didukung

Kernel CUDA kustom. Kernel Nvidia yang ditulis manual tidak berjalan di cip lain. Tim harus mengandalkan pustaka kernel vendor atau menulis ulang dalam NKI (Amazon) atau Pallas (Google).
Bentuk dinamis. Amazon mencantumkan "bentuk dinamis dan simbolis" di antara fitur yang sengaja tidak didukung TorchNeuron pada rilis pertamanya. Para insinyur Google menulis bahwa perubahan panjang urutan dan ukuran batch memicu kompilasi ulang di TPU, dan mencantumkan dukungan bentuk dinamis yang lebih baik sebagai rencana pengembangan.
Operasi yang jarang dipakai. Daftar fitur yang tidak didukung Amazon mencakup tensor jarang (sparse), NestedTensor, autograd mode maju, dan beberapa mode upsampling. Dalam mode eager, operasi yang belum memiliki versi Neuron dijalankan di CPU disertai peringatan, yang dapat memperlambat model secara drastis.
Perkakas khusus CUDA. Fitur seperti CUDA graphs dan operasi kolektif khusus NCCL, menurut definisinya, hanya untuk Nvidia.

"Berjalan" juga tidak sama dengan "berjalan cepat". Kedua perusahaan menekankan bahwa mode terkompilasi dan kernel yang disetel diperlukan untuk kecepatan setingkat produksi. Klaim pelanggan berbeda-beda menurut beban kerja. Kepala bagian teknologi Deepgram, Adam Sypniewski, menyatakan dalam unggahan Amazon bahwa Trainium memproses sekitar 60% lebih banyak detik audio masukan per dolar dibandingkan acuan GPU yang dipakai perusahaan itu "dalam tolok ukur yang kami evaluasi". Itu adalah pengukuran satu pelanggan dan tidak boleh dibaca sebagai hasil umum.

Mengapa lapisan perangkat lunak lebih penting daripada spesifikasi cip

Angka kinerja mentah cip mudah dipublikasikan dan dibandingkan. Biaya peralihan lebih sulit terlihat. Investasi nyata sebuah perusahaan ada pada kode modelnya, resep pelatihan, kebiasaan debugging, alat pemantauan, dan para insinyur yang menguasainya. Unggahan PyTorch dari Amazon menyampaikan hal ini secara langsung: biaya menjalankan AI mencakup waktu rekayasa yang diperlukan agar beban kerja berfungsi dan tetap berfungsi saat pustaka berubah.

Posisi Nvidia selama ini bertumpu pada upaya membuat waktu rekayasa itu paling kecil di perangkat kerasnya sendiri. Seperti dicatat TechCrunch, banyak fitur PyTorch dibangun untuk bekerja dengan GPU Nvidia karena cip itu sudah menjadi standar riset AI. Cip pesaing dengan spesifikasi lebih baik tetap bisa kalah bila perpindahan ke sana memakan waktu berbulan-bulan untuk porting.

Backend native menyerang biaya itu secara langsung. Backend tersebut tidak harus mengalahkan Nvidia di setiap tolok ukur. Cukup membuat peralihan menjadi murah sehingga harga, ketersediaan, atau kapasitas bisa menentukan keputusan. Bagi Amazon, taruhannya besar: perusahaan itu menyebut bisnis silikon kustomnya telah melampaui laju pendapatan tahunan (annual revenue run rate) sebesar $25 miliar. Google, di sisi lain, menawarkan TPU kepada pelanggan luar melalui Google Cloud. Meta menyatakan TorchTPU memungkinkannya menjalankan beban kerja PyTorch miliknya di cip tersebut.

Ada pula pergeseran yang lebih senyap di dalam PyTorch sendiri. Setiap perubahan upstream yang menghapus asumsi CUDA tersembunyi membantu semua cip non-Nvidia, bukan hanya milik Amazon atau Google. Direktur rekayasa PyTorch di Meta, Jana van Greunen, dikutip dalam pengumuman kedua perusahaan. Dalam unggahan Amazon, ia menyatakan bahwa pengembang "seharusnya mendapatkan pengalaman yang konsisten di berbagai platform perangkat keras".

Apa artinya

Bagi pengembang AI, dampak praktisnya adalah lebih banyak pilihan. Tim kini lebih mudah mencoba model PyTorch yang sama di GPU Nvidia, Trainium, atau TPU dan membandingkan biaya serta kecepatannya pada beban kerja mereka sendiri. Uji pertama yang paling tepat adalah model standar pada pustaka yang didukung, bukan basis kode riset yang sangat dikustomisasi.

Bagi Nvidia, pekan ini tidak mengakhiri keunggulan perangkat lunaknya. TechCrunch mencatat bahwa pengembang tidak akan otomatis meninggalkan perangkat keras Nvidia. Perkakas Nvidia sudah matang, dan kernel kustom yang ditulis untuk CUDA masih harus di-porting secara manual. Belum ada alat dari Amazon maupun Google yang menjadi pengganti umum. Amazon menyebut rilisnya sebagai beta, dan Google melabeli sebagian tumpukannya sebagai pratinjau.

Yang berubah adalah arahnya. Dua hyperscaler kini menjadikan PyTorch, bukan kerangka kerja proprietary mereka sendiri, sebagai pintu masuk ke cip mereka. Keduanya juga menyatakan menyumbangkan perbaikan kembali ke PyTorch. Bila upaya itu berlanjut, pertanyaan utama bagi tim AI dapat bergeser dari "apakah kode saya berjalan di cip ini?" menjadi "cip mana yang menjalankan kode saya dengan biaya termurah?" Pergeseran itu akan menekan harga dan margin di seluruh pasar perangkat keras AI. Beberapa hal masih belum diketahui: seberapa cepat celah yang tersisa tertutup, bagaimana perbandingan tolok ukur independen, dan bagaimana Nvidia menanggapinya.

Pertanyaan umum

Apa itu backend PyTorch?

Backend adalah lapisan yang mengubah operasi PyTorch menjadi pekerjaan yang dapat dijalankan oleh cip tertentu. TorchTPU dan TorchNeuron mendaftarkan TPU Google dan AWS Trainium melalui PrivateUse1, titik ekstensi resmi PyTorch untuk perangkat keras baru, sehingga pengembang dapat menargetkannya cukup dengan pengaturan perangkat.

Apakah semua model PyTorch bisa dijalankan di TPU atau Trainium tanpa perubahan?

Banyak model standar, terutama yang dimuat melalui pustaka Hugging Face atau dilatih dengan TorchTitan, dapat dipindahkan dengan perubahan minimal. Kernel CUDA kustom, bentuk masukan dinamis, dan sejumlah operasi yang jarang dipakai masih belum didukung atau terbatas, menurut dokumentasi kedua perusahaan.

Apakah TorchNeuron bersifat sumber terbuka?

Ya. Amazon merilis TorchNeuron di GitHub (aws-neuron/torch-neuronx) dengan lisensi Apache 2.0, dan alat ini memasuki tahap beta publik pada 20 Oktober 2026 untuk Trainium2 dan Trainium3.

Apakah ini mengakhiri keunggulan CUDA milik Nvidia?

Belum. Kedua alat masih baru, sebagian berlabel beta atau pratinjau, dan perangkat lunak Nvidia sudah matang. Rilis ini menurunkan biaya peralihan sehingga tim lebih mudah membandingkan cip berdasarkan harga dan kinerja.