Ark Invest: Kondisi dan Masa Depan Infrastruktur AI

Sumber: Frank Downing, Ark Invest; diterjemahkan oleh Jincai Finance Claw

Pengeluaran infrastruktur AI tumbuh secara eksplosif

Sejak peluncuran ChatGPT tiga tahun lalu, permintaan untuk komputasi akselerasi telah meningkat secara eksplosif. Pendapatan tahunan Nvidia meroket hampir 8 kali lipat, dari 27 miliar dolar AS pada tahun 2022 menjadi 216 miliar dolar AS pada tahun 2025, dan pasar secara luas memperkirakan pertumbuhan lagi sebesar 62% pada tahun 2026, mencapai 350 miliar dolar AS. Investasi sistem pusat data global (termasuk perangkat keras komputasi, jaringan, dan penyimpanan) telah meningkat dari rata-rata tahunan 5% selama sepuluh tahun hingga 30% selama tiga tahun terakhir, dan diperkirakan akan tumbuh lebih dari 30% lagi pada tahun 2026, mencapai 653 miliar dolar AS.

Penelitian ARK menunjukkan bahwa komputasi akselerasi yang didorong oleh GPU dan sirkuit terpadu khusus AI (ASIC) kini telah mendominasi investasi server, menyumbang 86% dari penjualan server komputasi.

Penurunan biaya mendorong adopsi akselerasi

Motivasi yang mendorong peningkatan berkelanjutan dalam pengeluaran infrastruktur komputasi akselerasi yang diperlukan untuk menjalankan model AI berasal dari perexpansion penggunaan AI generatif di sisi konsumen dan perusahaan, serta kebutuhan untuk melatih model dasar yang lebih cerdas dalam mengejar “superintelligence.”

Penurunan cepat biaya semakin mempercepat pertumbuhan permintaan. Menurut penelitian kami, biaya pelatihan AI turun 75% setiap tahun. Biaya inferensi turun lebih cepat—dalam pengujian yang dilacak oleh Artificial Analysis, model dengan skor di atas 50% memiliki penurunan biaya tahunan median hingga 95%.

Dua kekuatan bersama-sama mendorong penurunan biaya yang besar: pertama, pemimpin industri yang diwakili oleh Nvidia meluncurkan produk baru setiap tahun, membawa peningkatan kinerja perangkat keras dari generasi ke generasi; kedua, perbaikan algoritma di lapisan perangkat lunak terus meningkatkan efisiensi pelatihan dan inferensi pada perangkat keras yang sama.

Konsumen dan perusahaan memberikan sinyal permintaan yang kuat

Kecepatan adopsi AI oleh konsumen jelas lebih cepat daripada kecepatan adopsi internet di tahun-tahun sebelumnya. Tingkat adopsi AI telah meluas hingga sekitar 20% dalam tiga tahun, lebih dari dua kali lipat kecepatan peralihan konsumen ke internet.

Permintaan perusahaan juga meningkat dengan kecepatan yang mengesankan. Menggunakan data dari OpenRouter, sejak Desember 2024, permintaan token meningkat 28 kali lipat.

Dalam dua tahun terakhir, laboratorium AI yang paling diminati oleh pelanggan perusahaan, Anthropic, telah mencapai pertumbuhan pendapatan yang luar biasa sekitar 100 kali lipat—dari pendapatan operasional tahunan sebesar 100 juta dolar AS pada akhir 2023, meningkat menjadi perkiraan 8 hingga 10 miliar dolar AS pada akhir 2025. Momentum pertumbuhan Anthropic masih berlanjut pada tahun 2026, dengan pengumuman pada bulan Februari tahun ini bahwa pendapatan tahunan mencapai 14 miliar dolar AS, dan telah menyelesaikan putaran pendanaan sebesar 30 miliar dolar AS, dengan valuasi mencapai 380 miliar dolar AS.

OpenAI, yang bersaing di kedua lini front dengan konsumen dan perusahaan, juga mencatat pertumbuhan yang kuat, dengan 1 juta pelanggan perusahaan pada bulan November 2025. Menurut CFO Sarah Friar, laju pertumbuhan pendapatan perusahaan OpenAI lebih cepat daripada bisnis konsumen, diperkirakan akan menyumbang 50% dari total pendapatan perusahaan pada tahun 2026. Friar juga menjelaskan alasan untuk investasi lebih lanjut dalam infrastruktur dalam sebuah blog pada bulan Januari 2026: selama tiga tahun terakhir, pendapatan OpenAI meningkat sebanding dengan kapasitas komputasinya.

Pasar swasta menyediakan dana untuk pembangunan AI

Untuk memenuhi sinyal permintaan yang kuat, investasi infrastruktur berskala besar telah menjadi suatu keharusan. Menurut data dari Crunchbase, pembiayaan laboratorium AI swasta diperkirakan akan melebihi 200 miliar dolar AS pada tahun 2025, dengan sekitar 80 miliar dolar AS mengalir ke pengembang model dasar seperti OpenAI, Anthropic, dan xAI. Di pasar publik, perusahaan cloud berskala besar sedang menggunakan cadangan kas mereka dan mencari cara pembiayaan lain untuk mendukung rencana belanja modal AI mereka—pengeluaran tersebut pada tahun 2026 bisa mencapai 700 miliar dolar AS.

Menurut laporan, transaksi 30 miliar dolar AS antara Meta dan Blue Owl adalah transaksi modal swasta terbesar dalam sejarah. Transaksi ini dibangun dalam bentuk usaha patungan, sebagian besar didanai melalui utang, dan struktur kendaraan tujuan khusus (SPV) akan membuat utang proyek tidak tercermin dalam neraca Meta, langkah ini telah memicu kontroversi yang cukup besar.

AMD dan perusahaan lain menjadi tantangan kuat bagi Nvidia

Di luar pusat data fisik, chip komputasi telah menjadi inti dari pengeluaran modal AI. Nvidia selalu berada di garis depan era komputasi akselerasi, tetapi kini pembeli chip AI terbesar berusaha meningkatkan daya komputasi AI yang diperoleh dari setiap dolar yang diinvestasikan. Sejak akuisisi ATI Technologies pada tahun 2006, Advanced Micro Devices (AMD) telah bersaing dengan Nvidia di pasar konsumen untuk menjual GPU, dan sekarang juga menjadi pesaing baru di pasar perusahaan. Sejak meluncurkan prosesor seri EPYC pada tahun 2017, pangsa pasar CPU server AMD telah meningkat dari hampir nol pada tahun 2017 menjadi 40% pada tahun 2025.

Dalam hal inferensi model kecil, GPU AMD telah setara dengan Nvidia dalam total biaya kepemilikan (TCO) relatif terhadap kinerja. TCO mempertimbangkan biaya pembelian chip di muka (belanja modal) dan biaya operasional chip selama masa pakainya (belanja operasional). Tolok ukur kinerja menggunakan metrik InferenceMax dari SemiAnalysis, yang mengukur jumlah token yang diproses per GPU per detik saat dioptimalkan untuk throughput, sementara tolok ukur biaya menggunakan estimasi belanja modal dan belanja operasional per jam dari SemiAnalysis.

Meskipun AMD telah “mengejar” dalam hal kinerja model kecil, Nvidia masih mempertahankan keunggulan signifikan dalam kinerja model besar, seperti yang ditunjukkan pada gambar di bawah ini.

Solusi rak Nvidia Grace Blackwell menghubungkan 72 GPU Grace Blackwell (GB200) untuk beroperasi seperti GPU raksasa dengan memori bersama. Keterhubungan yang erat antar chip ini memperkuat kemampuan inferensi model besar—model besar memerlukan distribusi bobot model di beberapa GPU, yang membutuhkan bandwidth komunikasi lebih banyak dibandingkan model kecil. Untuk mengejar ketertinggalan sebelum peluncuran Nvidia Vera Rubin, solusi rak AMD direncanakan akan diluncurkan pada paruh kedua tahun 2026. Hingga saat ini, AMD telah memenangkan pesanan dari pelanggan seperti Microsoft, Meta, OpenAI, xAI, dan Oracle.

Perusahaan cloud berskala besar memimpin revolusi chip kustom

Selain pemasok GPU komersial, perusahaan cloud berskala besar dan laboratorium AI juga ingin mengendalikan pengaruh Nvidia dan mengurangi biaya komputasi AI melalui chip yang mereka kembangkan sendiri. Selama lebih dari satu dekade, Google telah merancang sirkuit terpadu khusus AI—Tensor Processing Unit (TPU)—untuk menjalankan model rekomendasi dalam bisnis pencariannya, dan pada generasi TPU v7 terbaru, telah mengoptimalkan kinerjanya untuk AI generatif. SemiAnalysis memperkirakan bahwa Google dapat mengurangi biaya per komputasi sebesar 62% dengan menggunakan TPU yang dikembangkan sendiri untuk menangani beban kerja internal. Anthropic dan Meta menggunakan TPU Google untuk memperluas kemampuan komputasi mereka, yang mungkin membenarkan estimasi 62% tersebut dengan keadaan yang sebenarnya.

Chip Trainium milik Amazon tampaknya menjadi solusi canggih berikutnya. Setelah mengakuisisi Annapurna Labs pada tahun 2015, Amazon menjadi yang pertama mengembangkan chip kustom untuk bisnis cloud-nya, memperluas CPU Graviton berbasis ARM dan unit pemrosesan data Nitro (DPU), untuk mendukung daya komputasi penting AWS. Amazon baru-baru ini mengumumkan bahwa pada tahun 2025, Graviton telah menyuplai lebih dari setengah tambahan daya CPU AWS selama tiga tahun berturut-turut. Selain menggunakan TPU, Anthropic juga menjadikan AWS dan Trainium sebagai platform pelatihan pilihan mereka.

Microsoft baru memasuki bidang chip kustom pada tahun 2023, meluncurkan akselerator AI Maia 100, tetapi saat itu tidak fokus pada AI generatif; produk generasi kedua mereka saat ini sedang diluncurkan, dengan fokus pada skenario inferensi AI.

Broadcom mendominasi pasar layanan chip kustom

Google dan Amazon berfokus pada desain chip frontend (arsitektur dan fungsi), sementara mitra desain backend bertanggung jawab untuk mengubah logika tersebut menjadi chip silikon, mengelola paket canggih, dan berkoordinasi dengan pabrik wafer seperti TSMC. Di tengah tantangan yang dihadapi Intel dalam bisnis wafer-nya, TSMC telah menjadi mitra pilihan untuk sebagian besar proyek chip AI utama, sementara Broadcom telah menjadi mitra desain backend terkemuka untuk TPU Google, MTIA Meta, dan chip kustom OpenAI yang akan diluncurkan pada tahun 2026. Apple selalu melakukan desain penuh untuk chip ponsel dan PC-nya, tetapi dilaporkan juga mungkin sedang bekerja sama dengan Broadcom untuk mengembangkan chip AI. Citigroup memperkirakan bahwa pendapatan AI Broadcom dapat meningkat lima kali lipat dalam dua tahun ke depan, dari 20 miliar dolar AS pada tahun 2025 menjadi 100 miliar dolar AS pada tahun 2027.

Jalur pengembangan Trainium Amazon cukup unik di antara rekan-rekannya—dilaporkan bahwa Trainium 2 bekerja sama dengan Marvell, tetapi kemudian beralih ke Alchip untuk Trainium 3 dan 4 karena kinerja Marvell yang buruk. Amazon dapat mengganti mitra backend, menunjukkan bahwa integrasi vertikal memang membawa risiko tertentu bagi perusahaan seperti Broadcom. Perlu dicatat bahwa Apple dan Tesla bekerja langsung dengan pabrik wafer. Google mungkin juga melakukan hal yang sama pada TPU v8-nya—produk tersebut memiliki dua SKU, satu dirancang bersama Broadcom, sementara yang lainnya dirancang dan dikuasai sendiri oleh Google dengan dukungan MediaTek.

Aktivitas perusahaan rintisan chip semakin meningkat

Penelitian kami menunjukkan bahwa sekelompok perusahaan rintisan yang mencoba paradigma arsitektur baru dapat lebih lanjut menantang posisi pasar perusahaan chip yang ada. Cerebras dikenal dengan mesin wafer-level-nya (chip raksasa sebesar kotak pizza yang terbuat dari satu potong silikon), menawarkan kecepatan pemrosesan token tercepat di pasar, dan dilaporkan berencana untuk meluncurkan produk tahun ini. Perusahaan ini baru-baru ini mengumumkan kerja sama dengan OpenAI untuk meluncurkan model pemrograman cepat Codex Spark, setelah keduanya mencapai perjanjian kerja sama pada bulan Januari tahun ini. Groq juga telah menunjukkan kinerja luar biasa dalam kecepatan pemrosesan token per detik dan baru-baru ini menandatangani perjanjian lisensi kekayaan intelektual non-eksklusif senilai 20 miliar dolar AS dengan Nvidia, yang mencakup 90% karyawan Groq, serta CEO dan salah satu pendiri TPU Jonathan Ross. Ini sebenarnya adalah akuisisi tim dan teknologi Groq, dan struktur transaksi ini semakin populer di pasar akuisisi karena raksasa teknologi ingin menghindari penundaan yang disebabkan oleh tinjauan regulasi. Dalam perkembangan akuisisi lainnya, Intel baru-baru ini beralih untuk menjalin kemitraan dengan SambaNova setelah dilaporkan gagal dalam negosiasi akuisisi. Sejak 2014, Intel telah melakukan empat akuisisi di bidang AI tetapi belum berhasil meluncurkan produk AI yang diterima baik di pasar, catatan ini cukup mengecewakan.

Melihat ke depan: Skala akan mencapai 1,4 triliun dolar AS pada tahun 2030

Menurut penelitian kami, pertumbuhan permintaan yang berkelanjutan dan peningkatan kinerja dalam lima tahun ke depan akan mendorong perkembangan perangkat lunak dan layanan cloud AI, dengan pengeluaran infrastruktur AI diperkirakan akan tumbuh tiga kali lipat dalam lima tahun ke depan—dari 500 miliar dolar AS pada tahun 2025 menjadi hampir 1,5 triliun dolar AS pada tahun 2030.

Prediksi kami didasarkan pada pengamatan historis tentang investasi sistem pusat data relatif terhadap pendapatan perangkat lunak. Pada awal 2010-an, dengan munculnya cloud computing, investasi sistem menyumbang sekitar 50% dari total pengeluaran perangkat lunak global. Pada tahun 2021, over-investasi pasca-pandemi COVID-19 dan optimisasi pelanggan menyebabkan rasio investasi sistem relatif terhadap pengeluaran perangkat lunak turun ke level rendah di atas 20%. Prediksi kami sebesar 1,5 triliun dolar AS mengasumsikan bahwa investasi pada tahun 2030 akan menjadi 20% dari skenario prediksi netral kami untuk pengeluaran perangkat lunak global (yaitu 7 triliun dolar AS pada tahun 2030), rasio ini telah kami jelaskan secara rinci dalam blog tahun lalu. Kami percaya bahwa level 20% sudah cukup mempertimbangkan risiko over-investasi potensial sebelum tahun 2030, serta kemungkinan laju pertumbuhan pendapatan perangkat lunak yang lebih lambat dari skenario prediksi netral—dalam hal terakhir ini, kami percaya bahwa investasi infrastruktur akan terus tumbuh pesat, sama seperti yang terjadi pada awal 2010-an.

Seiring dengan terus meningkatnya permintaan daya komputasi yang didorong oleh AI, kami memperkirakan bahwa proporsi chip kustom dalam pengeluaran komputasi akan terus meningkat—karena waktu dan investasi yang diperlukan untuk merancang chip yang ditargetkan untuk beban kerja tertentu akan semakin menunjukkan keunggulan kinerja per dolar yang signifikan saat skala meningkat. Kami percaya bahwa pada tahun 2030, proporsi ASIC kustom di pasar komputasi dapat melebihi sepertiga.

Secara keseluruhan, penelitian kami menunjukkan bahwa pembangunan infrastruktur yang sedang berlangsung saat ini bukanlah gelembung yang akan segera pecah, melainkan dasar untuk transformasi platform yang luar biasa. ARK memperkirakan bahwa pengeluaran tahunan untuk infrastruktur AI pada tahun 2030 akan mendekati 1,5 triliun dolar AS, pasar ini didorong oleh permintaan yang nyata dan berkelanjutan yang terus meningkat dari konsumen dan perusahaan, serta biaya yang terus menurun yang terus memvalidasi dan melepaskan berbagai skenario penggunaan baru. Kami percaya bahwa perusahaan yang akan menonjol dalam lima tahun ke depan adalah mereka yang mampu merancang chip paling efisien, membangun model yang paling kuat, dan berhasil menerapkan keduanya dalam skala besar.

Seperti yang diungkapkan oleh CEO Nvidia Jensen Huang dalam konferensi telepon laporan kuartal keempat tahun fiskal 2026, agen AI yang benar-benar praktis baru saja mulai diterapkan secara besar-besaran dalam beberapa bulan terakhir. Mereka mengonsumsi token dalam jumlah besar, tetapi kemampuan mereka jauh melebihi produk AI yang biasa digunakan oleh sebagian besar pengguna sebelumnya. Memperluas agen-agen ini ke jutaan perusahaan akan menjadi pekerjaan yang sangat padat komputasi, dan menurut kami, peningkatan produktivitas yang dihasilkan akan sepenuhnya sepadan dengan investasi tersebut.