AI Tak Cuma Butuh GPU, Sandisk Dorong NAND Jadi Memori AI

Perlombaan infrastruktur kecerdasan buatan (AI) tak lagi hanya mengandalkan GPU. Sandisk mendorong teknologi High Bandwidth Flash (HBF) berbasis NAND sebagai lapisan memori baru untuk menangani kebutuhan AI inference yang semakin besar.

Sandisk membawa HBF bersama BiCS10 NAND dan enterprise SSD dalam Future of Memory and Storage (FMS) 2026 di Santa Clara, California, 4-6 Agustus 2026. Perusahaan menilai model AI yang semakin besar, context window panjang, serta perkembangan agentic AI terus meningkatkan kebutuhan kapasitas memori, bandwidth, dan efisiensi daya.

“Infrastruktur AI kini telah memasuki fase baru di mana kemampuan untuk menyimpan, memindahkan, dan mengakses data secara efisien menjadi sama pentingnya dengan kemampuan komputasi,” kata Khurram Ismail, Chief Product Officer Sandisk.

HBF Sandisk Tawarkan Kapasitas hingga 16 Kali HBM

Sandisk mengembangkan HBF dari teknologi NAND untuk mengatasi masalah memory wall, yakni ketimpangan antara peningkatan kemampuan komputasi GPU dan kemampuan sistem memasok data ke prosesor tersebut.

Menurut Sandisk, HBF dapat menawarkan kapasitas sekitar 8 hingga 16 kali lebih besar dibanding High Bandwidth Memory (HBM), sekaligus mengejar bandwidth baca yang setara pada tingkat biaya serupa. HBM sendiri menjadi komponen penting pada akselerator AI karena menyediakan bandwidth memori sangat tinggi.

Sandisk juga menyebut satu stack HBF 16-die dapat membawa kapasitas hingga 512 GB. Perusahaan mengandalkan arsitektur BiCS NAND dan teknologi CBA (CMOS directly Bonded to Array) untuk mengejar kapasitas serta bandwidth tersebut.

Namun, angka performa HBF masih memerlukan pembuktian melalui perangkat komersial. Dalam simulasi internal menggunakan Llama 3.1 405B, Sandisk mencatat selisih performa sekitar 2,2 persen dari HBM hipotetis berkapasitas tak terbatas ketika sistem membaca bobot model. Sandisk sendiri mencantumkan bahwa angka tersebut berasal dari simulasi internal.

NAND Mulai Masuk ke Hierarki Memori AI

HBF menunjukkan perubahan peran NAND dalam infrastruktur AI. NAND selama ini identik dengan SSD dan penyimpanan data, tetapi Sandisk ingin membawanya lebih dekat ke jalur kerja accelerator saat menjalankan AI inference.

Kebutuhan tersebut semakin relevan ketika aplikasi AI memakai context lebih panjang dan menghasilkan KV cache dalam jumlah besar. NVIDIA Dynamo, misalnya, mendukung hierarki KV cache yang mencakup memori GPU, RAM host, SSD lokal hingga storage jarak jauh. Pendekatan ini membantu sistem mempertahankan konteks lebih besar tanpa memenuhi seluruh kapasitas memori GPU.

Karena itu, HBF tidak serta-merta menggantikan HBM. Sandisk justru menempatkannya sebagai lapisan memori berkapasitas besar yang dapat melengkapi HBM, terutama ketika workload inference membutuhkan lebih banyak ruang daripada yang ekonomis untuk HBM.

Sandisk dan SK hynix Dorong Standar HBF

Sandisk juga menggandeng SK hynix untuk memperluas ekosistem HBF. Pada Februari 2026, kedua perusahaan membentuk workstream di bawah Open Compute Project (OCP) untuk menyusun standardisasi HBF bagi industri AI.

Sandisk sebelumnya menargetkan sampel HBF pertama hadir pada paruh kedua 2026, kemudian sampel perangkat AI inference berbasis HBF menyusul pada awal 2027. Hingga kini, perusahaan masih menempatkan HBF sebagai teknologi generasi berikutnya, bukan produk memori yang sudah tersedia luas.

Langkah Sandisk menunjukkan bahwa peningkatan performa AI tidak cukup hanya dengan menambah GPU. Ketika model dan konteks terus membesar, kapasitas serta kecepatan memindahkan data menuju GPU juga akan menentukan seberapa jauh sistem AI dapat berkembang.