Groq’un yeni nesil LPU çiplerinde bellek kapasitesini artırmak için dikey yığınlanmış DRAM kullanmayı değerlendirdiği bildiriliyor. Sektör kaynaklarına dayandırılan bilgilere göre tasarımda, birden fazla DRAM katmanı silikon içi bağlantılarla bir araya getirilebilir.
Mevcut LPU’larda 500 MB SRAM bulunuyor
Groq’un mevcut nesil LPU’ları 500 MB SRAM ve saniyede 150 TB bant genişliği sunuyor. 256 çipten oluşan bir yapılandırmada toplam SRAM kapasitesi 128 GB’a, ölçeklenebilir bant genişliği ise 640 TB/s düzeyine ulaşıyor. Her LPU için belirtilen FP8 hesaplama performansı 1,20 PFLOPS.
Şirketin yeni tasarımında farklı bir bellek yaklaşımına yönelmesi bekleniyor. SRAM yüksek hız ve düşük gecikme sağlasa da kapasite bakımından sınırlı. DRAM daha yüksek bellek yoğunluğu sunabiliyor; ancak bant genişliği ve gecikme konusunda bazı ödünler gerektiriyor.
DRAM katmanları dikey olarak birleştirilebilir
Sektör kaynaklarına göre Groq, yeni çiplerinde birden fazla DRAM katmanını dikey biçimde üst üste yerleştiren 3D yığınlama teknolojisini kullanmayı planlıyor. Katmanların TSV (Through-Silicon Via) adı verilen silikon içi bağlantılarla bağlanması öngörülüyor. Benzer bir yöntem, günümüzde yüksek bant genişlikli HBM belleklerde de kullanılıyor.
Büyüyen yapay zeka modelleri bellek ihtiyacını artırıyor
3D yığınlanmış DRAM, daha fazla belleğin daha küçük bir fiziksel alana sığdırılmasını sağlayabiliyor. Bu yaklaşımın geleneksel bellek paketlerine kıyasla alan kullanımını ve enerji verimliliğini iyileştirme potansiyeli bulunuyor. Groq’un yeni nesilde yalnızca hıza değil, bellek kapasitesine de öncelik vermesinin yapay zeka modellerinin büyümesiyle bağlantılı olduğu aktarılıyor.
Yeni nesil Groq çiplerinin piyasaya çıkış tarihi henüz belli değil. DRAM ve SRAM’in aynı tasarımda birlikte kullanılıp kullanılmayacağı da netleşmiş değil; şirketin iki bellek türünü ayrı ürünlerde sunması ihtimali de bulunuyor.
