Microsoft, tek bir bilgisayarın belleğine sığmayan yapay zekâ modellerini birden fazla Windows 11 bilgisayarında çalıştırmaya yönelik USB4 üzerinden RDMA desteğini duyurdu. USB4 kablosuyla bağlanan uyumlu bilgisayarlar, modeli parçalara ayıran yazılımlar aracılığıyla bellek ve grafik işlem gücünü ortak kullanabilecek. Özelliğin genel kullanıma sunulacağı tarih henüz açıklanmadı; ilk denemeler Windows Insider programının Experimental kanalındaki Future Platforms yapısında yapılacak.
RDMA, bilgisayarlar arasındaki veri aktarım gecikmesini düşürüyor
Model farklı bilgisayarlara bölündüğünde makineler, her metin birimi üretilirken ara sonuçları birbirine iletiyor. Bu işleyişte aktarımın gecikmesi, bağlantının saniyede taşıdığı veri miktarı kadar önem taşıyor. Microsoft’un uyguladığı RDMA yöntemi, veri alışverişini Windows’un NetworkDirect arayüzü üzerinden yürütüyor.
Microsoft’un iki bilgisayarla yaptığı ölçümlerde küçük mesajların gidiş dönüş süresi 28 ile 50 mikrosaniye arasında kaldı. Şirket, bu gecikmenin aynı USB4 bağlantısı üzerinden UDP kullanan Ethernet denemesindeki değerin yaklaşık dörtte biri olduğunu belirtiyor. Bu sonuçlar bağlantı performansını ölçüyor; her modelin aynı oranda daha hızlı çalışacağı anlamına gelmiyor.
Örnek uygulama llama.cpp üzerinde hazırlandı
Microsoft’un açık kaynaklı llama.cpp tabanlı örnek uygulaması, ara sonuçları TCP yerine NetworkDirect üzerinden gönderiyor ve tek bir modelin iş yükünü birden çok bilgisayara dağıtıyor. Bu özelliği kullanabilmek için uygulamanın model çalıştırma yazılımının da destek sunması gerekiyor.
Önizleme düzeninde birden fazla bilgisayar kullanıldığında her bilgisayar çifti doğrudan USB4 kablosuyla bağlanacak. Üç bilgisayarlı bir kurulum için toplam üç kablo ve her bilgisayarda iki uygun bağlantı noktası gerekiyor.
Microsoft’un önerdiği bağlantı ve donanım koşulları
Şirket, en iyi sonuçlar için saniyede 40 gigabit veya daha hızlı USB4 bağlantısı ile yeterli birleşik bellek ve grafik işlem kapasitesi öneriyor. Şimdiye kadarki denemelerde belirli AMD Ryzen AI Max bilgisayarları üçlü, Thunderbolt 4 bağlantılı Intel Core Ultra Series 3 bilgisayarları ise dörtlü gruplar hâlinde bir araya getirildi.
Uyumlu bağlantı noktaları bilgisayarlar arasında veri yolunu sağlıyor. Çalıştırılabilecek modelin boyutunu ise toplam bellek miktarı, modelin bilgisayarlara nasıl bölündüğü ve uygulamanın ihtiyaçları birlikte belirliyor. Microsoft, Insider sürümü hazır olduğunda gerekli Windows yapı numarasını duyurusuna ekleyecek.