Nvidia, telefonlar, küçük cihazlar ve robotlarda çalışması için geliştirdiği açık yapay zeka modeli Nemotron 3.5 Bolt E4B’yi kullanıma sundu. Yaklaşık 4 GB bellek alanına göre tasarlanan model, internet bağlantısı olmadan sohbet edebiliyor ve uygulama araçlarını kullanarak çok aşamalı görevleri yerine getirebiliyor.
4 GB bellek hedefiyle geliştirildi
Nvidia’nın yeni modeli, hızlı ve düşük kaynak tüketimli asistanlar geliştirmek isteyenlere yönelik. Google’ın Gemma 4 E4B modelini temel alan sistem, Nvidia’nın ek eğitim çalışmalarıyla doğal dilde sohbet etmenin yanı sıra birden fazla adımdan oluşan görevleri tamamlayabilecek şekilde geliştirildi.
Nemotron 3.5 Bolt E4B, hedeflenen kullanım senaryolarında yaklaşık 4 GB belleğe sığacak biçimde tasarlandı. Böylece cihaz belleğinin tamamını modele ayırmadan uygulamalar ve aynı işlem hattındaki diğer modeller için de alan bırakılması amaçlanıyor. Nvidia’nın açıklamasına göre model, önceki Nano 4B’ye kıyasla temel sohbet ve araç kullanımı testlerinde ortalama yaklaşık yüzde 40 daha yüksek kalite sağlıyor. Karşılaştırmaya alınan diğer açık modellerin ortalama puanlarını da yaklaşık yüzde 10 aştığı belirtiliyor.
Model, benzer görevleri yerine getirirken daha az çıktı üretmesiyle de öne çıkıyor. Nvidia’nın değerlendirmelerinde, akıl yürütmenin kullanıldığı karşılaştırmalarda diğer modellere göre yüzde 80’e kadar daha az token kullandığı aktarılıyor. Daha az metin üretimi hesaplama yükünü ve maliyeti azaltırken yanıt sürelerini de kısaltabiliyor.
Yerel kullanım: telefonlardan robotlara
Nvidia, yapay zeka özelliklerinin bulut hizmetlerine bağımlılık azalarak doğrudan cihazlarda çalıştırılmasını hedefliyor. Model; bilgisayar, mobil cihaz, ev sistemi ve araç içi asistanların yanı sıra oyun karakterleri, robotik sistemler ve endüstriyel otomasyon uygulamalarında da kullanılabiliyor.
Desteklenen platformlar arasında Nvidia GeForce RTX, Jetson, RTX Spark ve DGX Spark yer alıyor. Cihaz üzerinde çalışma, internet erişiminin olmadığı ortamlarda da modelin kullanılabilmesini sağlıyor. Verilerin harici sunuculara gönderilmesi ihtiyacını azaltması da gizlilik bakımından avantaj sunabiliyor.
Nvidia’nın gösteriminde Reachy Mini adlı küçük insansı robot, 8 GB belleğe sahip Jetson Orin Nano üzerinde Nemotron 3.5 Bolt E4B ile çalışıyor. Model, robotun animasyon kütüphanesindeki komut dosyalarını çağırarak hareket etmesini ve kullanıcılarla sesli iletişim kurmasını sağlıyor. Görsel çevre algısı içinse Cosmos 3 Edge modelinden yararlanılıyor; robot çevresinden gelen görüntüleri yorumlayıp uygun eylemleri gerçekleştirebiliyor ve sesli yanıt verebiliyor.
Bir başka örnekte model, Minecraft’taki demirci tüccar karakterini yönetiyor. Karakter, eşya ödemesinin doğru yapıldığını kontrol ettikten sonra araçları çağırıyor; üretim tariflerini inceliyor, malzemeleri topluyor, eşyayı hazırlıyor ve kullanıcıya teslim ediyor. Örnek, modelin sohbetin ötesinde araçlardan yararlanarak çok aşamalı iş akışlarını tamamlayabildiğini gösteriyor.
64 bin token bağlam ve 35 dil desteği
Nemotron 3.5 Bolt E4B, farklı uygulamalara uyarlanması için çeşitli yapılandırma seçenekleri sunuyor. Bir konuşma sırasında uygulama API’lerini çağırabiliyor ve birden fazla konuşma turuna yayılan işlemlerde araç kullanımını destekliyor. Nvidia, eş zamansız araç çağrıları için entegrasyon yönergeleri de sağlıyor.
Konuşma modu etkinleştirildiğinde daha kısa, sesli iletişime uygun yanıtlar vermesi teşvik ediliyor. Karmaşık isteklerde akıl yürütme özelliği açılabiliyor; daha hızlı yanıt gereken durumlarda kapatılabiliyor. Geliştiriciler gecikme hedeflerine göre akıl yürütme sürecini sınırlandırabiliyor.
Modelin 64 bin tokenlık bağlam penceresi; konuşma geçmişi, talimatlar, araç tanımları, erişilen bilgiler ve uygulama durumunun aynı bağlamda tutulmasına olanak veriyor. Nvidia, modelin 35 dili desteklediğini belirtiyor. Temel alınan sistemin eğitiminde ise 140’tan fazla dilden yararlanılmış.
Geliştiriciler için erişim seçenekleri
Nvidia, modeli geliştiricilerin farklı çalışma ortamlarında deneyebilmesi için Hugging Face, Ollama, LM Studio, Unsloth, Canonical, Jetson AI Lab ve NVIDIA In-Game Inferencing SDK üzerinden erişime açtı.
Şirket ayrıca uygulama entegrasyonu ve istem hazırlama yönergelerini, model kartını, dağıtım örneklerini ve eğitim tariflerini paylaşıyor. Bu materyaller, geliştiricilerin modeli kendi donanım ve uygulamalarına göre yapılandırmasına yardımcı oluyor.
