Liquid AI, yaklaşık 2 milyar parametre sınıfında konumlanan altı modelden oluşan LFM3 ailesini kullanıma sundu. Metin, görüntü, ses ve çoklu ortam görevleri için hazırlanan modeller, yapay zekâyı cihaz üzerinde çalıştırmaya yönelik seçenekler sunuyor. Ailenin ortak temelini 1,7 milyar parametreli LFM3-1.7B-Base modeli oluşturuyor. Şirket, temel ve sonradan eğitilmiş modellerin ağırlıklarını indirilebilir olarak paylaşıyor.
LFM3 ailesindeki modeller farklı girdilere odaklanıyor
Altı modelin dördü farklı girdi türlerini işliyor: Metin modeli yazılı görevler, görsel model görüntü ve video, ses modeli konuşma üzerinde çalışıyor. Çoklu ortam modeli ise bu girdi türlerini bir arada ele alıyor. Kalan iki model, görsel ve çoklu ortam modellerinden türetilerek karar görevlerine yöneliyor.
Bu yapı, her kullanım için en büyük modeli çalıştırmak yerine göreve uygun seçeneğe yönelmeyi mümkün kılıyor. Örneğin ses kayıtlarını çözümlenen bir uygulamanın görsel görevleri de desteklemesi gerekmeyebilir. Daha küçük veya uzmanlaşmış bir model seçmek, cihazın belleği ile işlem kapasitesinin kullanımını etkileyebilir; elde edilecek sonuç kullanılan donanıma ve uygulamaya göre değişir.
Mimari ve eğitim sürecinin ayrıntıları
Liquid AI, LFM3 mimarisinde kısa evrişim, kayan pencere dikkati ve genel dikkat katmanlarını bir araya getiriyor. Temel model, 22 trilyon metin birimiyle ön eğitimden geçiriliyor. Son eğitim aşamasında uzun içerikleri işleme ve araç kullanma görevlerine ağırlık veriliyor. Metin modelinin bağlam penceresi 256 bin metin birimine kadar uzanıyor.
Bağlam penceresi, modelin tek bir istekte değerlendirebildiği içerik miktarını ifade ediyor. Ancak geniş bir bağlam sınırı, aynı metnin her telefonda aynı hızda işleneceği anlamına gelmiyor. Model ağırlıkları, çalışma belleği ve yazılım da performansı etkilediğinden parametre sayısı tek başına cihaz uyumluluğunu belirlemiyor.
Yerel çalıştırma ve kullanım koşulları
NVIDIA’nın destek açıklamasına göre LFM3 modelleri RTX Spark üzerinde llama.cpp ve vLLM aracılığıyla yerel olarak çalıştırılabiliyor. Liquid AI; gelen kutusu düzenleme, takvim yönetimi, belge okuma ve ses çözümleme gibi kullanım alanlarını örnek gösteriyor. Geliştiriciler ayrıca yerel ince ayar desteğiyle modelleri belirli görevlere uyarlayabiliyor.
İndirilebilir model ağırlıkları, yazılımın tamamının açık kaynak olduğu anlamına gelmiyor. Bu nedenle geliştiricilerin seçtikleri modelin kullanım koşullarını ve model kartını incelemesi gerekiyor. Liquid AI’ın yayımladığı hız ve başarı karşılaştırmaları şirketin kendi testlerine dayanıyor; bunlar her cihazı kapsayan bağımsız performans testleri değil.
