Inception, diffusion tabanlı yeni dil modeli Mercury 3’ü duyurdu. Şirket, modelin Mercury 1’den 40 kattan fazla büyük olmasına karşın saniyede 1.000’in üzerinde token üretebildiğini belirtiyor. Mercury 3 ayrıca 1 milyon tokenlık bağlam penceresi sunuyor.
Diffusion yaklaşımıyla paralel metin üretimi
Geleneksel büyük dil modelleri metni küçük parçalara, yani tokenlara bölerek yanıtı genellikle sırayla oluşturuyor. Diffusion tabanlı modeller ise metnin birden fazla bölümünü aynı anda üretip aşamalı biçimde geliştiriyor. Bu yöntem, özellikle uzun yanıtların daha hızlı hazırlanmasını sağlayabiliyor.
Inception, Mercury 3 ile bu yaklaşımın daha büyük ve yetenekli modellerde de verimli kullanılabileceğini göstermeyi amaçlıyor. Şirket, Mercury 3’ün önceki Mercury 1 modelinden 40 kattan fazla büyük olduğunu ve buna rağmen saniyede 1.000’in üzerinde token üretim hızını koruduğunu ifade ediyor. Bu performans iddiasının bağımsız testlerle doğrulanıp doğrulanmadığı ise henüz belli değil.
Bağlam penceresi 1 milyon token
Mercury 3’ün bağlam penceresi 1 milyon token kapasitesinde. Bu, Inception’ın bir önceki modeli Mercury 2.5’in 260 bin tokenlık kapasitesine kıyasla önemli bir artış anlamına geliyor.
Inception, modeli yanıt hızının kullanıcı deneyimini doğrudan etkilediği alanlarda kullanmayı planlıyor. Etkileşimli eğitim uygulamaları, canlı çeviri araçları, yazma asistanları ve otomatik yazılım ajanları hedeflenen kullanım alanları arasında yer alıyor. Şirket, Mercury 3’ün bazı müşteriler tarafından gerçek iş akışlarında test edildiğini de bildiriyor.
