Microsoft, Bing'in arama altyapısında büyük dil modelleri (LLM'ler), küçük dil modelleri (SLM'ler) ve yeni optimizasyon tekniklerini içeren güncellemeler duyurdu.
Bu güncelleme, arama sonucu sunumunda performansı artırmayı ve maliyetleri azaltmayı amaçlamaktadır.
Şirket yaptığı duyuruda şunları belirtiyor:
“Bing olarak her zaman arama teknolojisinin sınırlarını zorluyoruz. Hem Büyük Dil Modellerinden (LLM'ler) hem de Küçük Dil Modellerinden (SLM'ler) yararlanmak, arama yeteneklerimizi geliştirmede önemli bir kilometre taşını işaret ediyor. Transformatör modelleri bize iyi hizmet etse de, arama sorgularının artan karmaşıklığı daha güçlü modelleri gerekli kıldı.”
Performans Kazanımları
Yüksek Lisans'ların arama sistemlerinde kullanılması hız ve maliyet açısından sorunlar yaratabilir.
Bu sorunları çözmek için Bing, LLM'lerden 100 kat daha hızlı olduğunu iddia ettiği SLM'leri eğitti.
Duyuru şöyle:
“LLM'lerin sunulması pahalı ve yavaş olabilir. Verimliliği artırmak için, arama sorgularını daha hassas şekilde işleyen ve anlayan SLM modellerini (LLM'ye göre ~100 kat verim artışı) eğittik.”
Bing ayrıca SLM'lerin daha iyi çalışmasını sağlamak için NVIDIA TensorRT-LLM'yi kullanıyor.
TensorRT-LLM, büyük modelleri NVIDIA GPU'larda çalıştırmanın süresini ve maliyetini azaltmaya yardımcı olan bir araçtır.
“Derin Arama” Üzerindeki Etki
Microsoft'un teknik raporuna göre Nvidia'nın TensorRT-LLM teknolojisinin entegre edilmesi şirketin “Derin Arama” özelliğini geliştirdi.
Deep Search, alakalı web sonuçları sağlamak için SLM'lerden gerçek zamanlı olarak yararlanır.
Optimizasyondan önce, Bing'in orijinal transformatör modeli, toplu iş başına 4,76 saniyelik (20 sorgu) 95'inci yüzdelik gecikme süresine ve örnek başına saniyede 4,2 sorgu aktarım hızına sahipti.
TensorRT-LLM ile gecikme toplu iş başına 3,03 saniyeye düşürüldü ve aktarım hızı, örnek başına saniyede 6,6 sorguya çıkarıldı.
Bu bir temsil eder %36 gecikmede azalma ve %57 operasyonel maliyetlerde azalma.
Şirket şunu belirtiyor:
“…ürünümüz en iyi sonuçları sağlama temeline dayanıyor ve hız için kaliteden ödün vermeyeceğiz. İşte bu noktada TensorRT-LLM devreye giriyor, model çıkarım süresini ve dolayısıyla sonuç kalitesinden ödün vermeden uçtan uca deneyim gecikmesini azaltıyor.”
Bing Kullanıcıları İçin Avantajlar
Bu güncelleme Bing kullanıcılarına çeşitli potansiyel faydalar sağlar:
- Optimize edilmiş çıkarım ve daha hızlı yanıt süreleriyle daha hızlı arama sonuçları
- SLM modellerinin geliştirilmiş yetenekleri sayesinde daha fazla bağlamsallaştırılmış sonuçlar sunan geliştirilmiş doğruluk
- Bing'in daha fazla yenilik ve iyileştirmeye yatırım yapmasına olanak tanıyan maliyet verimliliği
Bing'in Yüksek Lisans/SLM Modellerine Geçişi Neden Önemli?
Bing'in LLM/SLM modellerine ve TensorRT optimizasyonuna geçişi aramanın geleceğini etkileyebilir.
Kullanıcılar daha karmaşık sorular sordukça, arama motorlarının alakalı sonuçları daha iyi anlaması ve hızlı bir şekilde sunması gerekiyor. Bing bunu daha küçük dil modelleri ve gelişmiş optimizasyon teknikleri kullanarak yapmayı hedefliyor.
Bekleyip tam etkiyi görmemiz gerekecek olsa da, Bing'in hamlesi aramalarda yeni bir sayfanın zeminini hazırlıyor.
Öne Çıkan Görsel: mindea/Shutterstock
Bir yanıt yazın