AI üzerinde model yönlendirme OpenAI ve Anthropic için bir sorundur

Finans şefleri ve yönetim kurulları verimsiz yapay zeka harcamalarına karşı sıkı önlemler almaya başladıkça kurumsal Amerika'da yeni bir harcama disiplini yerleşmeye başlıyor. Bu değişikliğin yapay zeka ticaretini yeniden şekillendirme potansiyeli var.

Geçtiğimiz iki yıl boyunca, taktik, varsayılan olarak en güçlü yapay zeka modelini kullanmak ve karmaşıklığa bakılmaksızın tüm sorguları bu model üzerinden yönlendirmek oldu. Artık yapay zeka faturalarının bütçelerin çok ötesinde olması nedeniyle şirketler, her görevin gerçekten üst modellere mi yoksa ileri düzey modellere mi ihtiyacı olduğunu sormaya başlıyor. Yapay zeka yapısının merkezinde yer alan iki lider bu hafta CNBC'ye bir çözümün ortaya çıktığını söyledi: model yönlendirme.

Yönlendirme, işi modelle eşleştiren, zor sorunları pahalı sınır modellerine, kolay sorunları ise daha ucuz, daha hızlı alternatiflere gönderen bir araçtır.

Kodlama ajanı Devin'i yapan Cognition'ın CEO'su Scott Wu, rutin çalışmalarda elde edilen kazanımların çok büyük olduğunu söyledi. Standart işlerin çoğunda şirketlerin, görev için hâlâ yeterince iyi olan modelleri kullanarak beş ila 10 kat daha iyi maliyet verimliliği elde edebileceklerini söyledi.

Günümüzde çoğu şirket hiçbir şekilde yönlendirme yapmıyor. Glean CEO'su Arvind Jain, kurumsal yapay zeka kullanımının kabaca %95'inin, daha ucuz alternatiflerin kolayca halledebileceği görevler için bile hala en pahalı sınır modellerinde çalıştığını tahmin ediyor. Wu, bir modelden üçüncü ABD başkanının ismini vermesini isteme örneğini verdi. Ne kadar pahalı olursa olsun her biri size onun Thomas Jefferson olduğunu söyleyecektir.

Değişimin ardındaki baskı, en büyük teknoloji şirketlerini bile şaşırtan maliyet eğrisidir. Jeetu Patel, baş ürün sorumlusu Ciscomatematiği ortaya koydu. Çalışan başına haftalık yaklaşık 200 ABD Doları tutarında token kullanımı, kişi başına yılda yaklaşık 10.000 ABD Doları anlamına gelir. 90.000 çalışanı olan bir şirketin yıllık geliri 900 milyon dolardır. Jetonlar, modellerin bilgi üretmek için kullandığı veri bloklarıdır. Kullanım, işlenen token sayısına göre faturalandırılır.

Patel, Cisco'nun kendi bütçesinin çok üzerinde bir gelir elde ettiğini ve 30.000 mühendisin artık büyük ölçüde yapay zeka ile yazılmış ürünler oluşturmasıyla uyum sağlamak zorunda kaldığını söyledi. Cisco, diğer harcamalara göre tokenlara öncelik vererek kaynakları yeniden tahsis etti.

Yapay zeka şirketleri kaygının farkında.

Cognition, yapay zeka üretkenlik garantisi adını verdiği şeyi duyurdu. Devin, müşterinin ödediğinden daha az mühendislik değeri sunarsa Cognition, eşdeğer seviyeye gelene kadar kullanımı 10 milyon dolara kadar finanse edecek. Wu, bunu endüstrinin peşini bırakmayan bir ölçüt olan yatırım getirisi üzerindeki gürültüyü azaltmanın bir yolu olarak çerçeveledi.

Wu, Cognition'ın, tüketilen tokenlar veya kod satırları gibi etkinlikleri ölçmek yerine, temsilcisinin gerçekten tasarruf ettiği insan mühendisliği saatlerinin sayısını tahmin ettiğini ve bu tahmini bir geri ödemeyle desteklediğini söyledi. Milyarlarca jeton harcayabilirsiniz ve bununla hiçbir şey yapmayabilirsiniz, dedi. Şirketler etkinlik için değil, çıktı için çabalamalı.

Şirketler kolay, yüksek hacimli işleri Çin veya başka yerlerdeki daha ucuz açık kaynaklı modellere yönlendirmeye başlarsa, OpenAI ve Anthropic her görev için ödeme almayı bırakır. Yalnızca daha karmaşık işleri alırlar. Her iki şirket de işlerini ve halka arz beklentilerini, yüksek fiyatlara muazzam talep varsayımı üzerine kurdu.

Patel bunun sınır laboratuvarlarını batıracağını düşünmüyor ve en son teknolojinin değerli kalacağını söylüyor. Ancak fiyatlandırma modelinin değiştiğini görüyor. Patel, laboratuvarların daha fazla şarj etmek yerine modellerin nasıl kullanıldığı konusunda daha verimli hale gelmesi gerekecek ve Patel bunun endüstride ortak bir çabaya yol açacağını öngörüyor.

Soru, şirketlerin yapay zeka faturaları arttıkça harcama yapmaya devam edip etmeyecekleriydi. Artık pek çok kişinin akıllıca harcama yapmanın bir yolunu bulacağı anlaşılıyor. Fiyatlandırma gücü, birinci sınıf yapay zeka satan şirketlerden, bunu satın alan şirketlere doğru kayıyor.

Sınır laboratuvarları en zorlu işler için hala prim talep edecek. Peki diğer şeyler pazarın ne kadarını oluşturuyor? Cevap, önde gelen yapay zeka şirketlerinin değerlemelerini belirlemede uzun bir yol kat edebilir.