Google Cloud, yapay zeka maliyetlerinde acil durum frenini çekiyor

Google Cloud, FinOps portföyünü AI iş yüklerine yönelik yeni özelliklerle genişletiyor. Odak noktası, bütçe limitlerini aktif olarak uygulayan otomatik harcama limitlerinin yanı sıra maliyet faktörlerini bağımsız olarak analiz eden yeni bir FinOps açıklayıcı aracıdır. Bu sayede Google, yapay zekanın hesaplanması zor olan maliyetleri üzerindeki kontrolünü geliştirmek ve bunları analiz etmek için gereken çabayı azaltmak istiyor.

Buradaki bağlam, yapay zeka iş yüklerinin buluttaki maliyet yapılarını değiştirmesidir. Nispeten istikrarlı yük profilleri yerine, örneğin değişken token kullanımı, farklı model fiyatları veya GPU'lar ve TPU'lar gibi özel donanımların kullanımı nedeniyle oldukça değişken maliyetler söz konusudur. Klasik FinOps araçları raporlar ve uyarılar sağlar ancak devam eden operasyonlara doğrudan müdahale etmez.

Harcama sınırları API trafiğini otomatik olarak durdurur

Google'ın başlangıçta özel önizleme olarak sunduğu yeni harcama limitlerinin bu boşluğu doldurması amaçlanıyor. Yöneticilerin, sistemin otomatik olarak uygulayacağı proje düzeyinde bütçeleri ayarlamasına olanak tanır. Bir proje sınıra ulaşırsa Google Cloud önce uyarır, ardından API trafiğini duraklatır. Dayanak varlıklar korunur. İşlem yapmaya devam etmek istiyorsanız harcama limitinizi değiştirebilir veya iptal edebilirsiniz. Başlangıçta, Vertex AI, Cloud Run, Cloud Run Functions ve Maps API'nin daha da geliştirilmesi amacıyla Google AI Studio, Gemini Enterprise Agent Platform desteklenmektedir.

Faydaları özellikle deneysel yapay zeka iş yüklerinde belirgindir. Arızalı bir bilgi istemi döngüsü veya optimize edilmemiş çıkarım hattı, kısa sürede milyonlarca API çağrısına ve buna bağlı olarak yüksek maliyetlere neden olabilir. Bu durumlarda harcama limitleri, bir insanın manuel olarak tepki vermesine gerek kalmadan otomatik olarak devreye giriyor.

Açıklanabilirlik Aracısı maliyet etkenlerini analiz ediyor

Ayrıca Google, doğrudan faturalandırma sistemine entegre edilen FinOps Açıklanabilirlik Aracısını da sunuyor. Temsilci, yapay zeka iş yüklerinin maliyetlerini hangi faktörlerin etkilediğini bağımsız olarak analiz eder ve talep üzerine değerlendirmeler sağlar. Örneğin kullanıcılar, maliyetlerin Gemini 1.5 Pro ve Gemini 1.5 Flash arasında nasıl dağıtıldığını, hangi API anahtarlarının özellikle pahalı olduğunu veya toplam maliyetlerin yüzde kaçının girdi ve çıktı belirteçleri tarafından temsil edildiğini sorabilir.

Yapay zeka maliyetleri resmi olarak miktar ve fiyatın bir ürünü olarak tanımlanabildiği için bu tür değerlendirmeler gereklidir, ancak etkileyen faktörler oldukça parçalıdır. Talep hacminin yanı sıra token sayıları, hata oranları, hafıza erişimleri ve model değişiklikleri de önemli rol oynuyor. Açıklanabilirlik Aracısı bu faktörleri otomatik olarak ilişkilendirir ve örneğin beklenmedik maliyet artışları durumunda temel neden analizini hızlandırmayı veya bireysel AI projelerinin yatırım getirisini değerlendirmeyi amaçlamaktadır.

Faturalama ve sözleşmelerde daha fazla şeffaflık

Ayrıca Google, sözleşmeye bağlı taahhütler için genişletilmiş faturalandırma hiyerarşilerini ve raporlamayı duyurdu. Yeni hiyerarşilerin, Google'ın gerçek bulut hizmetlerinin ötesinde kurumsal sözleşmelerde dikkate aldığı Apigee, AppSheet, Looker, Workspace ürünleri, Mandiant veya VirusTotal gibi ek ürün aileleri olan Diğer Uygun Hizmetler de dahil olmak üzere birden fazla faturalandırma hesabındaki giderleri birleştirmesi amaçlanıyor. Başlangıçta özel bir önizleme olarak duyurulan taahhüt raporlaması, müşterilerin bir kurumsal anlaşma kapsamındaki taahhütlerini ne kadar hızlı tükettiklerini netleştirmeyi amaçlıyor.

Google'ın duyurusuna göre FinOps Açıklanabilirlik Aracısı halihazırda Cloud Console'da mevcut. Harcama sınırları ve genişletilmiş faturalandırma ve raporlama özellikleri, başlangıçta yalnızca müşterilerin kaydolabileceği özel bir önizlemede mevcuttur.

(fo)