Python paketi any-llm ile Mozilla, sürüm 1'deki birçok LLM için tek tip bir API yayınlar ve bu, üretken kullanım için zaten kararlıdır. Bu, artık her bir LLM için kendi adaptörünü bulundurmak zorunda olmadıklarından, geliştiricilerin şablonları kullanırken üzerindeki yükü hafifletir.
Duyurudan sonra devamını okuyun
Bağlı modeller bulutta veya yerel olarak bulunabilir ve asenkron API aracılığıyla kolaylıkla değiştirilebilir. Performansı artırmak için istemci bağlantıları yeniden kullanılabilir. Araç aynı zamanda muhakeme için standartlaştırılmış çıktı sağlar. Any-llm ayrıca API modları veya uç noktalar değiştiğinde kullanıcıları bilgilendirir.
Bütçe ve anahtar yönetimi için isteğe bağlı bir LLM ağ geçidi kullanılır ve çok istemcilidir. Bu nedenle şirketler için bir Yüksek Lisans arayüzü görevi görebilir.
GitHub sayfasındaki bağlı sağlayıcıların listesi zaten uzun ve Anthropic, Azure, Databricks, Deepseek, Gemini, Groq, Hugging Face, Llama, Mistral, Ollama, Perplexity, Watsonx ve diğerlerini içeriyor. Ayrıca herhangi bir llm'nin hangi işlevleri desteklediğini gösteren bir tablo da vardır: yanıt, akıl yürütme, görüntü vb.
Any-llm GitHub sayfasında desteklenen şablonları ve özellikleri içeren bir tablo vardır.
Aracı kullanmak için Python 3.11'e ve aracın bir ortam değişkeninde sakladığı ilgili API anahtarlarına ihtiyacınız vardır. Mozilla, gelecek sürümler için bir toplu iş özelliğinin yanı sıra ek LLM'leri ve MCP arka plan programı gibi ek kütüphaneleri birbirine bağlamayı planladı.
Ayrıca okuyun
(DSÖ)
Bir yanıt yazın