Microsoft, Copilot temsilcileri için bir değerlendirme aracı yayınladı

Microsoft, Microsoft 365 Copilot Agent Değerlendirme CLI'sini kullanıma sundu. 8 Mayıs'tan itibaren ücretsiz önizleme sürümü olarak kullanıma sunulacak komut satırı aracı, kullanıcıların yapay zeka aracılarının kalitesini test etmesine ve geliştirmesine olanak tanıyor. Bunu yapmak için Aracı Değerlendirmeleri CLI, bir aracıya sorular gönderir ve Azure OpenAI modellerini kullanarak yanıtlarını değerlendirir.

Aracı Değerlendirme CLI'si, yapay zeka aracılarını yönetmeye yönelik temel bir Microsoft platformu olan Microsoft 365 Copilot Genişletilebilirlik Platformu'nun bir parçasıdır. Değerlendirme CLI'sına Yönetim Merkezi aracılığıyla ulaşılabilir ve kaliteyi ölçmek için bağımsız bir geliştirme aracı olarak hizmet verilir.

CLI aracı test edildikten sonra Microsoft 365'te dağıtılan bir aracıya bilgi istemleri gönderir. Bunu JSON veri kümeleri, etkileşimli girişler ve aşağıdakiler gibi satır içi istemlerle destekler: --prompts "Frage 1" "Frage 2" üç tür girdi; bu, yapılandırılmış testleri ve canlı diyalogları eşleştirebileceği anlamına gelir. Derecelendirme işlevi aynı zamanda Vibe kodlaması için de kullanılabilir.

Temsilci Değerlendirme Kontrol Listesi

CLI, aracı tarafından sağlanan yanıtları yedi parametreye göre değerlendirir. Değerlendirme, diğer şeylerin yanı sıra, temsilcinin tekli veya çoklu diyalogların içeriğini ne kadar iyi anladığını ve takip sorularını ne kadar iyi işlediğini dikkate alır. Ayrıca aracının görevleri gerçek bir kullanıcı diyaloğundaymış gibi uçtan uca gerçekleştirip gerçekleştirmediği de test edilir.

Geliştiriciler HTML, JSON veya CSV biçimindeki test raporlarını geliştirme döngülerinde, kod incelemelerinde veya CI/CD ardışık düzenlerinde kullanabilirler. Microsoft'un geliştirici blogunda yazdığı gibi, uzun vadede bu tür sistematik ve tekrarlanabilir değerlendirmelerin Microsoft 365 Copilot ile yazılım geliştirmenin standart bir parçası haline gelmesi gerekiyor.

Süresi Microsoft tarafından belirtilmeyen test aşamasında programcılar Microsoft 365 Copilot Agent Evaluations CLI'yi ücretsiz olarak kullanabilirler. Bunu yapmak için bir Microsoft 365 Copilot lisansına, Node.js 24.12.0 veya sonraki bir sürüme, yönetici izniyle kiracınıza dağıtılan bir aracıya ve LLM değerlendirmeleri için bir Azure OpenAI uç noktasına (varsayılan olarak gpt-4o-mini) ihtiyacınız vardır. Araç şu anda yalnızca Windows geliştirme ortamlarını desteklemektedir; MacOS ve Linux desteği duyuruldu.

(mro)