Smart Answers AI tarafından oluşturulan özet
Özetle:
- PCWorld, Anthropic'in Claude Opus 4.8'inin, modele bilgi eksikliği olduğunda kabul etmeyi öğreterek yapay zeka dürüstlüğünü geliştirmeye odaklandığını bildirdi.
- Model, soruları kodlamak için dürüstlük kriterlerinde mükemmele yakın puanlar elde etti ve test sırasında değerlendirme farkındalığı sergiledi.
- Opus 4.8, yapay zeka sistemlerini bilgi sınırlamaları ve belirsizlikleri konusunda daha şeffaf hale getirme konusunda önemli bir adımı temsil ediyor.
Dürüstlük, en güçlü LLM'lerde bile önemli bir anlaşmazlık noktasıdır. Size kasıtlı olarak yalan söylemeleri pek söz konusu değil; bunun yerine size yüzde 100 (hatta yüzde 50) emin olmadıkları şeyleri güvenle söylerler.
Anthropic, en son Claude modeli olan Opus 4.8'in, Claude'u size bilmediği şeyleri söyleme konusunda daha dürüst hale getirdiğini veya size söylediklerine olan güveninin düşük olduğunu söylüyor.
Perşembe günü yayınlanan Claude Opus 4.8 Olumsuz Claude Mythos Önizlemesi, Anthropic'in yeni “sınır” modeli o kadar güçlü ki, güvenlik nedeniyle yalnızca bir avuç “güvenilir ortağın” bunu test etmesine izin verildi. Claude Mythos için hala kesin bir çıkış tarihi yok.
Claude Opus 4.7'den yaklaşık altı hafta sonra gelen Opus 4.8, Anthropic'in genel kullanılabilirlik açısından en güçlü modeli olarak yerini alıyor ve çoğunlukla önceki modele göre “mütevazı” bir gelişmeye işaret ediyor, Anthropic'e göre Mythos Preview siber güvenlik görevlerinde onu rahatlıkla geride bırakıyor.
Ancak şirketin kriterlerine göre, Opus 4.8 önemli bir kategoride birinci sırada yer alıyor: dürüstlük; model, bir kodlama sorusunun cevabını bilmediğini kabul etme konusunda “mükemmele yakın” puanlar alıyor.
Çılgın güçlü Mythos Preview bile bu dürüstlük testinde Opus 8.7'yi geçemedi ve hemen hemen ikinci sırada yer alırken, Opus 4.7 açık ara dördüncü oldu.
Elbette bunlar Anthropic'in gördüğümüz kriterleri; Daha objektif sonuçlar elde etmek için üçüncü taraf testlerini beklememiz gerekecek, vahşi raporlardan bahsetmeye bile gerek yok. Önümüzdeki günlerde Opus 4.8'i denemeye almayı planlıyorum.
Anthropic ayrıca “değerlendirme farkındalığıyla ilgili bazı ipuçları” paylaştı; bu, Opus 4.8'in test edildiğini bildiğine dair işaretler gösterdiği anlamına gelirken, “modelin, çıktılarının nasıl derecelendirileceği konusunda akıl yürütme eğilimine” dikkat çekti. Bu endişeler Opus 4.8'e özgü değil; gerçekten de en yeni “sınır” modelleri çoğu zaman ne zaman dürtüldüklerini ve dürtüklendiklerini biliyor gibi görünüyor.
Yine de Opus 4.8 gibi modellerin en azından kağıt üzerinde BS'yi azalttığını görmek güzel. Umarım uygulamada da bu dürüstlük seviyesini korur.
Bir yanıt yazın