Google araştırmacıları, alım aşamalı nesil (RAG) modellerinin alınan bilgilerin bir sorguyu cevaplamak için yeterli içeriğe sahip olmadığını tanıma yeteneğini geliştirerek AI arama ve asistanları geliştirmek için bir yöntem sundular. Uygulanırsa, bu bulgular AI tarafından oluşturulan yanıtların eksik bilgilere güvenmekten ve cevap güvenilirliğini geliştirmesine yardımcı olabilir. Bu değişim aynı zamanda yayıncıları yeterli bağlamla içerik oluşturmaya teşvik edebilir, bu da sayfalarını AI tarafından oluşturulan cevaplar için daha kullanışlı hale getirir.
Araştırmaları, Gemini ve GPT gibi modellerin genellikle alınan veriler yetersiz bağlam içerdiğinde soruları cevaplamaya çalıştığını ve çekimser olmak yerine halüsinasyonlara yol açtığını buluyor. Bunu ele almak için, LLMS'nin alınan içeriğin ne zaman bir cevabı destekleyecek kadar bilgi içerdiğini belirlemelerine yardımcı olarak halüsinasyonları azaltmak için bir sistem geliştirdiler.
Geri alınan üretim (RAG) sistemleri, soru-cevaplama doğruluğunu artırmak için dış bağlamla LLM'leri artırır, ancak halüsinasyonlar hala meydana gelir. Bu halüsinasyonların LLM yanlış yorumlanmasından mı yoksa yetersiz alınan bağlamdan mı kaynaklandığı açıkça anlaşılamamıştır. Araştırma makalesi, yeterli bağlam kavramını tanıtmakta ve bir soruyu cevaplamak için yeterli bilgi mevcut olduğunu belirlemek için bir yöntem açıklamaktadır.
Analizleri, Gemini, GPT ve Claude gibi tescilli modellerin yeterli bağlam verildiğinde doğru cevaplar sağlama eğiliminde olduğunu buldu. Bununla birlikte, bağlam yetersiz olduğunda, bazen çekimser olmak yerine halüsinasyon yaparlar, ancak aynı zamanda zamanın% 35-65'ini de cevaplarlar. Bu son keşif başka bir zorluk da ekliyor: çekimser kalmayı zorlamak için ne zaman müdahale edileceğini (cevap vermemek) ve modele ne zaman doğru yapacağımı bilmek.
Yeterli bağlamın tanımlanması
Araştırmacılar, yeterli bağlamı, alınan bilgilerin (RAG'tan) doğru bir cevap türetmek için gerekli tüm ayrıntıları içerdiği anlamına gelir. Bir şeyin yeterli bağlam içerdiği sınıflandırması, doğrulanmış bir cevap olmasını gerektirmez. Yalnızca bir cevabın sağlanan içerikten makul bir şekilde türetilemeyeceğini değerlendirir.
Bu, sınıflandırmanın doğruluğu doğrulamadığı anlamına gelir. Alınan bilgilerin sorguyu cevaplamak için makul bir temel sağlayıp sağlamadığını değerlendiriyor.
Yetersiz bağlam, alınan bilgilerin bir cevap oluşturmak için gereken eksik, yanıltıcı veya eksik kritik ayrıntılar olduğu anlamına gelir.
Yeterli bağlam otoratörü
Yeterli bağlam Autorater, sorgu bağlam çiftlerini yeterli veya yetersiz bağlama sahip olarak sınıflandıran LLM tabanlı bir sistemdir. En iyi performans gösteren Autorater modeli Gemini 1.5 Pro (1-shot) idi ve% 93 doğruluk oranı elde etti ve diğer model ve yöntemlerden daha iyi performans gösterdi.
Seçici üretim ile halüsinasyonların azaltılması
Araştırmacılar, RAG tabanlı LLM yanıtlarının, alınan verilerin yetersiz bağlama sahip olduğu zamanın% 35-62'sini doğru bir şekilde cevaplayabildiğini keşfettiler. Bu, doğruluğu artırmak için yeterli bağlamın her zaman gerekli olmadığı anlamına geliyordu, çünkü modeller zamanın% 35-62'si olmadan doğru cevabı döndürebildi.
Bu davranış hakkındaki keşiflerini, güven puanlarını (cevabın doğru olabileceği kendi kendine derecelendirilmiş olasılıklar) ve ne zaman cevap verileceğine ve ne zaman çekimser kalacağına karar vermek için yeterli bağlam sinyallerini kullanan seçici bir üretim yöntemi oluşturmak için kullandılar (yanlış ifadeler yapmak ve halüsinasyon yapmaktan kaçınmak için). Bu, LLM'nin güçlü bir kesinlik olduğunda bir soruyu cevaplamasına izin vermek arasında bir denge elde eder ve aynı zamanda bir soruyu cevaplamak için yeterli veya yetersiz bağlam olduğunda çekimser kalmaya izin verir.
Araştırmacılar nasıl çalıştığını anlatıyor:
“… Bu sinyalleri halüsinasyonları tahmin etmek için basit bir doğrusal model eğitmek için kullanıyoruz ve daha sonra kapsama-doğruluk takas eşiklerini ayarlamak için kullanıyoruz.
Bu mekanizma, kaçınmayı iki temel şekilde iyileştirmek için diğer stratejilerden farklıdır. Birincisi, nesilden bağımsız olarak çalıştığı için, istenmeyen aşağı akış etkilerini azalttığı için… ikincisi, tıbbi alanlarda sıkı doğruluk veya yaratıcı üretim görevlerinde maksimum kapsam gibi farklı uygulamalarda farklı çalışma ayarlarına izin veren, ayarlama için kontrol edilebilir bir mekanizma sunar. ”
Paket
Herkes bağlam yeterliliğinin bir sıralama faktörü olduğunu iddia etmeye başlamadan önce, araştırma makalesinin AI'nın her zaman iyi yapılandırılmış sayfalara öncelik vereceğini belirtmediğini belirtmek önemlidir. Bağlam yeterliliği bir faktördür, ancak bu özel yöntemle, güven skorları, çekimser kararlara müdahale ederek AI tarafından üretilen yanıtları da etkiler. Yutuşma eşikleri bu sinyallere göre dinamik olarak ayarlanır, bu da modelin güven ve yeterliliğin düşük olup olmadığını cevaplamamayı seçebileceği anlamına gelir.
Tam ve iyi yapılandırılmış bilgilere sahip sayfaların yeterli bağlam içermesi daha olası olsa da, AI'nın ilgili bilgileri ne kadar iyi seçtiği ve sıralaması, hangi kaynakların alındığını belirleyen sistem ve LLM'nin nasıl eğitildiğini belirleyen sistem de bir rol oynar. AI'nın cevapları nasıl aldığını ve oluşturduğunu belirleyen daha geniş sistemi dikkate almadan bir faktörü izole edemezsiniz.
Bu yöntemler bir AI asistanı veya chatbot'a uygulanırsa, bir sorguyu cevaplamak için yeterli bağlam içerme olasılığı daha yüksek olduğundan, eksiksiz, iyi yapılandırılmış bilgiler sağlayan web sayfalarına giderek daha fazla güvenen AI tarafından üretilen cevaplara yol açabilir. Anahtar, tek bir kaynakta yeterli bilgi sağlamaktır, böylece cevap ek araştırma gerektirmeden mantıklıdır.
Yetersiz bağlama sahip sayfalar nelerdir?
- Bir sorguyu cevaplamak için yeterli ayrıntıdan yoksun
- Yanıltıcı
- Eksik
- Çelişkili
- Eksik bilgiler
- İçerik önceden bilgi gerektirir
Cevabı tamamlamak için gerekli bilgiler, birleşik bir yanıtta sunulmak yerine farklı bölümlere dağılmıştır.
Google'ın Üçüncü Taraf Kalite Değerlendiricileri Yönergeleri (QRG), bağlam yeterliliğine benzer kavramlara sahiptir. Örneğin, QRG düşük kaliteli sayfaları, konu için gerekli arka planı, ayrıntıları veya ilgili bilgileri sağlayamadıkları için amaçlarına iyi ulaşmayanlar olarak tanımlar.
Kalite Değerlendiricilerinden Pasajlar Yönergeler:
“Düşük kaliteli sayfalar, önemli bir boyutta eksik veya sorunlu bir yönü olduğu için amaçlarına iyi ulaşmazlar”
“'Bir metrede kaç santimetre var?' Çok az miktarda yararlı bilgi bulmak zor olacak şekilde büyük miktarda konu dışı ve yararsız içerikle. ”
“Temel bir zanaatın nasıl yapılacağı ve üstte, gerekli malzemeler veya diğer hazırlık dışı bilgiler hakkında yaygın olarak bilinen gerçekler gibi çok sayıda yararsız 'dolgu' hakkında talimatlar içeren bir işçilik öğretici sayfası.”
“… Çok miktarda 'dolgu' veya anlamsız içerik…”
Google'ın İkizler veya AI genel bakışları bu araştırma makalesindeki icatları uygulamasa bile, BT'de açıklanan kavramların çoğunun, SEOS ve yayıncıların sıralaması istediği yüksek kaliteli web sayfaları hakkında kavramları tanımlayan kalite orantılı yönergelerinde analogları vardır.
Araştırma makalesini okuyun:
Yeterli Bağlam: Geri Artırılmış Üretim Sistemlerinde Yeni Bir Lens
Shutterstock/Chris Wm Willemsen tarafından Öne Çıkan Resim
Bir yanıt yazın