ChatGPT, Claude, Google Bard ve diğer yapay zekalar saçma sapan konuşma eğilimindedir. Bir chatbot’un yanlış bilgi yaymasını önlemek için Norveçli bir start-up, çeşitli azaltma teknikleri geliştirdi.
ChatGPT’den Google Bard aracılığıyla Claude’a kadar tüm yapay zekanın, yanlış cevaplar, gerçeklikten çok uzak. Bazen dilsel bir model, muhatabın sorusunu yanıtlamak için yanlış, hatta tamamen saçma gerçekleri ifade edebilir. Ancak bu cevaplar yapay zeka tarafından kanıtlanmış gerçekler olarak sunuluyor. Araştırmacılar bu yapay zeka fenomenine “halüsinasyonlar” adını verdiler.
Yapay zeka halüsinasyonunun tehlikeleri
Sonuçta, bir dil modeliyle desteklenen bir sohbet robotunun yanlış bilgi yaymak Kullanıcıların bilgisi olmadan. Örnek sıkıntısı yok. Yapay zeka tarafından yazılan ve Amazon’da bulunan birçok kitapta tehlikeli ya da ölümcül tavsiyeler buluyoruz. Dahası, GPT modeliyle desteklenen bir sohbet robotu, yenmeyen ve zehirli mutfak tarifleri hayal etmeye başladı. Yeni Zelanda’daki bir süpermarketin sunduğu konuşkan robot, internet kullanıcılarına çamaşır suyu, güçlü yapıştırıcı veya terebentin ile yemek pişirmelerini tavsiye etti.
Bu halüsinasyonlar temsil ediyor araştırmacılar için bir engel ve geliştiriciler. Yapay zeka ara sıra bir şeyler söyleyebiliyorsa, ona kritik görevleri emanet etmek veya onu tıp gibi belirli alanlarda kullanmak zordur.
Ayrıca okuyun: Bilgisayar korsanları siber suçluları kötü niyetli sahte ChatGPT ile tuzağa düşürüyor
Halüsinasyonları azaltma teknikleri
Bu büyük sorunun farkında olan yapay zeka araştırmacıları şu anda bir çözüm bulmak için çok çalışıyorlar. The Next Web’deki meslektaşlarımızın raporuna göre, Norveçli bir start-up olan Iris.ai, şunu bulmuş olabilir: bir çözümün başlangıcı.
Merkezi Oslo’da bulunan şirket, özetlemeden, analiz etmeden ve analiz etmeden önce çok sayıda veriyi değerlendirecek yapay zeka destekli bir motor geliştirdi. ” anlamak “. Avrupa Birliği tarafından finanse edilen proje, “sinir ağı algoritması” otomatikleştirmek “İlgili bilimsel belgeleri keşfetme ve yeni hipotezler oluşturma süreci”. Başlatmaya göre motor şunları yapabilir: “arama sürecinde zamandan %90’a kadar tasarruf edin”. Ancak diğer tüm yapay zeka tabanlı araçlar gibi yapay zeka da bazen halüsinasyon görebilir.
2015 yılında doğan start-up, bunu önlemek için bir dizi hafifletme tekniği uyguladı. Her şeyden önce Iris.ai doğruluğunu sistematik olarak kontrol edin aracı tarafından oluşturulan yanıtlar. Start-up, bir cevabın doğru mu yanlış mı olduğunu otomatik olarak belirlemeyi mümkün kılan bir teknik geliştirdi.
“İyi bir cevapta görmeyi beklediğimiz temel bilgi kavramlarını haritalandırıyoruz. Daha sonra yapay zekanın yanıtının bu gerçekleri içerip içermediğini ve güvenilir kaynaklardan gelip gelmediğini kontrol ediyoruz”Medyayla röportaj yapan Iris.ai’nin teknik direktörü Victor Botev şöyle açıklıyor:
Ayrıca Norveçli şirket, yapay zeka tarafından oluşturulan yanıtı, kendi metriği olan “Belgelerin kelime önemine dayalı benzerliği metriği” (WISDM) kullanılarak oluşturulan bir gerçekle karşılaştıracak. Iris.ai’ye göre bu bir “Bilimsel belge analizi için belge benzerliğini/farklılığını hesaplamaya yönelik yeni, hızlı ve ölçeklenebilir yöntem”. Başlatma otomatikleşir ve hızlanır karşılaştırma süreci gerçeklere cevaplar.
Daha sonra şirket şu konulara odaklanacak: yanıtın tutarlılığı İlgili veya ilgisiz verilerin varlığının tespit edilmesiyle yapay zeka tarafından sağlanır. Veriler arasındaki ilişkileri gösteren bilgi grafikleri araştırmacılar tarafından kullanılmaktadır. Bunlar, yapay zeka modelinin bir yanıt oluştururken geçtiği tüm adımları vurguluyor. Süreç bozulduktan sonra startup’ın sistemi, yapay zekanın yoldan çıkmaya ve hata üretmeye başladığını daha kolay tespit edebilir.
“Tüm alanlardaki halüsinasyonların temel nedenleri daha erken tespit edilip tedavi edilebilir”Victor Botev diyor.
Eğitim verilerinin önemi
Iris.ai, bu farklı teknikleri birleştirerek şunları yapabileceğine inanıyor: halüsinasyon oranını önemli ölçüde azaltır. Bu teknikleri şirket içinde test ettikten sonra start-up, hatalarda keskin bir düşüş fark etti. Ne yazık ki bu yeniliğin de sınırları var. Oslo şirketine göre, daha çok araştırmaya adanmış modellere yöneliktir. Nitekim bunu kullanan araştırmacılar, sistemi kullanan bir chatbotun yaptığı yorumlardan bir adım geri çekilebiliyor. Bu, genel kullanıma sunulan bir yapay zeka modelinin muhatapları için her zaman geçerli değildir.
Iris.ai’nin tavsiye etmesinin nedeni budur Kullanılan verilere çok dikkat edin Dilsel bir model oluşturmak. Filtrelenmiş ve elle seçilmiş bilgileri tercih ederek ve “bir kodlama dili”modelin bazı şeyleri yanlış yorumlamaya başlayacağı durumları azaltmak teorik olarak mümkün. Çoğu modelin temelini oluşturan metinsel verilerden farklı olarak kod, yoruma tabi değildir.
Kaynak :
Sonraki Web
Bir yanıt yazın