“Harry Potter ve Felsefe Taşı”nı okumak istiyorsanız ancak kendi kitabınızı yayınladıysanız, kitabın büyük bölümleri, uygun önerilerle birlikte Claude 3.7 Sonnet, Gemini 2.5 Pro veya Grok 3 gibi büyük dil modellerinden (LLM'ler) kelimesi kelimesine çıkarılabilir. Bu, Stanford Üniversitesi'ndeki araştırmacılar tarafından arXiv üzerinde yayınlanan bir ön baskıdan ortaya çıkmaktadır.
Duyurudan sonra devamını okuyun
Çalışmalarının amacı, büyük satıcıların iyi korunan üretim dili modellerinin, eğitim verilerinden telif hakkıyla korunan çalışmaları kelimesi kelimesine yeniden üretip üretemeyeceğini bulmaktı. LLM sağlayıcısına göre modeller, eğitim sırasında verileri ezberlemiyor, yalnızca içeriğin bir temsilini oluşturuyor; bu nedenle model eğitimi dönüştürücüdür ve korunan eserlerin kullanımı adil kullanım kapsamına girer. Araştırmanın mevcut durumu bu hipotezi sorguluyor.
LLM'lerden gıdıklanma oluşumu verileri
Telif hakkıyla korunan eserlerin büyük bölümleri açık ağırlıklı modellerden çıkarılabildiğinden, araştırmacılar yüksek lisansların bu özelliğini test etmek istediler. Daha iyi güvenlik önlemlerine sahip olan Claude 3.7 Sonnet, GPT-4.1, Gemini 2.5 Pro ve Grok 3 tescilli modellerini test ettiler; bunların tümü üretimde olan veya üretimde olan modellerdir. Bilim insanları bunu yapabilmek için iki aşamada ilerlediler. İlk önce, ilk Harry Potter romanının 1. Bölümünün başlangıcı gibi, metnin bir bölümünün kelime kelime devamını istediler. Reddedilmeleri durumunda, bir sonuç alana kadar veya model 10.000 varyasyondan sonra reddetmeye devam edene kadar talebin metnini rastgele değişikliklerle değiştirdiler. Kullanılan tekniğe Best-of-N (BoN) denir ve jailbreak olarak kabul edilir, yani dil modellerinin güvenlik önlemlerini atlar.
İkinci adımda, araştırmacılar tekrar tekrar modelden metni daha önce oluşturulan bölüme göre tamamlamasını istedi. Bir referans kitabı ve metnin en uzun özdeş bölümünü temel alan neredeyse birebir hatırlama (nv-geri çağırma) metriğini kullanarak metin benzerliğini karşılaştırdılar. İlk Harry Potter kitabı için bu, Claude 3.7 Sonnet için %95,8'lik, Gemini 2.5 Pro ve Grok 3 için ise %76,8 ve %70,3'lük bir metinsel benzerliğe yol açtı. GPT 4.1 işbirliği yapmayı reddetti; Harry Potter için nv-geri çağırma değeri %4'tü.
Çalışma, araştırmanın durumunu güçlendiriyor
Stanford araştırmacıları, modelin bir sonuç üretmesini sağlamak için Claude 3.7 Sonnet ve GPT-4.1 için BoN jailbreak'i kullanmak zorunda kaldıklarını bildirdi. Claude daha sonra “Harry Potter ve Felsefe Taşı” ve “1984” de dahil olmak üzere dört kitabın neredeyse tamamını çoğalttı. Gemini 2.5 ve Grok 3, zamanında mühendislik yapılmadan talimatları takip etti. Çalışma, model satıcılarının iddia ettiğinin aksine, büyük dil modellerinin eğitim verilerinin bir kısmını sakladığı sonucuna varıyor. Mevcut model ve sistem düzeyindeki güvenlik kısıtlamaları, model eğitim verilerinin çıkarılmaya karşı korunması için yeterli olmayacaktır.
Duyurudan sonra devamını okuyun
arXiv ön baskısı, Stanford tarafından Mayıs 2025'te yürütülen ve Llama 3.1 gibi açık ağırlıklı modellerde tüm kitabın görüntülenmesini inceleyen benzer çalışmayı takip ediyor. Kasım 2024'te ETH Zürih'teki araştırmacılar tarafından yürütülen çalışma, OpenAI, Anthropic, Google ve Meta sağlayıcılarının LLM üretiminin %15'e kadarının İnternette mevcut metin bölümlerine karşılık geldiğini gösteriyor. Bazı durumlarda modeller, eğitim verilerinden gelen yanıtları kelimesi kelimesine tekrarlar. Bu durum, üçüncü şahıslar tarafından işletilen kendi modellerine sahip şirketler için güvenlik sorularını gündeme getiriyor. Eğer öyleyse, sentetik verilerle yapılan eğitimin daha fazla halüsinasyon kaynağı olduğu da kanıtlanabilir.
LLM sağlayıcıları ve telif ücretleri
Büyük dil modeli sağlayıcıları için, lisanssız telif hakkıyla korunan eserlerden doğrudan alıntı yapmak, yazarların bunları dava etmesi durumunda sıkıntı yaratır. ABD'de New York Times (NYT), OpenAI ile çok yıllık bir hukuki anlaşmazlık içindedir çünkü yayıncı, Stanford ön baskısında kullanılana benzer bir yöntem kullanarak makalelerin tamamını ChatGPT'den çıkarmayı başarmıştır. OpenAI yaptığı açıklamada NYT'nin yanıltıcı önerilerde bulunduğunu ve hiçbir kullanıcının modelleri bu şekilde kullanmayacağını söyledi. Ayrıca kelimesi kelimesine oynatma nadir görülen bir hatadır. En azından Stanford'un mevcut ön baskısı bununla çelişiyor.
OpenAI zaten GEMA'ya karşı mahkemede kaybetti. Koleksiyon şirketi, ChatGPT'nin Breathless veya Men gibi şarkıların sözlerini neredeyse tam olarak istek üzerine çoğaltarak yazarların haklarını ihlal ettiğinden şikayet etmişti. OpenAI, eğitim parametrelerinin yansıtılmasına güvenirken mahkeme, modelin metinleri ezberlemiş olması gerektiğine karar verdi ve gelecekte telif hakkıyla korunan metinleri ezberlemesini yasakladı. Geliştiriciler ayrıca ABD'de Microsoft, GitHub ve OpenAI'ye karşı açılan toplu davada eğitim verilerinin saklanmasına da itiraz etti. Davada GitHub Copilot'un kaynağa atıf yapılmadan mevcut depolardan kelimesi kelimesine kod indirdiği iddia edildi. Bu davada yetkili mahkeme model tedarikçilerinin lehine karar vermiştir.
(şşş)
Bir yanıt yazın