Siri anlıyor: Apple'ın yeni bağlamsal özelliğinin arkasında ne var?

Şimdiye kadar Siri'ye bir şey soran herkes her şeyi açıklamak zorundaydı. Yazılım asistanı ekranında ne olduğunu bile bilmiyordu. İOS 27 ile durum kökten değişiyor: Yeni Siri, kullanıcının o anda önünde ne gördüğünü biliyor ve buna göre hareket ediyor. Apple'ın Yazılımdan Sorumlu Başkan Yardımcısı Sebastien Marineau-Mes, Cupertino'daki Apple genel merkezinde düzenlenen WWDC geliştirici konferansı sırasında bu özelliği canlı olarak teknik bir konuşmada gösterdi.

Yeni Siri, üç tür ekran içeriğini gerçek zamanlı olarak analiz eder: metin (örneğin web sayfalarında, notlarda veya belgelerde), düğmeler, etiketler ve grafikler içeren uygulama arayüzleri ve görüntüler. Bu, Siri'nin her istekte otomatik olarak aldığı bir bağlam görüntüsü oluşturur. Doğal dili anlama konusundaki yeni yeteneklerine ek olarak bu, kullanıcı girişini çok daha kolaylaştıracaktır.

Marineau-Mes bunu alışılmadık bir bulut oluşumunu gösteren bir fotoğrafla gösterdi. Fotoğrafta ne olduğuna dair herhangi bir açıklama yapmadan “Bulutlar neden böyle görünüyor ve körfezde onları nerede görebilirsiniz?” diye sordu. Siri, bulutların deniz kenarında meydana gelen bir deniz ters dönmesi olduğunu fark etti, bir açıklama yaptı ve talep üzerine hemen Kaliforniya'daki ünlü Tamalpais Dağı'na yapılacak gezi için günlük bir plan içeren bir not oluşturdu.

Kullanıcıların artık Siri'nin dilini konuşmasına gerek yok

Teknik olarak olağanüstü görünmeyen şey, kavramsal olarak sesli asistanların daha önce çalışma biçiminden bir kopuş. Marineau-Mes gündelik hayattan iki örnek verdi: Bir arkadaşım konser tarihini içeren bir mesaj gönderdiğinde “Bugün vaktim var mı?” bu kadar yeter. – Siri, ekrandaki mesajdan tarih ve saati okur. Eğer kadın eve giderken kendiliğinden kocasıyla kahve içmek için nerede buluşmak istediğini yazarsa: “Ne kadar uzakta?” bu yeterli. – adres olmadan, uygulamaları değiştirmeden.

Marineau-Mes, “Siri'ye bu bağlamı anlatmanıza gerek yok çünkü Siri bunu zaten biliyor” dedi. Kullanıcının artık bunu Siri'ye neyi ve nasıl açıklayacağını düşünmesine gerek kalmayacak: Asistanın o anda ne yaptığını anlaması yeterli.

Veri koruma sorunu

Ancak ekrandaki farkındalık bariz bir soruyu gündeme getiriyor: Siri'nin gördüklerine ne olacak? Prensip olarak sistem her türlü ekran içeriğini yakalayabilir: banka bilgileri, özel mesajlar, gizli belgeler. Marineau-Mes bunu doğrudan söyledi: “Siri'ye her şeyi ekrandan sorabilirsiniz” – işte tam da bu nedenle, Apple'ın veri koruması için özellikle güvenli bulut sunucularına yönelik yaklaşımı olan Özel Bulut Bilgi İşlem burada merkezi bir öneme sahiptir. Siri'nin ekranda gördüğü şey diğer istekler gibi değerlendirilir: yalnızca geçici olarak işlenir, kaydedilmez, kaydedilmez. Apple'ın kendisinin buna erişimi yok.

Sözün tutulup tutulmadığının teknik olarak doğrulanması mümkün olmalıdır: Apple, ÇKP'yi harici güvenlik araştırmacılarına açmıştır. PCC sunucuları Google'ın veri merkezlerinde bulunuyorsa ve Apple, Apple Temel Modelleri için Google'ın Gemini ailesi teknolojilerini kullanıyorsa bu durum geçerli olmaya devam edecektir. Kullanıcılar için sonuçta bu bir güven meselesi olmaya devam ediyor.

Siri nasıl çağrılır

Ekran farkındalığı belirli bir giriş yöntemiyle sınırlı değildir. Yeni Siri'ye sesle, bir yan düğmeyi kullanarak, Dinamik Ada'yı aşağı çekerek, bağlam menülerini kullanarak veya uygulama arayüzlerindeki düğmeleri kullanarak erişilebilir ve her durumda mevcut ekranın içeriğine erişebilir.

Yeni ekran farkındalığı özelliklerinin üçüncü taraf uygulamalarda da çalışmasını sağlamak için Apple geliştiricileri dahil ediyor: onlar için iki arayüz (API) planlandı. UserActivity, açık bir belge gibi ön planda tek bir birincil öğe olduğunda uygundur. Görünüm ek açıklamaları, bir listedeki mesajlar gibi birden fazla öğenin aynı anda görünür olduğu durumlarda kullanılır.

Avantajı: Uygulamanızı zaten uygulama varlıkları ve amaçlarıyla donattıysanız görünümlere buna göre açıklama eklemeniz yeterlidir. Bu nedenle ek çaba sınırlıdır. İçerik aktarımıyla birlikte ekran farkındalığı daha da güçlü hale geliyor: Siri daha sonra tanınan içeriği doğrudan diğer uygulamalara aktarabiliyor; örneğin görüntülenen bir mesajı oraya iletmek üzere posta uygulamasına iletebiliyor.

Hala eksik olan ne

Ekran farkındalığı, Google'ın bir süredir Android ile “Now on Tap” terimi altında denediği şeye benziyor. Aradaki fark şu iddiada yatıyor: Apple'ın yaklaşımı sisteme daha derinlemesine entegre oluyor, yeni AFM 3 Core Advanced AI modeli sayesinde görüntüleri cihazda yerel olarak işliyor ve en azından vaat edildiği gibi tamamen özel. Önümüzdeki aylarda ve en geç sonbaharda, son sürümler kullanıcılara ulaştığında, seçilmiş demoda olduğu gibi günlük yaşamda işe yarayıp yaramayacağını göreceğiz – ne yazık ki Avrupa Birliği örneğinde sonuç hala belirsiz: Apple, AB iPhone'ları ve iPad'leri için Siri AI'yi şimdilik piyasaya sürmeyeceğini duyurdu. Siri AI, Mac'te AB'ye de gelecek. Ancak şimdilik dünya çapında, başlangıçta İngilizce olarak.

(mki)