Siri bunu görüyor: Apple'ın yeni bağlam işlevinin arkasında ne var?

Şimdiye kadar Siri'ye bir şey soran herkes her şeyi açıklamak zorundaydı. Yazılım asistanı kendi ekranında ne olduğunu bile bilmiyordu. Bu durum iOS 27 ile temelden değişiyor: Yeni Siri, kullanıcının o anda karşısında ne gördüğünü biliyor ve buna göre hareket ediyor. Apple'ın Yazılımdan Sorumlu Başkan Yardımcısı Sebastien Marineau-Mes, bu özelliği Apple'ın Cupertino'daki genel merkezinde düzenlenen WWDC geliştirici konferansı sırasında yapılan bir teknik konuşmada canlı olarak gösterdi.

Yeni Siri, üç tür ekran içeriğini gerçek zamanlı olarak analiz eder: metin (örneğin web sayfalarında, notlarda veya belgelerde), düğmeler, etiketler ve grafikler içeren uygulama arayüzleri ve görüntüler. Bu, Siri'nin her istekte otomatik olarak aldığı bir bağlam görüntüsü oluşturur. Doğal dili anlama konusundaki yeni yeteneklerine ek olarak bu, kullanıcı girişini çok daha kolaylaştıracaktır.

Marineau-Mes bunu alışılmadık bir bulut oluşumunu gösteren bir fotoğrafla gösterdi. Resimde ne olduğuna dair herhangi bir açıklama yapmadan “Bulutlar neden böyle görünüyor ve körfezde onları nerede görüyorsunuz?” diye sordu. Siri, bulutları deniz kenarında meydana gelen bir deniz ters dönmesi olarak tanıdı, bir açıklama yaptı ve talep üzerine hemen Kaliforniya'daki tanınmış Tamalpais Dağı'na bir gezi için günlük plan içeren bir not oluşturdu.

Kullanıcıların artık Siri'nin dilini konuşmasına gerek yok

Teknik olarak olağanüstü görünmeyen şey, kavramsal olarak sesli asistanların daha önce çalışma biçiminden bir kopuş. Marineau-Mes gündelik hayattan iki örnek verdi: Bir arkadaşı konser tarihi içeren bir mesaj gönderdiğinde “Bugün vaktim var mı?” yeterlidir. – Siri, ekrandaki mesajdan tarih ve saati okur. Eğer kadın eve giderken kendiliğinden kocasıyla kahve içmek için buluşmak istediğini yazarsa, “Orası ne kadar uzakta?” yeterlidir. – adres olmadan, uygulamaları değiştirmeden.

Marineau-Mes, “Siri'ye bu bağlamı anlatmanıza gerek yok çünkü Siri bunu zaten biliyor” dedi. Kullanıcının artık bunu Siri'ye neyi ve nasıl açıklayacağını düşünmesine gerek yok; asistanın yalnızca o anda ne yaptığını anlaması gerekiyor.

Veri koruma sorusu

Ekrandaki farkındalık yine de bariz bir soruyu gündeme getiriyor: Siri'nin gördüklerine ne olacak? Prensip olarak sistem her türlü ekran içeriğini (banka bilgileri, özel mesajlar, gizli belgeler) yakalayabilir. Marineau-Mes bu konuya doğrudan değindi: “Ekrandaki her şeyi Siri'ye sorabilirsiniz” – ve işte tam da bu nedenle Özel Bulut Bilişim burada merkezi bir konumda yer alıyor; Apple'ın özellikle veri koruma-güvenli bulut sunucularına yaklaşımı. Siri'nin ekranda gördüğü şey diğer istekler gibi değerlendirilir: yalnızca geçici olarak işlenir, kaydedilmez, günlüğe kaydedilmez. Apple'ın kendisinin buna erişimi yok.

Sözün tutulup tutulmadığını teknik olarak kontrol etmek mümkün olmalı; Apple, PCC'yi harici güvenlik araştırmacılarına açtı. PCC sunucuları Google'ın veri merkezlerinde bulunuyorsa ve Apple, kendi Apple Temel Modelleri için Google'ın Gemini ailesinden teknolojiler kullanıyorsa bu durum geçerli olmaya devam edecektir. Kullanıcılar için bu sonuçta bir güven meselesi olmaya devam ediyor.

Siri nasıl çağrılır

Ekran farkındalığı belirli bir giriş yöntemiyle sınırlı değildir. Yeni Siri'ye sesle, bir yan düğme kullanılarak, Dinamik Ada'yı aşağı çekerek, bağlam menüleri kullanılarak veya uygulama arayüzlerindeki düğmeler kullanılarak erişilebilir ve her durumda mevcut ekran içeriğine erişim mümkündür.

Yeni ekran farkındalığı özelliklerinin üçüncü taraf uygulamalarda da çalışmasını sağlamak için Apple, geliştiricileri de işin içine katıyor: onlara iki arayüz (API) sağlandı. UserActivity, açık bir belge gibi ön planda tek bir birincil öğe olduğunda uygundur. Öte yandan görünüm açıklamaları, birden fazla öğenin aynı anda görünür olduğu durumlarda (örneğin bir listedeki mesajlar) kullanılır.

Bir avantaj: Uygulamanızı zaten uygulama varlıkları ve uygulama amaçlarıyla donattıysanız görünümlere yalnızca buna göre açıklama eklemeniz gerekir. Bu nedenle ek çaba sınırlıdır. Ekran farkındalığı içerik aktarımıyla birlikte daha da güçlü hale geliyor – Siri daha sonra tanınan içeriği doğrudan diğer uygulamalara aktarabiliyor; örneğin görüntülenen bir mesajı oraya iletmek üzere posta uygulamasına iletebiliyor.

Hala eksik olan ne

Ekran farkındalığı, Google'ın uzun zamandır Android'de “Now on Tap” terimi altında denediği şeye benziyor. Aradaki fark şu iddiada yatıyor: Apple'ın yaklaşımı sisteme daha derinlemesine entegre edilmiş, yeni AI modeli AFM 3 Core Advanced sayesinde görüntüleri cihazda yerel olarak işliyor ve en azından söz verildiği gibi tamamen özel. Bunun, seçilmiş demoda olduğu gibi günlük yaşamda işe yarayıp yaramayacağını önümüzdeki aylarda ve en geç sonbaharda, son sürümlerin kullanıcılara ulaşmasıyla göreceğiz – ne yazık ki Avrupa Birliği örneğinde sonuç hala belirsiz: Apple, AB iPhone'ları ve iPad'leri için Siri AI'yi şimdilik piyasaya sürmeyeceğini duyurdu. Siri AI da Mac'te AB'ye gelmeye hazırlanıyor. Ancak şimdilik dünya çapında, başlangıçta İngilizce olarak.

(mki)