Fotoğraflar 3 boyutlu ortamlara dönüşüyor: Apple'ın yeni yapay zeka modelini iPhone'unuzla deneyin

AI modeline SHARP (Tek Görüntü Yüksek Doğruluklu Gerçek Zamanlı Paralaks) adı verildi ve Aralık ayında bir araştırma makalesiyle birlikte yayınlandı. Kaynak kodu Github'da mevcuttur.

Daha önce modeli Mac veya Windows PC'de kullanmak için temel programlama bilgisi gerekiyordu. SHARP artık iOS uygulaması “Sapling” kullanılarak iPhone'da ücretsiz olarak denenebilir. Hesaplama cihazda yerel olarak yapılır ve daha yeni iPhone'larda fotoğraf başına yaklaşık bir dakika sürer.

Apple'ın araştırmacıları yapay zeka modelini geliştirirken çeşitli hedeflerin peşinden gitti: Bir yandan, gelecekte kişinin kendi fotoğraf kitaplıklarını derinlemesine keşfedebilmesi için tek tek görüntülerden mümkün olan en hızlı 3D yeniden yapılandırmanın sağlanması gerekiyor. Öte yandan, 3 boyutlu ortamlar gerçek zamanlı olarak oluşturulmalı ve VR gözlüklerle etrafa bakarken meydana gelenler gibi perspektif değişikliklerine olanak tanımalıdır. Ekran, Apple'ın Apple Vision Pro'daki kişilikleri için de kullandığı bir teknoloji olan 3D Gaussian Splatting kullanılarak yapılıyor.

Araştırmacılara göre SHARP, diğer yapay zeka modellerine göre önemli ölçüde daha yüksek görüntü kalitesi sunarken, yalnızca hesaplama süresinin çok küçük bir kısmını gerektiriyor. Yapay zeka modelinin Apple ürünlerine dahil edilip edilmeyeceği ve hangi biçimde dahil edileceği şu an için bilinmiyor.

iPhone ile Apple SHARP'ı denedim

SHARP, mekansal fotoğraflar, videolar ve mekansal sahneler gibi halihazırda mevcut olan Apple'ın sürükleyici özelliklerinden farklıdır. İlki, sol ve sağ gözler için hafifçe kaydırılmış iki görüntüye sahip stereoskopik kayıtlardır ve derinlik efektlerini yalnızca Apple Vision Pro ve Meta Quest gibi cihazlarda geliştirir. Uzamsal sahneler ise VisionOS, iOS ve iPadOS 26 ile birlikte tanıtıldı ve perspektifte kolay değişikliklere izin vererek bir adım daha ileri gitti. iPhone'larda bir fotoğrafın sağ üst köşesindeki altıgen simgeye dokunarak bu özelliği deneyebilirsiniz. SHARP, daha kapsamlı yeniden yapılandırmaya ve daha büyük perspektif değişikliklerine olanak tanıyan bir 3 boyutlu ortam yaratarak bu yaklaşımı önemli ölçüde genişletiyor.

3D tarama uygulaması “Sapling”, Apple'ın yapay zeka modelini entegre eden ilk uygulamalardan biridir ve grafiksel kullanıcı arayüzü aracılığıyla ücretsiz kullanıma olanak tanır. Bunu yapmak için kullanıcılar “Görüntüden 3D Sahneye” işlevini seçiyor, Fotoğraflar uygulamasından bir fotoğraf seçiyor ve oluşturmaya başlıyor. iPhone 15 Pro'da 3D yeniden yapılandırma yaklaşık bir dakika sürer. Daha sonra sahne iPhone'da oluşturulabilir: siyah arka planda etkileşimli bir ekran olarak veya doğrudan odada AR görünümü olarak.

Sonuç, çözünürlük ve keskinlik açısından ikna edicidir. Bununla birlikte, 3D yeniden yapılandırmanın ne kadar etkileyici olacağı büyük ölçüde konuya bağlıdır: Derinlik geçişli ve çok fazla alana sahip görüntüler, insanların veya nesnelerin yakın çekimlerinden daha iyi çalışır. Diğer AI tabanlı yeniden yapılandırma yöntemleri gibi SHARP'ın da fotoğrafı çekilen insanların arkası gibi görünmeyen alanlarla ilgili zorlukları var. Orijinal perspektiften çok uzaklaştığınızda, illüzyonu yok eden yapaylıklar ve çarpıtmalar görünür hale gelir.

Kullanıcılar, elde edilen Gauss uyarılarını daha ileri işlemler için orijinal dosya formatında dışa aktarabilirler. Gelecekte geliştirici Matthew Waller, uygulamasının Vision Pro sürümünde de yapay zeka modelini desteklemek istiyor. Zaten bu amaç için özel olarak geliştirilmiş “Splat Studio” adında bir üçüncü taraf uygulaması var. Henüz macOS veya Windows için Apple SHARP'ı grafik kullanıcı arayüzüne entegre eden herhangi bir program bulamadık.

(olmak)