'Gauss Uyarıları' Oluşturmak Neden Aile Anılarını Korumanın En Sevdiğiniz Yolu Olacak?

Sanal gerçeklikle ilgili sorum her zaman şu olmuştur: “Ama nedir bu? için” Sonunda bir cevabım var: Guassian Splatting. İster fiziksel fotoğraflar, ister VHS kasetler, ister bulutta sakladığınız her resim aracılığıyla her zaman geçmişimizi yakalamaya çalıştık, ancak kişisel geçmişlerimizi düz medyada, genellikle bir ekranın arkasından ve her zaman tek bir açıdan görüntülemekle sınırlı kaldık. Ancak Gaussian Splatting bunu değiştiriyor. Bu teknoloji, nesnelerin, insanların veya alanların hacimsel 3 boyutlu modellerini oluşturmanıza olanak tanır; Çocuğunuzun en sevdiği oyuncağını her açıdan inceleyebileceğiniz gerçekçi bir taramasına sahip olabilir, Şükran Günü yemeğinin anlık görüntüsü yerine, yemek odasının etrafında dolaşabileceğiniz fotogerçekçi bir dioramasına sahip olabilirsiniz.

Gauss Splatting nedir?

Gaussian Splatting teknolojik bir yenidoğandır. Teorik olarak ilk kez Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler ve George Drettakis tarafından 2023 yılında yayınlanan bir araştırma makalesinde tanıtıldı. Makalede, geleneksel bilgisayar grafiklerinde kullanılan katı üçgenler yerine “Gaussian” adı verilen milyonlarca yarı saydam lekelerden 3 boyutlu modeller oluşturan yeni bir işleme tekniğinin ayrıntıları veriliyor. Hesaplandıktan sonra Gaussian'lar bilgisayarınız tarafından 2 boyutlu bir düzleme “Splatte edilir” ve bu, Splat içindeki herhangi bir bakış açısından nasıl görünmeleri gerektiğine göre düzenlenir ve katmanlanır. Bloblar yarı şeffaf olduğundan birbirlerini engellemezler. Bir resimdeki fırça darbeleri gibi birbirine karışıyorlar.

Başka bir avantaj: Splatting, geleneksel tarama yöntemleriyle karşılaştırıldığında dosya boyutu açısından çok daha yüksek düzeyde ayrıntı sağlar. Daha eski taramalar, üçgenlerden oluşan sanal kaplamanın bir nesnenin üzerine gerilmesi şeklindeki geometrik prensip üzerinde çalışır. Ayrıntılı bir tarama için bu milyarlarca üçgen olabilir ve bu da bilgisayarın dosya boyutlarını boğmasına neden olur. Splatting, katı geometriden ziyade matematiksel olasılığa dayanmaktadır. Her “blob”, sağlam bir kenar yerine, bilgisayara o noktada bir rengin var olma olasılığını söyleyen küçük bir buluttur. Yalnızca uzaydaki ilgili milyonlarca alanın konumunu, rengini ve şeffaflığını ve bunların ışığı farklı açılardan nasıl yansıtması gerektiğini saklar. Sonuç, Word belgelerine kıyasla büyük olan dosyalardır ancak telefonda çalışamayacağınız kadar büyük değildir.

Gaussian Splatting hızla teoriden pratiğe geçti ve artık Splats yalnızca iyi bir akıllı telefonla oluşturulup işlenebiliyor, bu da onu bazen lazer tarayıcılar veya özel ekipman gerektiren eski yöntemlerden daha erişilebilir hale getiriyor.

Neden Splatting'e başlamalısınız?

3D tarama, sanal turlar için gayrimenkul haritalama ve video oyunları için fotogerçekçi varlıklar oluşturma gibi konularda profesyonel olarak zaten kullanılıyor, ancak Gaussian Splatting, herkesin nostaljisini geleceğe hazırlayabilecek kadar erişilebilir.

Splatting, gelecekteki kendinize (veya çocuklarınıza) mevcut yaşamınızı nefes kesici bir gerçekçilik düzeyiyle “ziyaret etme” yeteneği verir. Zamandaki bir anın tam düzenini ve hacmini dijital olarak “şişelemenize” ve onu korumanıza olanak tanır. Eğer ebeveynleriniz buna sahip olsaydı, çocukluğunuzun yatak odasında dolaşabilir veya satın aldığınız ilk arabanın her açısını ve detayını kontrol edebilirdiniz.

“Dijital koruma” ve “3 boyutlu modelleme” kulağa klinik geliyor, ancak Gaussian Splats'ın sonuçları hiç de kısır değil. Fotoğrafçılık bir odadaki ışığın tek bir açısını yakalarken, Gaussian Splats ışığın davranışını tüm açılardan yakalar; dolayısıyla sonuç geçmişin nasıl göründüğü değil, geçmişin nasıl olduğu olur. hissediyor beğenmek. Tanımlaması zor, ancak bir nesne veya konumdaki ışığın kalitesini yakalamak, mümkün olduğunu düşünmediğiniz bir şekilde onunla temasa geçmenizi sağlar. Bu, Spats'ın bulanıklığı ve kendi anılarınızla birleştiğinde, başka hiçbir şeye benzemeyen ruhani, rüya gibi bir deneyime katkıda bulunuyor. (Splats'ı çok seviyorum.)

Splatting'e nasıl başlanır?

Splatting'e girişin önündeki engel, nasıl çalıştığını anlamak için çok az zaman. Özel bir LiDAR tarayıcıya veya aşırı güçlü bir PC'ye ihtiyacınız yok, sadece nispeten yeni bir akıllı telefona ihtiyacınız var. İşte nasıl başlayacağınız:

Bir uygulama seçin: Teknoloji yeni olmasına rağmen, birkaç uygulama onu oldukça kullanıcı dostu hale getiriyor. İşte denediğim ikisi:

• Tarama evreni: iPhone kullanıcıları için mükemmel olan Scaniverse ücretsizdir ve Splats'ı yalnızca bir veya iki dakika içinde tamamen cihazınızda işler.

• Luma 3D Yakalama: Hem Android hem de iPhone'da mevcut olan Luma, ilk Splat'ınızı oluştururken size yol gösterecek tarama süreciyle yeni başlayanlar için harikadır.

Yakalama yap: Yakalamanızı yaparken düşünmeniz gereken bazı şeyler var.

• Konumları veya daha büyük nesneleri taramaya başlamadan önce, küçük ve basit bir şey seçin, böylece kavramları anlayabilirsiniz. Ancak evcil hayvanlar değil: Konunuzun bu süreç boyunca tamamen hareketsiz kalması gerekir. (Çocuğunuz için bir istisna yapın. Yeterince sabit durmazlar, ancak çocuğunuzun bulanık bir modeline sahip olmak bile gelecekteki sizin için hayati öneme sahiptir.)

• Nesnenizi, etrafından dolaşması için yeterli alana sahip, eşit şekilde aydınlatılmış bir odaya yerleştirin.

• Kayıt tuşuna basın ve kameranızı merkeze doğru tutarak nesnenizin etrafında yavaş ve sabit bir daire çizerek yürüyün.

• Biri yüksek açıdan aşağıya, diğeri alçak açıdan yukarıya bakan iki geçiş yapın.

• Gauss Uyarıları tekdüzelikten nefret eder. Düz beyaz duvarlarla mücadele ediyorlar, bu yüzden dokular açısından düşünün. Ayrıca derinlik hesaplamalarını karıştıracak şeffaf cam ve aynalardan da kaçının.

Bir muz alın: Artık Splat'ınızı yakaladığınıza göre, bilgisayarın işini yapabilmesi için bir ara verin. Ne kadar süreceği kullandığınız uygulamaya, telefonunuza ve taramanızın ne kadar ayrıntılı olduğuna bağlıdır. Scaniverse, Splats'ı doğrudan telefonunuzda işler. Aşağıdaki gitar gibi basit bir şeyin iPhone 17 Pro'da işlenmesi yaklaşık iki dakika sürdü. Luma 3D Capture, dosyaları bulutta işler; dolayısıyla bunun ne kadar süreceği, kuyrukta önünüzde kaç kişinin olduğuna bağlıdır. Birkaç dakika sürebilir. Birkaç saat sürebilir; uygulama, görüntünüzün pişirilmesi bittiğinde bir uyarı gönderir. Aşağıdaki video birkaç saat sürdü.

Yaratıcılığınızın tadını çıkarın: Matematik işlemi bittiğinde, yaratımınızı doğrudan akıllı telefonunuzun veya bilgisayarınızın ekranında görüntüleyebilirsiniz. Yakınlaştırmak için sıkıştırın, döndürmek için sürükleyin ve taramanın nesnenin veya alanın havasını ne kadar mükemmel yakaladığına hayret edin.

Eserinizi paylaşın: Bu uygulamalar hacimsel belleğinizi paylaşmanız için size birkaç kolay yol sunar:

• Video: Düzgün, 2D “geçişli” bir videoyu dışa aktarmak için Splat'ınız boyunca bir kamera yolu çizebilirsiniz. Aşağıda Scaniverse kullanarak YouTube'da yaptığım ilk taramayı (özensizdi; yeniydim) ve Luma ile ikinci denememi görüyorsunuz.

• Web Bağlantısı: Her iki uygulama aracılığıyla basit bir web bağlantısı oluşturabilir ve bunu arkadaşlarınıza veya ailenize mesaj olarak gönderebilirsiniz. Dokunduklarında, tarayıcılarında etkileşimli bir 3D görüntüleyici açılır; özel bir uygulamaya, hesaba veya ağır indirmelere gerek yoktur.

Splats'ınızın içine nasıl girilir?

Telefonunuzda veya PC'nizde 3D taramayı izlemek çok hoş, ancak bunları Şükran Günü masasının etrafında fiziksel olarak dolaşabileceğiniz veya kanepenin dokusunu incelemek için eğilebileceğiniz bir sanal gerçeklik cihazında kontrol edene kadar bu şeylerin ne kadar akıllara durgunluk verici olduğunu gerçekten anlayamazsınız. İşte bunu şu anda en büyük iki kulaklıkta nasıl yapabileceğiniz.

Apple Vision Pro

Güçlü Apple Vision Pro, inşa edilmiş bunu yapmak için. Apple, doğrudan işletim sistemine “Uzaysal Sahneler” ekledi. 2D fotoğraflara hafif bir 3D etki verir, ancak 2D fotoğraflardan daha derin bir 3D sahne oluşturacak ve bunu iyileştirmek için ayarları değiştirmenize olanak tanıyan Splat Studio gibi uygulamalarla bunu biraz daha ileri götürebilirsiniz. Ancak Uzamsal Medya Araç Seti ile daha derine inebilirsiniz. 2D videoları stereoskopik 3D videolara dönüştürmenizi sağlar. Ancak son patron, Luma 3D Capture veya Polycam gibi uygulamalarla kendi yaptığınız Splat'ların tamamını görüntülüyor.

Yukarıdaki adımları izlerseniz, oluşturduğunuz Splat dosyasını (.ply veya .spz) doğrudan telefonunuzdan Vision Pro'nuza aktarabilmeniz ve Splat'ın içine adım atabilmeniz veya taradığınız nesnenin etrafında dolaşabilmeniz gerekir. Ayrıca diğer kullanıcıların yüklediği Splat'lara da göz atabilirsiniz.

Meta Görev 3 ve 3S

Meta, Gaussian Splat devrimini benimsedi. AirVis (aynı zamanda Vision Pro'da) gibi uygulamalar, telefonunuzda oluşturduğunuz Splat'ları kontrol etmenize olanak tanır ve hatta Quest'te 4D Splat'lar da mevcuttur (bununla ilgili daha fazla bilgi aşağıdadır). Meta aynı zamanda telefonunuzun aracısını tamamen ortadan kaldırmaya yönelik ilk adımları da atıyor. Hyperscape Capture, Quest'in mevcut kameralarını kullanarak odanızı tarayan ve ardından alanınızın 3 boyutlu bir versiyonunu kaydeden, henüz beta aşamasında olan bir uygulamadır. Meta, yakında kulaklık takan bir arkadaşınıza “ziyarete gelebilmesi” için bir bağlantı gönderebileceğinizin sözünü veriyor.

4D Splatting'in geleceği

Gaussian Splatting konusunda ne kadar heyecanlı olsam da, teknoloji “versiyon 1.0 çağında”. Düzgün bir Splat yakalamak zaman ve sabır gerektirir ve nesnenin kesinlikle hareketsiz kalmasını gerektirir ve sonuç her zaman mükemmel değildir, ancak teknoloji yeterince hızlı gelişiyor ve bir sonraki şey şimdiden ortaya çıkıyor. Gaussian'ın en ileri noktası 4B Splatting'dir; dördüncü boyut zamandır. 4D Uyarılar, sahnenin içinde veya dışında herhangi bir noktadan görüntüleyebileceğiniz hareketli sahneler olan 3D hacimsel videolardır. Tek bir noktadan izlemenize olanak tanıyan stereoskopik 3D filmlerin aksine bunlar gerçek holograflardır. En azından bir VR teçhizatının içindeler.

Bu teknoloji halihazırda ticari olarak kullanılıyor; özellikle A$AP Rocky'nin müzik videosu “Helicopter”da, sanatçıların 56 kamera tarafından yakalandığı ve çekimlerin 4D Splats'a dönüştürülerek her türlü açının veya imkansız kamera hareketinin kullanılmasına olanak sağladığı görülüyor. Buna bir bak:

Ayrıca kulaklığınızda da kontrol edebileceğiniz bazı 4D Uyarılar var. Quest 3 uygulaması Gracia'nın çok etkileyici birkaç hacimsel videosu var. Gracia, insanların 4D Splat'larını yayınlamanıza veya indirmenize ve bunları artırılmış gerçeklikte istediğiniz yere yerleştirmenize olanak tanır. Daha sonra “oynat” tuşuna basabilir ve onlara istediğiniz açıdan bakabilir, hatta etraflarında dolaşabilirsiniz. Ne demek istediğimi anlamak için, şarkıcı Amy May'in ön bahçemde bir şarkıyı seslendirdiği Quest 3 kulaklığından görüntümü gösteren bu videoya bir göz atın (şüphesiz kafası karışan komşumdan bir kamera hücresi ile).

Muhtemelen Gracia'nınki gibi içerik oluşturmak için 20 veya daha fazla GoPro'dan oluşan bir diziniz yoktur, ancak tüketicilerin 4D Splat'lar oluşturması için bazı deneysel araçlar vardır. KIRI Engine, standart tek lensli videoyu 4D uyarıya dönüştürmek için Apple'ın açık kaynaklı ML-Sharp aracını kullanıyor. Splat Studio gibi yapay zeka destekli stereoskopik 3D yaklaşımı oluşturmaz, ancak her bir kareyi ayrı bir Splat'a dönüştürür. Bu benim için gerçekten uğraşılamayacak kadar teknik bir konu ve 3D gerçek 3D değil tahmine dayalı bir şey, ancak yalnızca birkaç akıllı telefon açısıyla hacimsel video çekmenin bir yolu bir yerlerde çalışmasaydı şaşırırdım.

Gauss Uyarıları, 1960'larda anında gelişen anlık görüntülerin olduğunu hayal ettiğim kadar bir aydınlanmadır. İlk Polaroidler gibi, bu da biraz acı verici ve sonuçlar bazen grenli, “rüya gibi” ve noktacılığı anımsatıyor, ancak geçmişi görmenin yeni bir yolunun duygusal etkisi çok güçlü. O halde şimdi Splatting'e başlayın; gelecekteki benliğiniz size teşekkür edecek.