Databricks, Delta Lake ve Apache Iceberg tablolarında gerçek zamanlı analize yönelik bir motor olan Lakehouse//RT'yi tanıtıyor. Yapay zeka uygulamaları ve aracıları, ek hizmet sistemlerine veya özel gerçek zamanlı veritabanlarına ihtiyaç duymadan Lakehouse'daki verilere doğrudan erişebilmelidir.
Duyurudan sonra devamını okuyun
Gerçek zamanlı analiz pazarı şu ana kadar ClickHouse, Apache Pinot veya Apache Druid gibi uzmanlaşmış sistemlerin hakimiyetindedir. Şirketler genellikle düşük yanıtlı uygulamalar, gösterge tabloları veya yapay zeka sistemleri sağlamak için analiz platformlarına ek olarak bunları kullanır. Ancak bunun için gerekli olan veri kopyalama ve senkronizasyon işlemleri karmaşıklığı ve maliyeti artırır.
Databricks, Lakehouse//RT ile bu mimariyi basitleştirmek istiyor. Yeni motor, sorguları doğrudan Delta Lake ve Apache Iceberg tablolarında milisaniyelik gecikmelerle yürütüyor. Bu, ayrı bir gerçek zamanlı hizmet katmanına olan ihtiyacı ortadan kaldıracaktır. Teknoloji şu anda beta sürümünde mevcut. Databricks, diğer şeylerin yanı sıra yapay zeka aracılarının artan kullanımıyla bu adımı haklı çıkarıyor. Üreticiye göre bunlar sürekli olarak şirket verilerine erişiyor ve mümkün olan en düşük gecikmeyle güncellenmiş bilgilere ihtiyaç duyuyor. Lakehouse//RT daha sonra verileri ek sistemlere kopyalamadan doğrudan Lakehouse'dan sunmalıdır.
Doğrudan Delta ve Iceberg tablolarında gerçek zamanlı sorgular
Üreticiye göre Lakehouse//RT, yüksek paralellik gereksinimleri olan uygulamaları hedefliyor. Bunlara etkileşimli kontrol panelleri, müşteriye yönelik uygulamalar ve yapay zeka aracıları dahildir. Motor, yönetilen Delta Lake ve Apache Iceberg tablolarına doğrudan erişir ve çok sayıda eşzamanlı istekte bile düşük yanıt sürelerini mümkün kılacak şekilde tasarlanmıştır. Bugüne kadar birçok şirket bu tür senaryolar için ek gerçek zamanlı hizmet sistemlerine güvendi.
Databricks, bu mimarinin veri kopyalarına, ayrı yönetim yapılarına ve ek operasyonel maliyetlere yol açtığını iddia ediyor. Lakehouse//RT'nin bu orta katmanın yerini alması ve Lakehouse'da depolanan veriler üzerinde analitiği doğrudan etkinleştirmesi amaçlanıyor.
Lakehouse//RT'nin teknik temeli, tamamen eşzamansız yürütme modeline sahip yeni bir hesaplama motoru olan Reyden'dir. Üreticiye göre, daha küçük veri kümeleri için yaklaşık 10 milisaniyelik, daha büyük veri kümeleri için ise 100 milisaniyeden daha kısa yanıt sürelerine ulaşıyor. Standart analiz karşılaştırmalarında Databricks, saniyede 12.000 sorguda 100 milisaniyeden daha kısa gecikme süreleri rapor ediyor. Mevcut gerçek zamanlı hizmet yığınlarıyla karşılaştırıldığında, müşteriler 16 katlık bir performans artışı ölçmüş olacaklardı. Üretici, kıyaslamaların hangi veri kümelerini ve sorgu türlerini temel aldığını henüz ayrıntılı olarak açıklamadı. Düşük gecikme için optimize edilmiş birçok sistemden farklı olarak Reyden, yalnızca basit anahtar/değer sorguları için tasarlanmamıştır, aynı zamanda daha karmaşık analitik sorguları da işleyebilir.
Duyurudan sonra devamını okuyun
Mevcut Göl Evinde Yönetişim
Lakehouse//RT, Databricks'in Unity kataloğuyla entegre olur. Yönergeler, izinler ve denetim özellikleri aynı zamanda gerçek zamanlı sorgular için de geçerlidir. Ek yönetişim katmanlarına veya özel veri formatlarına gerek olmamalıdır. Üreticiye göre, gerçek zamanlı verilere dakikalar içinde erişmek için mevcut Delta veya Iceberg tablolarını seçmeniz yeterli. Ayrı bir CDC veya senkronizasyon hattına gerek yoktur.
Databricks, Lakehouse//RT'yi mevcut motor ailesinin bir uzantısı olarak sınıflandırıyor. Veri mühendisliği ve veri bilimi için Spark ve analitik iş yükleri için Photon'a ek olarak yeni motorun düşük gecikme alanlarını kapsaması amaçlanıyor.
İlk referans müşterileri ve açık sorular
Databricks, Cisco'yu ve reklam teknolojisi sağlayıcısı Magnite'ı hedef müşteriler olarak adlandırıyor. Cisco, gerçek zamanlı verilerde tehdit avına yanıt sürelerinde beş kat iyileşme olduğunu bildirdi. Magnite, önemli kontrol paneli sorguları için yanıt sürelerinin 200 milisaniyeden kısa olduğunu bildiriyor. Lakehouse//RT'nin gerçekten özelleştirilmiş gerçek zamanlı veritabanlarının yerini alıp alamayacağı açık bir soru olmaya devam ediyor. Bugüne kadar yayınlanan performans verileri yalnızca Databricks'ten ve seçilmiş referans müşterilerden gelmektedir. Şu anda diğer gerçek zamanlı sistemlerle bağımsız bir kıyaslama veya doğrudan karşılaştırma bulunmamaktadır.
Uygulamada kanıtlanması durumunda mimari, Databricks'in analitik, işlemsel ve yapay zeka iş yüklerini ortak bir platformda bir araya getirme stratejisinde bir başka adıma işaret edebilir. Ancak beta durumu, bu iddianın henüz üretim kullanımında kanıtlanmadığını da gösteriyor. Aynı zamanda Databricks, önceden ayrı olan operasyonel ve analitik veri mimarilerini daha yakından birbirine bağlamak için ilave adımları da duyurdu.
(yardımcı)
Bir yanıt yazın