Google, yapay zeka destekli dosya türü tanıma için Magika 1.0'ı yayınladı

Google'ın açık kaynaklı yapay zeka destekli dosya türü tanıma aracı Magika'nın ilk kararlı sürümü mevcut. Uygulama, Rust'ta 1.0 sürümü için yeniden oluşturuldu ve 200'den fazla farklı dosya türünü destekliyor; bu da geçen yılın alfa sürümünün iki katı.

Google'a göre yeni Rust geliştirmesi önemli performans iyileştirmeleri sağlıyor. Magika, M4 çipli bir MacBook Pro'da saniyede yaklaşık 1000 dosya işler. Araç, hızlı AI çıkarımı için ONNX Runtime'ı ve eşzamansız paralel işleme için Tokio'yu kullanır. Yeni yerel komut satırı istemcisine ek olarak Python ve TypeScript modülleri de mevcuttur.

Jupyter Not Defterlerinden WebAssembly'a

Genişletilmiş tür tanıma aynı zamanda farklı alanlardaki özel formatları da kapsar: Buna Jupyter not defterleri, NumPy dizileri veya PyTorch modelleri gibi veri bilimi formatlarının yanı sıra modern programlama dilleri (Swift, Kotlin, TypeScript, Dart, Solidity, Zig) ve DevOps yapılandırma dosyaları (Dockerfiles, TOML, HashiCorp HCL) dahildir. Magika ayrıca JSON ve JSONL veya C ve C++ kodları gibi benzer formatları daha kesin bir şekilde ayırt edebilir.

Google, genişletilmiş modeli eğitmek için iki zorluğun üstesinden gelmesi gerektiğini söyledi: Eğitim veri kümesi 3 terabaytın üzerine çıktı; bu da verimli akış için dahili SedPack kitaplığının kullanılmasını gerektiriyordu. Gerçek dünyadan yeterli sayıda örneğin bulunmadığı nadir veya özel dosya türleri için şirket, üretken yapay zekaya yöneldi: Google'ın Gemini modeli, kodu ve yapılandırılmış dosyaları farklı formatlar arasında çevirerek sentetik eğitim verileri üretti.

Magika, Linux, macOS ve Windows'ta kurulabilir. Geliştiriciler ayrıca aracı bir kitaplık olarak Python, TypeScript veya Rust projelerine entegre edebilirler. Google'a göre proje, alfa sürümünden bu yana ayda bir milyondan fazla indirme aldı.

(fo)