Genel Bakış 4: Derin Öğrenme-Neden Derin Farkı Veriyor

Bu serinin önceki katkıları, sinir ağlarının basit kurucu unsurlardan oluştuğunu göstermiştir. Sadece bu kurucu unsurların birçoğunun farklı katmanlardaki kombinasyonu, modern yapay zeka sistemlerini modelleyen keşiflere izin verir. Tam olarak “derin öğrenme” kavramının geldiği yerdir: otomatik öğrenmeyi derinlik veya daha katmanlı nöronal ağlarla tanımlar.

Golo Roden, yerel web GmbH'nin kurucusu ve CTO'sudur. Olaylara ve hizmetlere dayalı olarak dağıtılmış mimarilere özellikle dikkat ederek web ve bulut uygulamalarının ve arıların anlayışı ve geliştirilmesi ile ilgilidir. Yol gösterici ilkesi, yazılımın gelişiminin kendi başına bir son olmaması, ancak her zaman aşağıda bir profesyonellik izlemesi gerektiğidir.

Deer'ın katkısı, sinir ağları bağlamında “derin” ne anlama geldiğini açıklığa kavuşturur, çünkü ek katmanlar performansı artırır ve hangi tipik mimariler pratikte kullanılır.

Gerçekten “derin” demek

Bir sinir ağı farklı gizli seviyeler içerdiğinde, genellikle iki veya üçten daha fazla derin öğrenme konuşulur. Her seviye önceki katmanın masrafını çıkarır ve bu nedenle karmaşık işlevleri modellemenize izin verir. Basit ağlar esas olarak doğrusal ve biraz doğrusal olmayan ilişkiler yakalarken, derin ağlar yüksek boyutlu yapıları ve modelleri tanıyabilir.

Daha derin ağlara yönelik gelişme sadece üç faktör için mümkün oldu:

Daha güçlü hesaplama gücü – Özellikle grafik kartlar (GPU) ve daha sonra TPU gibi özel donanımlar aracılığıyla.
Daha fazla miktarda verieğitim için kullanılabilir.
Geliştirilmiş eğitim süreciAğırlıkların başlatılması, düzenleme teknikleri ve optimize edilmiş aktivasyon fonksiyonları dahil.

Özelliklerin hiyerarşik öğrenmesi

Derin öğrenmenin temel ilkesi hiyerarşik karakteristik ekstraksiyondur. Derin bir ağın her seviyesi daha yüksek bir soyutlama üzerinde çalışmayı öğrenir:

İlk katmanlar Basit yapıları, örneğin bir görüntüdeki kenarları tanıyın.
Orta katmanlar Onları köşeler veya eğriler gibi daha karmaşık nedenlerle birleştirin.
Geç katmanlar Yüzler, arabalar veya karakterler gibi tüm nesneleri tanımlamak.

Bu hiyerarşi oluşumu otomatik olarak eğitim verilerinden kaynaklanır ve derin öğrenmeyi özellikle güçlü hale getirir: sistemler, bunlara önceden çıkmak zorunda kalmadan aynı özellikleri keşfedebilir.

Tipik mimariler

Bazı veri türleri için optimize edilen derin öğrenmede çeşitli mimariler kurulmuştur.

Konjolition sinir ağları (CNN) görüntü ve videoların görüntüleri konusunda uzmanlaşmıştır. Yerel görüntü alanlarını analiz eden ve bu nedenle değişmez çeviriyi öğrenen katlanır katmanlar (“cazibe katmanları”) kullanırlar. Bir CNN, örneğin, nerede olursa olsun, bir gözün fotoğrafta bir göz olduğunu fark eder. CNN'ler, görüntülerin sınıflandırılmasında ve nesnelerin tanınmasında standarttır.

Metin, dil veya zaman serisi gibi dizileri işlemek için tekrarlayan sinir ağları (RNN) geliştirilmiştir. Daha sonra aktıkları önceki adımlardan hangi bilgileri geri bildirimleri var. Bu, bağlantıları farklı zamansal aşamalarda modellemenizi sağlar. LSTM (kısa vadeli kısa vadeli bellek) ve Grus (çitle çevrili tekrarlayan birimler) gibi varyantlar, ilgili bilgileri unutmak gibi tipik problemleri çözer.

Otomatik kod, öğeleri sıkıştıran ve bu nedenle tekrar yeniden yapılandıran ağlardır. Verilerin kompakt bir temsilini dolaylı olarak öğreneceksiniz ve anormalliğin tanınması veya önleme için kullanılması için kullanılacaksınız. Gibi genişletilmiş varyantlar Varyasyonel Authoders (VAE) ayrıca üretken uygulamalara izin verir.

Bu mimari, birçok modern yapay zeka uygulamasının temelini oluşturmaktadır. Bununla birlikte, henüz son nokta değiller: son yıllarda, transformatörler birçok alanda, özellikle dilin detaylandırılmasında klasik RNN'nin yerini aldı. Bu yüzden bu dizinin bir sonraki bölümünde mümkün olacak.

Derin öğrenmenin zorlukları

Derin ağlar güçlüdür, ancak onlarla yeni zorluklar getirir:

Veri için mükemmel açlık: Yeterli eğitim verisi olmadan, derin modeller aşırı adaptasyon eğilimindedir.
Yoğun hesaplama: Eğitim ve çıkarım özel donanım ve yüksek enerjili ofis gerektirir.
Artan derinlik ile izlenebilirliğin azalmaya devam ettiğini ve bu da birçok uygulama alanı için sorunlu olduğunu açıklamak zordur.

Bununla birlikte, derin öğrenme, mevcut AI keşiflerinin çoğu için kendisini temel bir teknoloji olarak belirlemiştir.

görüş

Bir sonraki bölüm Transformers: büyük dil modellerine ve diğer birçok modern sisteme izin veren mimari. Klasik RNN'nin neden sınırlarına ulaştığını ve kendilerinin pozisyonunun dilin işlenmesinde nasıl devrim yarattığını açıklıyor.

(RME)