ileri beslemeli yapay sinir ağlarında backpropagation
advertisement
İLERİ BESLEMELİ YAPAY SİNİR AĞLARINDA BACKPROPAGATİON (GERİYE YAYILIM) ALGORİTMASININ SEZGİSEL YAKLAŞIMI Meriç ÇETİN Pamukkale Üniversitesi Bilgisayar Mühendisliği Bölümü YAPAY SİNİR AĞLARI Yapay Sinir Ağları (YSA); Genel olarak insan beyninin ya da merkezi sinir sisteminin çalışma prensiplerinin taklit eden bilgi işleme sistemleridir. Yapay Zeka; İnsanın düşünme yapısını anlamak ve bunun benzerini ortaya çıkaracak bilgisayar işlemlerini geliştirmeye çalışmaktır. Öğrenme, gerekçeleme, problem çözme v.b. gibi insanoğlunun davranışlarını gösterebilen sistemlerle ilgilenen bir bilgisayar bilimidir. Amacı insanların davranışlarının ve sezgisel yeteneklerinin bilgisayar üzerindeki benzetimidir. YSA Uygulama Alanları YSA Özellikleri Öğrenebilirler, Elektronik Tecrübe kazanabilirler, Haberleşme,Telekomünik asyon Bu tecrübeyi kullanarak yeni problemleri çözebilir, Otomasyon ve Kontrol Eksik veri ile problemler çözebilirler, Robotik Uygulamaları Tıp, Görüntü Tanıma Arıza Analizi ve Tespiti Savunma Sanayi,Üretim Bankacılık ve Finans Belirli bir algoritma yerine sezgisel yöntemler kullanırlar, Yanlış yapabilirler… Çok Girişli S Nöronlu Hücre Modeli Bir çok giriş için genellikle bir nöron yeterli olmayabilir. Paralel işlem yapan birden fazla nörona ihtiyaç duyulduğunda katman kavramı devreye girmektedir. S tane nöronun tek bir katmanı Şekil’de gösterilmiştir. Burada R girişin her biri bir nörona bağlıdır. Çok Katmanlı Nöronlar Üç katmanlı bir ağın genel yapısı Backpropagation (Geriye Yayılım) Algoritması Backpropagation Algoritması: Bir giriş setine karşılık olarak özel bir fonksiyonel karakteristiği elde edebilmek için çıkışlar oluşturmak üzere ağırlıkların ayarlanması prensibine dayanan bir YSA algoritmasıdır. Standart Backpropagation Algoritması: Katmanlar arasında tam bir bağlantının bulunduğu çok katmanlı, ileri beslemeli ve öğreticili olarak eğitilen bir YSA modelidir ve hataları geriye doğru çıkıştan girişe azaltmaya çalışmasından dolayı bu ismi almıştır. Bir geri yayılım ağındaki basamaklardan oluşur: Eğitim kümesinden bir sonraki örneği seçme ve ağ girişine giriş vektörü uygulama. Ağın çıkışını hesaplama. Ağın çıkışı ile istenen vektör (hedef vektör) arasındaki hatayı hesaplama. Hatayı küçültecek şekilde ağın ağırlıklarını ayarlama. öğrenme aşağıdaki Backpropagation Algoritması Backpropagation Algoritması, YSA araştırmaları için önemli bir buluştur. Ancak birçok pratik uygulama için yetersiz kalmaktadır. SBP Algoritmasının en büyük problemi, çok uzun eğitim süresine sahip olmasıdır. Pratik problemlerde temel SBP Algoritmasının kullanılması, YSA eğitiminin günlerce hatta haftalarca sürebilmesinden dolayı mümkün değildir. Bu sebeple algoritmada yakınsamayı hızlandırmak için bazı metotlar geliştirilmiştir. SBP Algoritmasının performansını iyileştirecek birkaç teknikten biri olan Sezgisel Yaklaşım Teknikleri momentum kullanılarak yapılır. Momentum katsayısı, YSA’nın daha hızlı toparlanmasına yardım eden bir faktördür. Momentumlu Backpropagation Algoritması SBP Algoritmasında öğrenme oranı küçük seçilirse öğrenme yavaşlayacak, büyük seçilirse ağırlık değişimleri salınımlı ve kararsız olacaktır. Bu sakıncalar, SBP Algoritmasında ağırlıklara uygulanacak düzeltme miktarını belirleyen denklemlere momentum terimi eklenerek azaltılabilir. Momentum katsayısı 0 < < 1 aralığında seçilir. Momentum katsayısı ağın daha hızlı toparlanmasına yardım eden bir faktördür. Amacı öğrenme esnasında ağın salınım yapmasını önlemektir. •Dik İniş Backpropagation Algoritması Parametreleri m m m1 T W ( k ) s (a ) m b ( k ) s m •Momentumlu Backpropagation Algoritması Parametreleri m m m W ( k ) γW ( k 1) (1 γ )s (a m m b ( k ) γb ( k 1) (1 γ )s m1 T m ) Örnek Problemler AND Problemi XOR Problemi x1 x2 y x1 x2 y 0 0 0 0 0 0 0 1 0 0 1 1 1 0 0 1 0 1 1 1 1 1 1 0 Örnek Problemler Parity-3 Problemi x1 x2 x3 y -1 -1 -1 -1 -1 -1 1 1 -1 1 -1 1 -1 1 1 -1 1 -1 -1 1 1 -1 1 -1 1 1 -1 -1 1 1 1 1 Örnek Problemler Parity-4 Problemi x1 x2 x3 x4 y -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 1 1 -1 -1 1 1 -1 -1 1 1 -1 -1 1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 -1 1 1 -1 1 -1 -1 1 1 -1 -1 1 -1 1 1 -1 AND,XOR,Parity-3 ve Parity-4 Problemleri için simülasyon sonuçları SONUÇ Bu çalışmada, farklı karmaşıklık derecelerine sahip lojik problemler SBP Algoritması ve Momentumlu Backpropagation Algoritması tarafından çözülmüştür. Simülasyon sonuçları göstermiştir ki yapay sinir ağlarının çözmeye çalıştığı problemin karmaşıklığı arttıkça, problemi çözen yapay sinir ağı yapısının karmaşıklığı da artmıştır. Burada ayrıca yapının karmaşıklığı kadar kullanılan öğrenme algoritmasının da büyük önem kazandığı söylenebilir. Momentum ilavesi Standart Backpropagation Algoritmasına Ortalama Döngü Sayısı (ODS) açısından büyük çoğunlukla olumlu etkide bulunmuştur. Ancak problemin karmaşıklığı arttıkça Momentumlu Backpropagation Algoritması, SBP Algoritması gibi çözümde çok fazla etkili olamamıştır. Sonuç olarak, momentum ilavesi Backpropagation Algoritmasına olumlu katkı sağlar ve bu tür basit problemlerin çözümünde önerilebilir. TEŞEKKÜRLER…
