BAB 9 Adaptive Resonance Theory

Adaptive Resonance Theory (ART) berasal oleh Carpenter dan Grossberg (1987a) untuk tujuan pengembangan jaringan saraf tiruan yang secara kinerja, khususnya (namun bukan hanya) di pengenalan pola atau klasifikasi tugas, lebih dekat dengan yang ada pada jaringan saraf biologis  dibanding kasus yang di sebelumnya dibahas jaringan. Salah satu tujuan utama mereka adalah untuk datang dengan jaringan saraf yang dapat melestarikan elastisitas jaringan biologis dalam belajar atau dalam mengenali pola-pola baru, yaitu, dalam belajar tanpa harus menghapus (lupa) atau untuk secara substansial menghapus pola sebelumnya belajar.

Karena tujuan dari jaringan saraf ART adalah untuk  mendekati jaringan saraf biologis, jaringan saraf ART tidak membutuhkan “guru” tapi sebagai fungsi tanpa pengawasan jaringan mengorganisir diri. ART-I versi berhubungan dengan input biner. Perpanjangan ART-I yang dikenal sebagai ART-II [Carpenter dan Grossberg, 1987b] penawaran dengan kedua pola analog dan dengan pola diwakili oleh berbagai tingkat abu-abu.

The ART Network Structure

Jaringan ART terdiri dari 2 lapisan; (I) Perbandingan Layer (CL) dan (II) Pengakuan Layer (RL), yang saling berhubungan. Selain itu, jaringan terdiri dari dua elemen Gain, satu, (G1) keluaran g1 untuk lapisan Perbandingan dan kedua, (G2) keluaran g2 untuk Layer Pengakuan, dan ketiga, ulangan sebuah elemen dimana perbandingan, seperti yang dilakukan di Layer Perbandingan, dievaluasi sehubungan dengan terpilih nilai toleransi (value “kewaspadaan”).

A. The Comparison Layer (CL)

Sebuah XJ elemen biner dari m-dimensi vektor masukan x dimasukkan ke dalamj (j = 1·m; m = dim (x)) neuron dari CL. j neuron juga diinput oleh jumlah tertimbang (pj) dari pengakuan-output vektor r dari RL di mana


ri menjadi komponen bukan dari m-dimensi pengakuan-output vektor r dari lapisan RL dan n menjadi jumlah kategori untuk diakui.
Selain itu, semua neuron CL menerima output skalar g1 sama sama elemen G1. m-dimensi (m = dim (x)) keluaran biner perbandingan-layer vektor c dari lapisan CL awalnya sama dengan vektor input, yaitu, pada awal perulangan

cj(0) = xj(0) (9.2)

Also, initially:

g1(0) = 1 (9.3)

CL ini vektor output c memenuhi (dua pertiga) kekuasaan mayoritas kebutuhan s.t. -nya output

cj = 1

setidaknya dua dari tiga input ini (CL) neuron adalah 1. Oleh karena itu, pers. (9.2), (9.3)
menyiratkan, oleh “dua pertiga mayoritas” aturan, yang awalnya

c(0) = x(0) (9.4)

karena awalnya tidak ada umpan balik ada dari lapisan RL, sementara g1 (0) = 1.

B. The Recognition Layer (RL)

Lapisan RL berfungsi sebagai lapisan klasifikasi. Menerima sebagai masukan n-dimensi vektor bobot d dengan unsur-unsur dj, yang merupakan bentuk tertimbang CL ini vektor output c; s.t.


RL neuron dengan maksimal (winner) dj akan menampilkan “1” selama g2 = 1. Semua hal lain akan menampilkan nol. Oleh karena itu, lapisan RL berfungsi untuk mengklasifikasikan nya vektor input. Bobot bij dari j (winner) neuron RL (memiliki maksimal keluaran dj) bahwa merupakan sebuah contoh dari pola vektor c, di kesamaan untuk sifat-sifat memori BAM dibahas sebelumnya (Sec. 7.3), memenuhi keluaran dj

dj = cT c at maximum (as in the Kohonen layer) (9.6)

dj mungkin menjadi hasil maksimal dari Persamaan. (9.5), karena bj = c; di6 = j = 0. Kita mencapai penguncian dari satu neuron (neuron winner) untuk output yang maksimal dengan keluaran  (seperti dalam Sec 8.2.):

rj = 1 (9.7)

while all other neurons yield

ri6=j = 0 if ρ = 0 (no inhibition) (9.8)

dj menjadi mungkin hasil maksimal dari Persamaan. (9.5), karena bj = c; di6 = j = 0. Kita mencapai penguncian dari satu neuron (tujuan skema interkoneksi ini digunakan di RL yang didasarkan pada penghambatan lateral. Penghambatan interkoneksi lateral seperti pada Gambar. 9.2, di mana Output ri setiap neuron (i) terhubung melalui (negatif) matriks berat penghambatan L = {lij}, i 6 = j, di mana lij <0 untuk setiap neuron lain (j). Oleh karena itu, neuron dengan ae neuron winner) untuk maksimal yang output dengan keluaran winner-take-all (seperti dalam Sec 8.2.):

output yang besar menghambat semua neuron lain. Selanjutnya,umpan balik positif ljj> 0 digunakan sehingga setiap neuron keluaran rj diumpankan kembali dengan bonot yang positif untuk masukan sendiri untuk memperkuat output (untuk output “satu”). penguatan positif ini disebut sebagai resonansi adaptif untuk memotivasi istilah resonansi di “ART”.

C. Gain and Reset Elements

Unsur-unsur gain manyediakan keluaran skalar yang sama untuk semua neuron yang bersangkutan seperti di gambar 1, g1 yang diinput ke neuron CL dan g2 RL neuron, di mana:





Oleh karena itu, jika setidaknya satu elemen dari x adalah 1 maka g2 = 1, jika ada unsur g2 = 1 tetapi juga ada unsur r adalah 1 maka g1 = 1, yang lain g1 = 0. (Lihat Tabel 9.1). Perhatikan bahwa bar atas menunjukkan negasi, sedangkan ∩ menunjukkan logis “dan (persimpangan). Perhatikan bahwa jika OR (x) adalah nol, maka OR (r) selalu nol, olehderivasi dari r seperti di atas.

Akhirnya, elemen ulang mengevaluasi tingkat kesamaan antara input vektor x dan CL keluaran vektor c dalam hal η rasio, di mana:

η0 menjadi nilai pre-set awal toleransi, maka sinyal reset (ρ) dikeluarkan untuk menghambat neuron RL tertentu yang telah dipecat pada iterasi diberikan. Lihat gambar 9.2. Faktor ulang berdasarkan dari jarak Hamming antara vektor c dan x juga dapat dipertimbangkan.

D.  Setting - Up of The Art Network

(A) Inisialisasi nilai
CL matriks Berat B diinisialisasi [Carpenter dan Grossberg, 1987a] sebagai berikut:


Sebuah η0 tinggi menghasilkan diskriminasi baik, sedangkan η0 rendah memungkinkan pengelompokan lebih pada pola berbeda. Oleh karena itu, salah satu mungkin mulai dengan η0 lebih rendah dan meningkatkan secara bertahap.

(B) Pelatihan

Pelatihan ini melibatkan pengaturan dari matriks berat B (dari RL) dan T (CL) dari jaringan ART. Secara khusus, jaringan mungkin terkena pertama  untuk periode singkat untuk vektor masukan berturut-turut, tidak memiliki waktu untuk berkumpul untuk setiap vektor input tetapi hanya untuk mendekati beberapa pengaturan yang sesuai dengan beberapa rata-rata x.

Parameter bij vektor bj dari B yang ditetapkan sesuai dengan:

di mana E> 1 (biasanya, E = 2), ci = komponen i dari vektor c mana j sesuai dengan neuron pemenang.
Selanjutnya, TIJ parameter T ditetapkan sedemikian rupa sehingga

tij = ci ∀i = 1 · · · m; m = dim(x)

E. Properties of ART

Jaringan ART memiliki beberapa fitur yang menjadi ciri jaringan, sebagai berikut:
1. Setelah jaringan stabil (bobot mencapai steady state), penerapan suatu masukan vektor x, yang telah digunakan dalam pelatihan, akan mengaktifkan neuron RL yang benar tanpa pencarian (iterasi). Properti ini didapat dari akses langsung mirip dengan pengambilan cepat dari pola yang dipelajari sebelumnya dalam jaringan biologis.
2. Proses pencarian stabil pada neuron winner.
3. Pelatihan ini stabil dan tidak beralih pada neuron winner yang telah diidentifikasi.
4. Pelatihan stabil dalam jumlah iterasi terbatas.

Untuk melanjutkan dari pola biner (0/1), pola dengan berbagai nuansa abu-abu, penulisan jaringan ART-I di atas dikembangkan dari jaringan ART-II [Carpenter dan Grossberg, 1987b] yang tidak dibahas di sini, tapi yang mengikuti dasar filsafat jaringan ART-di atas saya jelaskan  sementara untuk memperluas input kontinu

Hal di atas menunjukkan bahwa jaringan ART; memiliki banyak fitur yang diinginkan dari
jaringan biologis, seperti tanpa pengawasan, elastis, stabil dan terbatas
dari jumlah iterasi, dan memiliki recall pola yang dipelajari sebelumnya.
Kelemahan utama dari jaringan ART-I adalah bahwa neuron yang hilang menghancurkan
proses pembelajaran seluruh (karena x dan c harus dari dimensi yang sama). Properti penting dari jaringan saraf biologis. Padahal banyak
sifat dari jaringan ART yang diuraikan di atas yang hilang dalam jaringan sebelumnya, kelemahan terakhir ini tidak fundamental bagi jaringan dari bab sebelumnya. Hal ini juga membawa kita untuk mempertimbangkan desain jaringan saraf bab berikutnya,
khusus, Cognitron / Neocognitron desain jaringan saraf dan LAMSTAR yang
desain jaringannya menghindari kekurangan di atas.

F. ART - I Network Case Study Character Recognition

Studi kasus ini bertujuan untuk menerapkan pengenalan karakter sederhana menggunakan ART-I jaringan saraf. Jaringan ART terdiri dari 2 lapisan: perbandingan Layer dan Pengenalan Lapisan.
Struktur umum jaringan ART-I diberikan pada Gambar. 9.A.1:

The data set
Jaringan syaraf tiruan ini harus mengakui beberapa karakter dalam jaringan 6 × 6. Jaringan Neural ini diuji pada 3 karakter berikut:

Selain itu jaringan diuji pada karakter dengan beberapa kebisingan (dari 1 sampai 14 bit kesalahan), seperti dalam contoh berikut:

Juga, jaringan harus mampu memahami jika karakter bukan milik yang telah ditetapkan set. Misalnya karakter berikut yang tidak ditetapkan dalam (Dilatih) set:

Kita dapat mempertimbangkan sejumlah besar karakter tidak standar, untuk alasan ini Karakter ini hanya dibuat secara acak.
Network design
(A) struktur Jaringan
Untuk mengatasi masalah ini struktur jaringan Gambar. 9.A.2 diadopsi, di mana x0 · x35 adalah array yang mengimplementasikan 6 × 6 kotak di masukan ke jaringan kita.

(B) Penetapan bobot
Bobot ini awalnya ditetapkan dengan:

Selama fase pelatihan kami memperbarui bobot menurut:

(C) dasar-dasar Algoritma
Berikut ini adalah prosedur untuk perhitungan jaringan ART:
(1) Menetapkan bobot seperti yang dijelaskan sebelumnya.
(2) Melatih jaringan dengan formula yang dijelaskan sebelumnya dengan beberapa karakter.
Sekarang kita bisa menguji jaringan dengan pola dengan kebisingan dan menguji jaringan dengan Pola yang tidak termasuk ke set asli.
Untuk membedakan pola diketahui dari pola diketahui jaringan menghitung berikut

Jika η <η0 daripada Pengakuan Lapisan dihambat dan semua neuron nya akan menampilkan “0”.
(D) pelatihan Jaringan
Jaringan ini dilatih sebagai berikut (kode Java):





Kode penuh pelaksanaan adalah pada lampiran

Hasil kinerja dan kesimpulan

Jaringan ini disimulasikan untuk menyelidiki bagaimana kekuatnya . Untuk alasan ini kita simulasi jaringan ini menambahkan 1 sampai 18 bit kebisingan. Hasil simulasi ini dikumpulkan dalam tabel berikut.
Kolom pertama berisi jumlah bit suara ditambahkan pada input dan kolom kedua memberikan persentase kesalahan.
Dapat dilihat dari tabel dan dari Gambar. 9.A.3, jaringan ini sangat kuat di suara, Dengan suara 8 bit atau kurang jaringan selalu mengakui pola yang benar. Dengan suara 10 bit (dari total 36 bit), jaringan mengidentifikasi benar dalam 90% kasus.



Kita juga menyelidiki perilaku jaringan ketika kita menggunakan  karakter yang tidak diketahui. Untuk alasan ini kita lakukan simulasi lain untuk menguji apakah jaringan output mengaktifkan “Tidak ada pola” ketika disajikan dengan karakter yang diketahui. Dalam hal ini jaringan masih berkinerja baik (ia mengerti bahwa ini bukan Pola yang biasa) pada tingkat keberhasilan 95,30% (yaitu gagal di 4,70% kasus). Lihat gambar 9.A.4.

G. ART - I Case Study : Speech Recognition

Masalah pengenalan suara dipertimbangkan di sini adalah salah satu yang membedakan antara tiga kata yang diucapkan: “lima”, “enam” dan “tujuh”. Di bawah desain ini, untuk sekali diucapkan, yang melewati array lima band pass filter dan energi output dari masing-masing filter ini adalah pertama rata-rata selama interval 20 milidetik, lebih dari 5 segmen seperti berjumlah 100 milidetik. Kekuatan (energi) dibandingkan terhadap ambang tertimbang pada setiap pita frekuensi untuk menghasilkan 5 × 5 matriks 1 dan 0 yang sesuai, dengan mengucapkan masing-masing kata dari himpunan kata-kata dipertimbangkan, seperti yang ditunjukkan di bawah ini. Matriks masukan referensi diperoleh dengan mengulangi masing-masing dari tiga kata 20 kali dan rata-rata kekuatan pada setiap pita frekuensi per masing-masing lebih dari 20 milidetik segmen waktu.

Simulation programs Set-Up

Flow Charts program diberikan pada Gambar. 9.B.1.
Program ART di bawah sama dengan ART-I dan yang dilambangkan sebagai D, dimodifikasi dari reguler membentuk ART-I , menjadi

D (modified) = min(D, D1)
where D is the regular D of ART-I and
D1 = c/p; p = number of 1’s in chosen pattern

Example:

Input vector 1111000000; x = 4
Chosen pattern 1111001111; p = 8
Comparison layer 1111000000; c = 4

to yield:

D = c/x = 4/4 = 1.0 in regular ART-I
D1 = c/p = 4/8 = 0.5
D (modified) = min(D, D1) = 0.5

Modifikasi ini menghindari kesulitan tertentu dalam pengenalan dalam aplikasi ini.

Hal ini identik karena masukan adalah sama.

Updated pola = 1 hanya jika: TERAKHIR INP = 1 dan [(INPUT) atau (POLA)] = 1