BAB 8 Counter Propagation

Jaringan saraf Counter Propagasi, Hecht-Nielsen (1987), lebih cepat sekitar faktor 100 dari Backpropagation, tapi lebih terbatas dalam kisaran aplikasi. Ini menggabungkan Self-Organizing (Instar) jaringan Kohonen (1984) dan Grossberg ini Oustar net (1969, 1974, 1982) yang terdiri dari satu lapisan masing-masing. Memiliki sifat yang baik dari Generalisasi (penting, dalam beberapa derajat, untuk semua saraf jaringan) yang memungkinkan untuk menangani dengan baik dengan sebagian atau sebagian vektor input yang tidak benar. Kontra Propagasi jaringan berfungsi sebagai jaringan pengelompokan sangat cepat.
Strukturnya adalah seperti pada Gambar. 8.1, di mana (tersembunyi) K-layer diikuti oleh output G-layer.

A. Kohonen Self - Organizing Map (SOM) Layer
 

Lapisan Kohonen [Kohonen 1984, 1988] adalah lapisan “Winner-take-all” (WTA). Dengan demikian, untuk vektor masukan yang diberikan, hanya satu Kohonen lapisan output adalah 1 sedangkan semua orang lain adalah 0. ada vektor pelatihan yang diperlukan untuk mencapai kinerja ini. Maka nama: Self-Organizing Map Layer (SOM-Layer).

Biarkan output bersih dari lapisan neuron Kohonen dinyatakan sebagai kj. Kemudian

B. Grossberg Layer

Output dari lapisan Grossberg adalah output tertimbang lapisan Kohonen, oleh Gambar. 8.1. Yang menunjukkan output bersih dari lapisan Grossberg [Grossberg, 1974] direpresentasikan sebagai gj kemudian

C. Training of the Kohonen Layer 

Lapisan Kohonen bertindak sebagai classifier dimana semua vektor masukan yang sama, yaitu mereka yang termasuk kelas yang sama menghasilkan output kesatuan dalam Kohonen yang sama neuron. Selanjutnya, lapisan Grossberg menghasilkan output yang diinginkan untuk diberikan kelas seperti yang telah diklasifikasikan dalam lapisan Kohonen di atas. Dengan cara ini, generalisasi kemudian dicapai.

Sedangkan di hampir bobot awal semua NN dipilih untuk menjadi pseudo random nilai rendah, dalam kasus jaringan Kohonen, setiap bobot pseudo random harus dinormalisasi jika sebuah pendekatan untuk x0 adalah menjadi makna apapun. Tapi kemudian, bahkan bobot random normal mungkin terlalu jauh dari x0 untuk memiliki kesempatan untuk konvergensi pada tingkat yang wajar. Selain itu jika ada beberapa Kelas yang relatif dekat akan dipisahkan melalui klasifikasi jaringan Kohonen. Namun, jika kelas tertentu memiliki berbagai penyebaran nilai-nilai, beberapa Kohonen neuron dapat diaktifkan untuk kelas yang sama. Namun, situasi yang terakhir bisa kemudian dikoreksi oleh lapisan Grossberg yang kemudian akan memandu lapisan output Kohonen tertentu yang berbeda  ke output keseluruhan yang sama.

D. Training of Grossberg Layers

Kelebihan  utama dari lapisan Grossberg adalah kemudahan dalam pelatihan. Pertama output dari lapisan Grossberg dihitung seperti pada jaringan lain, yaitu :

kj menjadi lapisan Kohonen output dan vij yang menunjukkan bobot Grossberg lapisan. Jelas, hanya bobot dari non zero-neuron Kohonen (non-zero Grossberg lapisan input) disesuaikan penyesuaian bobot mengikuti hubungan yang sering digunakan sebelumnya, yaitu:

Ti menjadi output yang diinginkan (target), dan untuk n + 1 iterasi β menjadi awalnya diatur ke sekitar 1 dan secara bertahap dikurangi. Awalnya vij secara acak ditetapkan untuk menghasilkan vektor dari norma 1 per setiap neuron.

Oleh karena itu, bobot akan bertemu dengan nilai rata-rata output yang diinginkan untuk terkait pasangan input-output (x-T).

E. The Combined Counter Propagation Network

Kita mengamati bahwa lapisan Grossberg dilatih untuk berkumpul dengan  (T) output yang diinginkan, sedangkan lapisan Kohonen dilatih untuk berkumpul dengan input rata-rata. Oleh karena itu, lapisan Kohonen dasarnya adalah pra-classifier untuk memperhitungkan input tidak sempurna, lapisan Kohonen yang tanpa pengawasan sedangkan lapisan Grossberg.

Jika vektor sasaran m Tj (dimensi p) secara simultan diterapkan pada m × p output pada sisi output dari lapisan Grossberg untuk memetakan Grossberg kemudian setiap set p Grossberg neuron akan berkumpul untuk input sasaran yang tepat, mengingat x masukan terdekat yang diterapkan pada masukan lapisan Kohonen pada saat itu. Syarat Counter-Propagasi (CP) adalah karena dari masukan dan target aplikasi ini pada setiap jaringan mengakhiri.

F. Counter Propagation Network Case Study : Character Recognition

Studi kasus ini berkaitan dengan mengenali tiga digit “0”, “1”, “2” dan”4″. Dengan menggunakan jaringan saraf Kontra Dakwah (CP). Ini melibatkan merancang jaringan CP, pelatihan dengan set data standar (8-by-8); pengujian jaringan menggunakan data uji dengan 1, 5, 10, 20, 30, kesalahan 40-bit dan mengevaluasi kinerja pengenalan.

 Network structure

Struktur CP umum diberikan pada Gambar. 8.A.1:

Sebuah desain berbasis MATLAB didirikan untuk membuat jaringan default:

Contoh: Untuk menciptakan jaringan CP dengan 64-input-neuron, 4-Kohonen-neuron, dan 3-Grossberg-neuron:

Network training

(A) set Pelatihan Data
Kumpulan data pelatihan diterapkan pada jaringan CP adalah sebagai berikut:

(B) Pengaturan Berat:
(1) Dapatkan semua vektor data training Xi, i = 1,2. . . L
(2) Untuk setiap kelompok vektor data milik kelas yang sama, Xi, i = 1,2. . . N.

(A) Menormalkan setiap Xi, i = 1,2. . . N, Xi0 = Xi / sqrt (ΣX2j)
(B) Hitunglah rata-rata vektor X = (ΣXj 0) / N
(C) Menormalkan rata-rata vektor X, X0 = X / sqrt (X2)
(D) Mengatur sesuai bobot Kohonen Neuron ini Wk = X
(E) Mengatur bobot Grossberg [W1kW1k. . . W1K] ke vektor output Y

(3) Ulangi langkah 2 sampai setiap kelas data pelatihan disebarkan ke jaringan.

Test mode

Tes kumpulan data yang dihasilkan oleh prosedur, yang menambahkan kesalahan jumlah bit tertentu dengan aslinya kumpulan data training. Dalam studi kasus ini, prosedur random digunakan untuk melaksanakan fungsi ini.

Example:
testingData = getCPTestingData(trainingData, numberOfBitError, numberPerTrainingSet)

dimana parameter, “numberOfBitError”, adalah untuk menentukan jumlah yang diharapkan dari bit kesalahan; “NumberPerTrainingSet” adalah untuk menentukan ukuran yang diharapkan dari pengujian kumpulan data. Dan diharapkan pengujian kumpulan data didapat oleh parameter output “TestingData”.

Results and conclusions
(A) tingkat Sukses vs kesalahan bit
Dalam percobaan ini, jaringan CP dengan 64-masukan, 4-Kohonen-neuron, dan 3-Grossberg-neuron yang digunakan. Tingkat keberhasilan ditabulasi sebagai berikut:

(B) Kesimpulan

1. Jaringan CP adalah kuat dan cepat.
2. Jaringan CP memiliki tingkat keberhasilan yang tinggi bahkan jika dalam kasus kesalahan bit yang besar.