BAB 13 LARGE SCALEMEMORY STORAGE AND RETRIVAL (LAMSTAR) NETWORK

Jaringan saraf yang dibahas dalam bagian ini adalah arti resmi jaringan saraf untuk penyimpanan memori skala besar dan pengambilan informasi [Graupe dan Kordylewski, 1996a, b]. Jaringan ini mencoba untuk meniru proses dari sistem saraf pusat manusia (CNS), tentang penyimpanan dan pengambilan pola, kesan dan termasuk proses melupakan dan mengingat. Ia mencoba untuk mencapai hal ini tanpa bertentangan dengan temuan dari fisiologis dan pengamatan psikologis, setidaknya dalam input / output. Selanjutnya, yang LAMSTAR (besar Memory penyimpanan dan pengambilan) Model dianggap sebagai upaya untuk melakukannya dengan cara komputasi, menggunakan alat dari jaringan saraf dari bagian sebelumnya, terutama SOM (Self Organizing Map) modul jaringan berbasis, dikombinasikan dengan alat keputusan statistik. Oleh karena itu jaringan LAMSTAR bukan saja jaringan tertentu tetapi sistem jaringan untuk penyimpanan, pengakuan, perbandingan dan keputusan itu dalam kombinasi memungkinkan seperti penyimpanan dan pengambilan yang harus diselesaikan.

 A. Basic Principles of the LAMSTAR Neural Networks 

Jaringan LAMSTAR saraf dirancang khusus untuk aplikasi untuk pemulihan, diagnosis,  klasifikasi, prediksi dan keputusan masalah yang melibatkan jumlah kategori yang sangat besar. Yang dihasilkan LAMSTAR ( Memory skala besar Penyimpanan dan Pemulihan) jaringan saraf [graupe 1997, Graupe dan Kordylewski, 1998]  dirancang untuk menyimpan dan mengambil pola dalam komputasi secara efisien, menggunakan alat jaringan saraf, terutama SOM Kohonen ini (Self Organizing Peta) modul jaringan berbasis [Kohonen, 1988], dikombinasikan dengan keputusan statistic alat.

Dengan struktur seperti yang dijelaskan dalam bagian. 13.2, jaringan LAMSTAR cocok untuk menangani masalah analitis dan non-analitis di mana data dari banyak kategori yang berbeda dan di mana beberapa kategori mungkin hilang, di mana data membutuhkan algoritma yang sangat cepat [Graupe 1997, Graupe dan Kordylewski, 1998]. Fitur-fitur ini jarang ditemukan,terutama dalam jaringan saraf lainnya.

LAMSTAR dapat dilihat seperti dalam sistem cerdas, di mana ahli informasi secara terus menerus mengembangkan setiap setiap kasus melalui pembelajaran dan korelasi. Yang unik tentang jaringan LAMSTAR adalah kemampuan untuk menangani data non-analitis, yang mungkin tepat atau tidak jelas dan di mana beberapa kategori mungkin hilang. LAMSTAR secara khusus dikembangkan dalam aplikasi untuk masalah yang melibatkan memori yang sangat besar yang berhubungan dengan banyak kategori berbeda-beda (atribut), di mana beberapa data yang tepat sedangkan data lainnya kabur dan mana (untuk masalah yang diberikan) beberapa data kategori terkadang menjadi benar-benar hilang. Akibatnya, jaringan ini  telah berhasil diterapkan dalam banyak masalah keputusan, diagnosis dan pengakuan di berbagai bidang.

Prinsip-prinsip utama dari jaringan saraf (NN) yang umum untuk hampir semua pendekatan jaringan saraf.  Unit dasar saraf atau sel (neuron) adalah salah satu yang digunakan dalam semua jaringan saraf, seperti yang dijelaskan dalam Bab 2 dan 4.

Untuk keluaran neuron dirumuskan sebagai berikut:

Dimana, f = fungsi aktivasi.

Dengan menggunakan struktur link bobot untuk keputusannya dan pencarian, jaringan LAMSTAR yang menggunakan bukan hanya nilai-nilai memori yang tersimpan w (ij) seperti dalam jaringan saraf lainnya, tetapi juga memori yang saling berkaitan ini  ke modul keputusan dan antara memori sendiri. Pemahaman LAMSTAR ini dengan demikian didasarkan tidak hanya pada memori (dalam hal bobot yang penyimpanan) tetapi juga pada hubungan di antara mereka, (dalam hal link bobot). Hubungan ini (link bobot) merupakan dasar untuk operasi. Dengan Hukum Hebb ini [Hebb, 1949], interkoneksi bobot (link bobot) menyesuaikan dan berfungsi untuk membangun ow sinyal trafik neuronal antara kelompok neuron, maka interkoneksi link-bobot (tidak berat memori penyimpanan) yang berkaitan dengan trafik, meningkat dibandingkan dengan interkoneksi lainnya [Graupe, 1997; Graupe and Lynn, 1970].

B. Detailed Outline of the LAMSTAR Network 

Basic structural elements

Modul penyimpanan dasar dari jaringan LAMSTAR adalah pengubahan oleh Kohonen terhadap modul SOM [Kohonen, 1988]. Sesuai dengan tingkat kedekatan bobot penyimpanan di BAM-akal untuk setiap masukan subword yang sedang dipertimbangkan per setiap kata masukan yang diberikan kepada jaringan saraf. Di jaringan LAMSTAR informasi disimpan dan diproses melalui link korelasi antara neuron individu dalam modul SOM terpisah. Kemampuannya untuk menangani besar jumlah kategori ini karena penggunaannya perhitungan sederhana link bobot dan oleh penggunaan fitur dari memori yang hilang. Link bobot adalah mesin utama jaringan, menghubungkan banyak lapisan SOM modul seperti yang penekanannya pada (co) hubungan link bobot antara atom memori, bukan pada atom memori (BAM bobot dari modul SOM) sendiri. Dengan cara ini, desain menjadi lebih dekat dengan pengolahan pengetahuan dalam biologi sistem saraf pusat daripada praktek di sebagian besar arti konvensional resmi saraf jaringan. Fitur yang hilang adalah fitur dasar jaringan biologis yang efisiensi tergantung pada hal itu, seperti kemampuan untuk menangani set data yang tidak lengkap.

Nilai input dari kode matriks X dinyatakan sebagai berikut:

Dimana T merupakan nilai transpos.

Gambar 13.1 Blog Diagram LAMSTAR

Banyak masukan subwords (dan sama, banyak masukan untuk hampir semua saraf lainnya Pendekatan jaringan) dapat diturunkan setelah pre-processing. Hal ini terjadi di masalah sinyal / image-processing, dimana hanya autoregressive atau diskrit spektral / parameter wavelet dapat berfungsi sebagai subword daripada sinyal itu sendiri.

Gambar 13.2 Dasar arsitektur LAMSTAR: penyederhanaan versi untuk sebagian besar aplikasi
Gambar 13.1 memberikan blok-diagram yang lengkap dan umum dari jaringan LAMSTAR. Sebuah diagram yang lebih mendasar, untuk digunakan di sebagian besar aplikasi di mana jumlah neuron per lapisan SOM tidak besar, sedangkan pada Gambar. 13.2. ini adalah penyederhanaan sedikit arsitektur umum.

Setting of storage weights and determination of winning neurons

Ketika sebuah kata masukan baru disajikan ke sistem selama fase pelatihan, jaringan LAMSTAR memeriksa semua vektor penyimpanan (wi) dalam modul SOM i yang sesuai dengan input subword xi yang akan disimpan. Jika pola yang tersimpan cocok dengan masukan subword xi dalam toleransi yang ditentukan, ia dinyatakan sebagai neuron terpilih untuk itu terutama diamati masukan subword. Neuron terpilih demikian ditentukan untuk setiap masukan berdasarkan kesamaan antara input (Vektor x dalam 13.1 Gambar. Dan 13,2) dan vektor penyimpanan w (informasi yang tersimpan). Untuk input subword xi, neuron terpilih demikian ditentukan dengan meminimalkan suatu jarak normal, sebagai berikut:

Adjustment of resolution in SOM modules

Persamaan (13.3), yang berfungsi untuk menentukan neuron terpilih, tidak berurusan secara efektif dengan resolusi dekat cluster / pola. Hal ini dapat menyebabkan degradasi akurasi dalam proses pengambilan keputusan saat keputusan tergantung pada daerah dan erat pola terkait / cluster yang menyebabkan berbeda-beda diagnosis / keputusan. Sensitivitas local neuron dalam modul SOM dapat disesuaikan dengan memasukkan sebuah pengaturan maksimal fungsi jarak Hamming dmax seperti dalam Persamaan:

Akibatnya, jika jumlah subwords yang disimpan dalam neuron tertentu (dari yang tepat modul) melebihi nilai ambang batas, maka penyimpanan dibagi menjadi dua penyimpanan yang berdekatan neuron dan dmax berkurang sesuai.

Links between SOM modules and from SOM modues to output modules 

Informasi dalam sistem LAMSTAR dikodekan melalui korelasi hubungan Li; j (Gambar. 13.1, 13.2) antara neuron individu dalam modul SOM berbeda-beda. Sistem LAMSTAR yang tidak menciptakan neuron untuk seluruh masukan kata. Sebaliknya, hanya sebagian subwords dipilih disimpan dalam asosiatif-Memory-seperti cara di modul SOM (W bobot), dan korelasi antara subwords disimpan dalam hal menciptakan / menyesuaikan L-link (Li;j pada Gambar 13.1) yang menghubungkan neuron di berbeda-beda SOM modul. Hal ini memungkinkan jaringan LAMSTAR untuk dilatih dengan sebagian lengkap set data. L-link yang mendasar untuk memungkinkan interpolasi dan ekstrapolasi pola (ketika neuron dalam model SOM tidak sesuai dengan input subword tetapi sangat terkait dengan modul lain berfungsi sebagai perkiraan interpolasi).

(Fig.13.2) [Graupe 1997, Graupe dan Kordylewski Graupe, 1997]. Nilai-nilai L-link bobot yang dimodifikasi sesuai dengan:

dimana:
:

 Link antara neuron i dalam modul k’th dan neuron j di modul m’th (yang mungkin juga menjadi  output modul m’th).

∆L, ∆M: nilai selisih (yang telah ditentukan nilainya).

untuk mengatur ∆M (baik untuk semua keputusan LAMSTAR atau hanya ketika keputusan sudah benar) sebagai:

L_max : Nilai link maksimal (umumnya tidak diperlukan, terutama ketika update melalui forgetting is performed).

Bobot Link demikian berfungsi sebagai korelasi alamat [Graupe dan Lynn, 1970] untuk mengevaluasi tariff trafik antara neuron [Graupe 1997, Minsky, 1980]. Lihat Gambar. 13.1. Bobot L link di atas  sehingga berfungsi untuk memandu proses penyimpanan dan berfungsi untuk mengecualikan pola yang benar-benar tumpang tindih, sehingga satu (atau lebih) dari mereka yang berlebihan dan perlu dihilangkan. Dalam banyak aplikasi, link bobot dianggap (dan diperbarui) adalah mereka antara penyimpanan SOM lapisan keluaran (seperti pada Gambar. 13.2) lapisan (modul) dan, sementara link-bobot antara berbagai SOM input-storage lapisan (yaitu, internal yang link-bobot) tidak dianggap atau diperbarui.

Determination of winning decision via link weights

 

Diagnosis / keputusan di modul keluaran SOM ditemukan dengan menganalisis hubungan L antara neuron diagnosis / keputusan dalam modul keluaran SOM dan winning neuron di semua modul masukan SOM dipilih dan diterima oleh proses yang diuraikan di sec.13.2.4. Selain itu, semua nilai L-berat ditetapkan (Diperbaharui) seperti yang dibahas di Sec. 13.2.4 di atas (Pers. (13.6), (13.7a) dan (13.7b)). winning neuron (diagnosis / keputusan) dari modul keluaran SOM adalah neuron dengan nilai kumulatif tertinggi link L menghubungkan ke yang dipilih (Menang) neuron masukan di modul input. Rumus diagnosis / deteksi untuk Output SOM modul (i) diberikan oleh:

dimana:
i : i’th modul output.
n : winning neuron dalam modul keluaran i’th
kw: winning neuron dalam modul masukan k’th.
M : jumlah modul input.

: Link berat antara winning neuron dalam modul masukan k dan neuron j di modul keluaran i’th.

Link bobot mungkin baik positif atau negatif. Mereka sebaiknya dimulai pada nilai acak kecil mendekati nol, meskipun inisialisasi semua bobot nol (Atau beberapa nilai yang tetap lainnya) Jika dua atau lebih berat adalah sama maka keputusan tertentu harus pra-diprogram untuk diberikan prioritas.

Nj weights (not implemented in most applications)

N_j bobot Gambar. 13.1 [Graupe dan Kordyleski, 1998] diperbarui oleh jumlah trafik ke neuron yang diberikan pada modul input SOM, yaitu dengan jumlah akumulatif dari subwords disimpan pada neuron tertentu (sesuai dengan penyesuaian karena melupakan seperti di Sec. 13.3 bawah), sebagaimana ditentukan oleh persamaan. (13.8):

dimana

m: adalah unit menang dalam modul SOM i’th (WTA),

(N_ij): Yang menunjukkan bobot untuk menentukan lingkungan dari prioritas utama neuron dalam modul SOM i, untuk tujuan pencarian penyimpanan. Pada kebanyakan aplikasi, k mencakup semua neuron dalam modul dan kedua N_ij dan l diabaikan, seperti pada Gambar. 13.2.

l: yang menunjukkan neuron pertama yang akan dipindai (ditentukan oleh bobot N_ij) yang menunjukkan proporsionalitas.

Kemudian bobot N_j Gambar. 13.1 di atas hanya digunakan dalam besar pengambilan / penjelajahan masalah. Mereka diinisialisasi pada beberapa nilai non-nol kecil acak (dipilih dari seragam distribusi) dan meningkat secara linear setiap kali neuron yang tepat terpilih sebagai pemenang.

Initialization and local minima

Berbeda dengan kebanyakan jaringan lain, jaringan saraf LAMSTAR tidak sensitive untuk inisialisasi dan tidak akan berkumpul untuk minimum lokal. Semua bobot Link harus diinisialisasi dengan nilai konstan yang sama, sebaiknya nol. Namun inisialisasi dari bobot penyimpanan w_ij dari Sec. 13.2.2 dan N_j  dari Sec. 13.2.6 harus secara acak untuk nilai-nilai rendah.

Sekali lagi, berbeda dengan sebagian besar jaringan saraf lainnya, LAMSTAR akan tidak bertemu untuk minimum local.

C. Forgetting Feature

Melupakan diperkenalkan oleh faktor melupakan F (k); seperti yang:

Untuk setiap L Link berat , di mana k menunjukkan kata masukan k’th dipertimbangkan dan di mana F (k) adalah selisih kecil yang bervariasi dari waktu ke waktu (lebih k).

Dalam realisasi tertentu LAMSTAR itu, penyesuaian sebagai :

F (k) = 0 lebih berturut-turut kata p – 1 dianggap input;                    (13: 10-a)

tapi

F (k) = bL per setiap kata masukan p’th                                             (13: 10-b)

di mana L adalah link berat dan

b <1                                                                                                     (13: 10-c)

katakanlah, b = 0.5:

Selanjutnya, dalam disukai realisasi L_max tak terbatas, kecuali untuk pengurangan.

Memperhatikan rumus pers. (13,9) dan (13.10), Link bobot L_i,j hamper nol, jika tidak berhasil dipilih. Oleh karena itu, korelasi sponsor L yang tidak berpartisipasi dalam diagnosis / keputusan dari waktu ke waktu, atau menyebabkan kesalahan diagnosis / keputusan secara bertahap terlupakan. Fitur melupakan memungkinkan jaringan untuk cepat mengambil informasi terbaru. Karena nilai link ini menurun secara bertahap dan tidak drop langsung ke nol, jaringan dapat kembali mengambil informasi terkait dengan link tersebut. Fitur melupakan jaringan LAMSTAR membantu untuk menghindari kebutuhan untuk mempertimbangkan jumlah yang sangat link besar.

D. Training vs Operational Runs

Tidak ada alasan untuk menghentikan pelatihan sebagai pertama n set (kata input) data yang hanya untuk menetapkan bobot awal untuk pengujian set kata-kata input (yang, memang, menjalankan situasi normal), di LAMSTAR, kita masih bisa melanjutkan pelatihan ditetapkan oleh set (input-kata oleh input-kata). Dengan demikian, NETWORK terus menyesuaikan diri selama pengujian dan operasional berjalan rutin

Input Word for training and for information retrieval
 

Dalam aplikasi seperti diagnosa medis, sistem LAMSTAR terlatih dengan memasukkan gejala / pasangan diagnosis (atau pasangan diagnosis / pengobatan). Itu pelatihan masukan kata X kemudian dari bentuk berikut:

di mana x_i adalah subwords masukan dan d_i adalah subwords mewakili output sebelumnya dari jaringan (diagnosis / keputusan). Perhatikan juga bahwa satu atau lebih modul SOM dapat melayani sebagai modul output ke output LAMSTAR ini keputusan / diagnosis.

Input kata pers. (13.2) dan (13.11) diatur menjadi satu set subword kode (Sec. 13.1), yang terdiri dari kode vektor-subwords (x_i) Yang berhubungan dengan berbagai kategori (Dimensi input). Juga, setiap modul SOM dari jaringan LAMSTAR sesuai dengan salah satu kategori dari x_i sehingga jumlah modul SOM sama dengan jumlah subvectors (subwords) x_n dan d di X oleh Persamaan. (13.11).

E. Advanced Data Analysis Capabilities

Karena semua informasi dalam jaringan LAMSTAR dikodekan dalam korelasi link, LAMSTAR dapat dimanfaatkan sebagai alat analisis data. Dalam hal ini system menyediakan analisis data input seperti mengevaluasi pentingnya subwords input, kekuatan korelasi antara kategori, atau kekuatan korelasi antara neuron individu.

analisis sistem input data melibatkan dua tahap:

(1) pelatihan dari sistem (seperti yang dijelaskan dalam Sec. 13.4)

(2) analisis nilai-nilai link korelasi seperti yang dibahas di bawah ini.

Karena link korelasi yang menghubungkan cluster (pola) di antara kategori (peningkatan / penurunan) dalam fase pelatihan, adalah mungkin untuk keluar tunggal link dengan nilai tertinggi. Oleh karena itu, cluster dihubungkan dengan link dengan nilai tertinggi menentukan tren dalam data masukan. Berbeda dengan menggunakan data metode rata-rata, kasus terisolasi dari input data LAMSTAR yang Hasil, mencatat fitur melupakan nya. Selanjutnya, struktur LAMSTAR membuat sangat kuat untuk hilang subwords masukan. Setelah fase pelatihan selesai, sistem LAMSTAR tertinggi Link korelasi (link bobot) dan pesan laporan yang terkait dengan kelompok di modul SOM dihubungkan dengan link ini. Link dapat dipilih dengan dua metode:

• sponsor dengan nilai melebihi pra-defined threshold,
• sejumlah nomor link di menghubungkan dengan nilai tertinggi

Feature extraction and reduction in the LAMSTAR NN

Fitur dapat diekstraksi dan berkurang dalam jaringan LAMSTAR menurut untuk derivasi mengarah ke sifat-sifat unsur-unsur tertentu dari LAMSTAR yang jaringan sebagai berikut:

Definisi I: Sebuah fitur dapat diekstraksi oleh matriks A (i; j) dimana i menunjukkan sebuah menang neuron dalam penyimpanan SOM modul j. Semua entri menang adalah 1 sedangkan sisanya adalah 0. Selanjutnya, A (i, j) dapat dikurangi melalui mempertimbangkan sifat (b) ke (e).

a. sebagian besar (setidaknya) lebih tidak bisa subword (menang memori neuron) {i} lebih semua modul SOM (yaitu, seluruh NN) sehubungan dengan output yang diberikan {dk} keputusan dan atas semua kata-kata input, dilambangkan sebagai [i*, s*/dk], diberikan oleh:

di mana p tidak sama dengan s, L (j, p / dk) yang menunjukkan berat hubungan antara j’th yang (Menang) neuron di lapisan p dan memenangkan keluaran-layer neuron dk. Perhatikan bahwa untuk menentukan setidaknya signifikan neuron, ketimpangan seperti di atas dibalik.

b. The most (least) significant SOM module {s **} per a given winning output decision {dk} over all input words, diberikan oleh:

Perhatikan bahwa untuk menentukan modul paling signifikan, ketidaksamaan di atas dibalik.

c. neuron {i ** (dk)} yang paling (setidaknya) significant in a particular SOM module (s) per a given output decision (dk), over all input words per a given class of problems, diberikan oleh i * (s; dk) sehingga:

Perhatikan bahwa untuk menentukan neuron yang paling signifikan dalam modul (s), ketidaksamaan di atas dibalik.

d. Redundancy via Internal Links: Jika link bobot L (p; a / q; b) dari setiap neuron {p} di lapisan {a} untuk beberapa neuron {q} di lapisan {b} sangat tinggi, WHILE itu (dekat) nol untuk setiap neuron lainnya di lapisan {b}, kita misalkan neuron {q} di lapisan {b} sebagai q (p). Sekarang, jika ini berlaku untuk semua neuron {p} di lapisan {a} yang pernah terpilih, maka lapisan {b} adalah REDUNDANT, selama jumlah neuron {p} lebih besar atau sama dengan jumlah {q (p) }, dan lapisan {b} harus dihapus.

Definisi II: Jika jumlah {q (p)} neuron kurang dari jumlah {p} neuron, maka lapisan {b} disebut INFERIOR LAYER bagi {a}.

e. Zero-Information Redundancy: Jika hanya satu neuron yang selalu menang dalam lapisan (k), terlepas dari keputusan output, maka lapisan tidak mengandung informasi dan itu berlebihan.

E. Correlation, Interpolation, Extrapolation, and Innovation - Detection   

Correlation feature, Pertimbangkan (m) layer yang paling signifikan (module) terhadap keputusan keluaran (dk) dan (n) neuron yang paling signifikan di masing-masing (m) lapisan, yang setuju dengan keputusan output yang sama. (Contoh: misalkan m = n = 4). Kita  katakan bahwa korelasi antara subwords juga dapat ditampung dalam jaringan dengan menetapkan subword masukan spesifik korelasi itu, subword ini dibentuk oleh pre-processing.

Correlation-Layer Set-Up Rule: Membangun lapisan SOM tambahan dilambangkan sebagai CORRELATION-LAYERS λ (p / q, dk), sehingga nilai dari penjumlahan CORRELATION-LAYERS ini adalah:

(Contoh: CORRELATION-LAYERS untuk kasus n = m = 4 adalah: λ (1 / 2, dk); λ (1/ 3, dk); λ (1 / 4, dk); λ (2 / 3, dk); λ (2 / 4, dk); λ (3 / 4, dk).)

Selanjutnya, apabila neuron N (i; p) dan N (j; q) secara bersamaan (yaitu, untuk kata masukan yang diberikan sama) menang di masing-masing lapisan (p) dan (q) , dan kedua neuron ini juga milik subset neuron ‘ most significant’ di lapisan ‘ most significant’ (seperti yang p dan q adalah ‘most significant’ lapisan), maka kita mendeklarasikan neuron N (i; p / j; q) di λ Korelasi-layer (p / q, dk) menjadi neuron pemenang dalam korelasi-layer dan kami menghargai / menghukum output link-berat L (i, p / j, q – dk) sebagai keperperluan untuk setiap neuron pemenang di setiap lapisan masukan SOM lainnya.

(Contoh: neuron dalam korelasi-lapisan λ (p / q) adalah: N (1, p / 1, q); N (1, p / 2, q); N (1, p / 3, q); N (1, p / 4, q); N (2, p / 1, q); …N (2, p / 4, q); N (3, p / 1; q): …N (4, p / 1, q); …N (4, p / 4, q), total neuron mxm di korelasi-layer).

Setiap neuron pemenang dalam lapisan korelasi diperlakukan dan berbobot selama setiap neuron pemenang di lapisan lain (input-SOM) berbobot untuk setiap lapisan output neuron yang bersangkutan dan diperbarui. Jelas, neuron pemenang (per kata masukan yang diberikan), jika ada, di lapisan korelasi p / q adalah neuron N (i; p = j; q) di lapisan yang mana kedua neuron N (i, p) di masukan lapisan (p) dan neuron N (j, q) pada lapisan (q) adalah pemenang untuk kata masukan yang diberikan

Interpolation/Extrapolation via Internal Link: Untuk kata masukan yang diberikan yang berhubungan dengan keputusan output dk, jika tidak ada masukan subword yang berhubungan dengan lapisan (p), maka neuron N (i, p) yang memiliki summed-correlation link tinggi (beban internal link) dengan memenangkan neuron (untuk kata input yang sama) di lapisan lain v, akan dianggap sebagai interpolasi / ekstrapolasi neuron di lapisan p untuk masukan kata itu. Namun, tidak ada imbalan / hukuman yang akan diterapkan untuk neuron selama itu adalah neuron interpolasi / ekstrapolasi.

Interpolation/Extrapolation via Correlation Layers: Misalkan p menjadi lapisan ‘paling signifikan’ dan misalkan i menjadi ‘neuron yang paling signifikan yang  setuju terhadap keputusan output dk di lapisan p, di mana tidak ada masukan subword dalam kata masukan yang diberikan berkaitan dengan lapisan p. Dengan demikian, neuron N (i, p) dianggap sebagai neuron interpolasi / ekstrapolasi untuk lapisan p jika memenuhi:

di mana v berbeda dari i dan di mana L (i, p / j, q – dk) menunjukkan bobot link dari korelasi-layer λ (p / q). Perhatikan bahwa dalam setiap lapisan q hanya ada satu pemenang neuron untuk kata masukan yang diberikan, dilambangkan sebagai N (w, q), dimana w mungkin ada disetiap lapisan q’th.

(Contoh: Misalkan p = 3. Jadi pertimbangkan korelasi-lapisan λ (1 / 3, dk); λ (2 / 3, dκ); λ (3 / 4, dk) sehingga: q = 1, 2, 4. )

redundansi melalui Korelasi-Layers: Misalkan p menjadi ‘paling signifikan’ lapisan dan membiarkan saya menjadi ‘paling signifikan’ neuron di lapisan itu. Lapisan p berlebihan jika untuk semua kata masukan ada ada lagi ‘paling signifikan’ lapisan q sehingga, untuk setiap keputusan output dan untuk neuron setiap N (i, p), hanya satu korelasi neuron i; p / j, q (yaitu, hanya satu j per masing-masing seperti i, p) memiliki keluaran-link bobot nol non untuk setiap dk keputusan output, sehingga setiap neuron N (j, p) selalu dikaitkan dengan hanya satu neuron N (j, p) di beberapa lapisan p.

(Contoh: Neuron N (1, p) selalu dikaitkan dengan neuron N (3, q) dan tidak pernah dengan N (1, q) atau N (2, q) atau N (4, q), sedangkan neuron N (2, p) selalu dikaitkan dengan N (4, q) dan tidak pernah dengan neuron lain di lapisan (q). Juga, melihat properti (d) di atas.

Innovation detection in the LAMSTR NN

Jika link-bobot dari input yang diberikan lapisan SOM ke lapisan output perubahan output yang jauh dan berulang kali (di luar ambang batas) dalam interval waktu tertentu (jumlah tertentu kata-kata tertentu masukan berturut yang sedang diterapkan), relatif ke Link bobot dari lapisan masukan SOM lain, maka inovasi terdeteksi sehubungan dengan yang lapisan input (kategori).

Inovasi juga terdeteksi jika bobot antara neuron dari satu input lapisan SOM ke lapisan masukan SOM lain sama berubah.

G. Concluding Comments and Discussion of Applicability   

Jaringan LAMSTAR saraf menggunakan fitur dasar dari banyak jaringan saraf lainnya, dan mengadopsi modul SOM Kohonen ini [Kohonen, 1977, 1984] dengan mereka asosiatif-memori-pengaturan berdasarkan bobot penyimpanan (wij dalam Bab ini) dan WTA-nya (Pemenang-Take-Semua) fitur, hal itu berbeda dalam struktur saraf di setiap neuron memiliki tidak hanya bobot penyimpanan wij (lihat Bab 8 di atas), tetapi juga link bobot LIJ. Fitur ini langsung mengikuti Hukum Hebb ini [Hebb, 1949] dan hubungannya dengan Dog eksperimen Pavlov, seperti yang dibahas di Sec. 3.1. Hal ini juga mengikuti Minsky ini k-garis Model [Minsky, 1980] dan penekanan Kant pada peran Verbindungen penting dalam \ pemahaman “, yang jelas berkaitan dengan kemampuan untuk memutuskan. Oleh karena itu, tidak hanya kesepakatan LAMSTAR dengan dua jenis bobot neuron (untuk penyimpanan dan untuk rujukan ke lapisan lain), tapi di LAMSTAR itu, bobot Link adalah orang-orang yang menghitung untuk tujuan keputusan. bobot penyimpanan membentuk atom \ memori “dalam arti Kantian [Ewing, 1938]. keputusan LAMSTAR ini semata-mata berdasarkan pada link bobot-lihat Sec ini. 13.2 di bawah ini.

LAMSTAR, seperti semua jaringan saraf lainnya, mencoba untuk memberikan representasi dari masalah itu harus memecahkan (Rosenblatt, 1961). representasi ini, mengenai keputusan jaringan, dapat dirumuskan dalam hal pemetaan L nonlinear dari bobot antara input (vektor input) dan output, yang disusun dalam bentuk matriks. Oleh karena itu, L adalah fungsi pemetaan nonlinear yang entri adalah bobot antara input sebuah output, yang memetakan input ke keputusan output. Mengingat jaringan Back-Propagation (BP), bobot di setiap lapisan adalah kolom L. Hal yang sama berlaku untuk link bobot LIJ dari L untuk keputusan keluaran menang dalam jaringan LAMSTAR. Jelas, baik BP dan LAMSTAR, L bukan fungsi matriks seperti persegi, juga tidak semua kolom yang panjang yang sama. Namun, di BP, L memiliki banyak entri (bobot) di masing-masing kolom per keputusan output. Sebaliknya, di LAMSTAR, masing-masing kolom L hanya memiliki satu entri non-nol. Ini menyumbang baik untuk kecepatan dan transparansi LAMSTAR. bobot ada di BP tidak menghasilkan informasi langsung tentang apa nilai-nilai mereka maksud. Dalam LAMSTAR itu, bobot link langsung menunjukkan pentingnya fitur yang diberikan dan dari subword tertentu relatif terhadap keputusan tertentu, seperti yang ditunjukkan di Sec. 13,5 bawah. Algoritma LAMSTAR dasar memerlukan perhitungan hanya pers. (13,5) dan (13,7) per iterasi. Ini melibatkan operasi hanya penambahan / pengurangan dan thresholding sementara tidak ada perkalian yang terlibat, untuk lebih berkontribusi kecepatan komputasi yang LAMSTAR ini.

Jaringan LAMSTAR memfasilitasi analisis multidimensi variabel masukan untuk menetapkan, misalnya, bobot yang berbeda (penting) untuk item data, menemukan korelasi antara variabel masukan, atau melakukan identifikasi, pengakuan dan pengelompokan pola. Menjadi jaringan saraf, LAMSTAR dapat melakukan semua ini tanpa re-pemrograman untuk setiap masalah diagnostik.

Keputusan dari jaringan LAMSTAR saraf didasarkan pada banyak kategori data, di mana sering beberapa kategori yang kabur sementara beberapa yang tepat, dan sering kategori yang hilang (data set lengkap). Seperti disebutkan dalam Sec. 13.1 di atas, jaringan LAMSTAR dapat dilatih dengan data yang tidak lengkap atau kategori set. Oleh karena itu, karena fitur-fiturnya, jaringan LAMSTAR saraf adalah alat yang sangat efektif dalam situasi hanya seperti itu. Sebagai masukan, sistem menerima data yang didefinisikan oleh pengguna, seperti, sistem negara, parameter sistem, atau data yang sangat spesifik seperti yang ditunjukkan dalam contoh aplikasi yang disajikan di bawah ini. Kemudian, sistem membangun model (berdasarkan data dari pengalaman masa lalu dan pelatihan) dan pencarian pengetahuan yang disimpan untuk menemukan yang terbaik pendekatan / deskripsi untuk fitur / parameter yang diberikan sebagai input data. Input data dapat secara otomatis dikirim melalui sebuah antarmuka untuk input LAMSTAR ini dari sensor dalam sistem untuk didiagnosis, mengatakan, sebuah pesawat ke jaringan yang dibangun di.

Sistem LAMSTAR dapat dimanfaatkan sebagai:

• Sistem diagnosis medis berbasis komputer [Kordylewski dan Graupe 2001, Nigam dan Graupe 2004, Muralidharan dan Rousche 2005].
• Tool Untuk evaluasi keuangan.
• Alat untuk pemeliharaan industri dan diagnosis kesalahan (pada baris yang sama seperti aplikasi untuk diagnosis medis).
• Alat untuk data mining [Carino et al, 2005].
• Alat untuk browsing dan informasi pengambilan.
• Alat untuk analisis data, klasifikasi, browsing, dan prediksi [Sivaramakrishnan dan Graupe, 2004].
• Alat untuk mendeteksi gambar dan pengakuan [Girado et al, 2004].
• Bantuan Pengajaran.
• Alat untuk menganalisis survei dan kuesioner tentang beragam item.

Semua aplikasi ini dapat mempekerjakan banyak jaringan saraf lain yang kita bahas. Namun, LAMSTAR memiliki kelebihan tertentu, seperti ketidakpekaan terhadap inisialisasi, menghindari minima lokal, kemampuan lupa (ini sering dapat diimplementasikan dalam jaringan lain), transparansi (bobot Link membawa informasi yang jelas mengenai bobot link di relatif pentingnya masukan tertentu, pada korelasinya dengan input lain, pada kemampuan deteksi inovasi dan redundansi data | melihat Secs 13,5 dan 13,6 di atas).. Yang terakhir memungkinkan download data tanpa penentuan sebelumnya signifikansi dan membiarkan jaringan memutuskan untuk dirinya sendiri, melalui link bobot untuk output. LAMSTAR itu, berbeda dengan jaringan lainnya, dapat bekerja tanpa gangguan jika set tertentu dari data (input-kata) tidak lengkap (hilang subwords) tanpa memerlukan pelatihan baru atau perubahan algoritmik. Demikian pula, subwords masukan dapat ditambahkan selama operasi jaringan tanpa pemrograman ulang saat mengambil keuntungan dari fitur melupakan nya. Selanjutnya, LAMSTAR yang sangat cepat, terutama dibandingkan dengan back-propagasi atau jaringan statistik, tanpa mengorbankan kinerja dan selalu belajar selama berjalan biasa.

Lampiran 13.A memberikan rincian algoritma LAMSTAR untuk Character Recognition masalah yang juga subjek Lampiran untuk Bab 5, 6, 7, 8, 9, 11 dan 12. Contoh aplikasi untuk keputusan dan diagnosis masalah medis yang diberikan dalam Lampiran 13.B bawah.