Neuronske mreže > Predavanje > 

6. Ostali algoritmi neuronskih mreža - Modularna mreža

Modularna neuronska mreža
Modularnu mrežu predložili su Jacobs, Jordan, Nowlan i Hinton (1991). Ona je sustav više zasebnih mreža (obično mreža "širenje unatrag"), gdje svaka od njih uči preuzeti jedan podskup ukupnog skupa slučajeva za treniranje. Stoga je u mogućnosti unaprijediti rezultat mreže "širenje unatrag" u slučajevima kada se uzorak za treniranje može prirodno podijeliti na podskupove koji odgovaraju različitim podzadacima. Razlog za izbor ove mreže za naše eksperimente je pretpostavka da će mreža pojedinačne lokalne eksperte zadužiti za rješavanje slučajeva koji su odgovorni za pozitivne, negativne i nulte povrate na dionice u izlazu.

Računanje u mreži
Modularna mreža sastoji se od nekoliko mreža nazvanih "lokalnim ekspertima", međusobno povezanih s pomoću tzv. prolazne (gating) mreže koja alocira svaki slučaj k jednom od lokalnih eksperata. Izlaz tog lokalnog eksperta uspoređuje se sa stvarnim izlazom i težine se lokalno podešavaju samo za tog eksperta i za prolaznu mrežu. Na taj način prolazna mreža "podstiče" određenog lokalnog eksperta da se specijalizira za slične slučajeve. Težine ostalih eksperata specijaliziraju se za ostale slučajeve. Odluka se u prolaznoj mreži donosi stohastički. Dok jedno od prethodnih istraživanja (Hampshire, Waibel, Jacobs et al., 1989) predlaže da se konačni izlaz cijelog sustava računa kao linearna kombinacija izlaza lokalnih eksperata, Jacobs et.al. (1991) koriste stohastički selektor i računaju grešku prema formuli:

gdje je izlazni vektor eksperta i u slučaju c, je proporcionalni doprinos eksperta i u kombiniranom izlaznom vektoru, a je željeni izlazni vektor u slučaju c. Tokom takvog procesa, svaki lokalni ekspert proizvodi cijeli izlaz, a cilj jednog lokalnog eksperta nije direktno utjecan težinama ostalih lokalnih eksperata. Iako se može pojaviti jedna vrsta indirektnog uparivanja ako prolazna mreža alternativno mijenja odgovornost s jednog lokalnog eksperta na drugi, još uvijek predznak lokalnog eksperta ostaje neovisan.
Broj lokalnih eksperata u mreži određuje se unaprijed na temelju pretpostavke o broju podskupova ili lokalnih područja u ulaznom prostoru uzorka. Svaki lokalni ekspert je mreža s vezama unaprijed, a svi lokalni eksperti imaju jednak broj ulaznih i izlaznih jedinica. Lokalni eksperti kao i prolazna mreža primaju iste ulaze. Naravno, njihovi izlazi se razlikuju. Izlaz prolazne mreže je vjerojatnost (Jacobs et. al., 1991):

gdje je xj ukupni vagani ulaz koji izlazna jedinica j prolazne mreže prima, a pj je vjerojatnost da će prekidač izabrati izlaz lokalnog eksperta j. Ovaj izlaz je normaliziran tako da daje sumu 1. Izlaz lokalnog eksperta yi je zatim korigiran koristeći gornju vjerojatnost, a konačni izlaz mreže je:
.
Za razliku od mreže "širenje unatrag" gdje je ciljna funkcija minimizirati funkciju globalne greške E, Modularna mreža nastoji maksimizirati narednu funkciju cilja J:

Tada je greška koja se širi unatrag u k-ti lokalni ekspert , a u prolaznu mrežu gdje je Ik ulaz u izlaznu jedinicu k-tog lokalnog eksperta, a Gk je ulaz u izlaznu jedinicu prolazne mreže.
Prema gornjem procesu učenja, ako neki ekspert proizvodi manju grešku nego što je vagana prosječna greška svih eksperata, njegova vjerojatnost da će rješavati taj slučaj će porasti, i obrnuto. Greška je propagirana unazad i težine se podešavaju prema izabranom pravilu učenja.

Arhitektura mreže
Donja slika prikazuje arhitekturu Modularne neuronske mreže. Zbog jasnoće se arhitektura na slici sastoji samo od dva lokalna eksperta (označenih s LE1 i LE2) a svaki lokalni ekspert ima samo jedan izlazni neuron. Prolazna mreža i lokalni eksperti imaju jednak broj ulaznih neurona, ali broj izlaznih neurona prolaznoj mreži jednak je broju lokalnih eksperata, tj. dva u našem slučaju predstavljenom na slici.

Arhitektura modularne neuronske mreže (Jacobs et al. 1991, izmijenjeno)

Učenje se izvodi kako slijedi:
1) od ulaznog sloja do lokalnih eksperata i do prolazne mreže: Isti vektor treniranja X distribuira se od ulaznog sloja do svakog lokalnog eksperta i do prolazne mreže. Svaki ekspert je mreža s vezom unaprijed (obično mreža "širenje unatrag"). Izlaz lokalnih eksperata ovisi o arhitekturi sadržanoj u ekspertu. Izlaz prolazne mreže računa se prema prethodno navedenoj formuli (2.37).
2) u prolaznom sloju: Prolazna mreža šalje svoj izlaz u posrednički sloj (nazvan prolaz) gdje se vjerojatnost poslana od prolazne mreže upotrebljava za korigiranje izlaza lokalnih eksperata.
3) u izlaznom sloju: konačni izlaz predstavljen korisniku je izlaz lokalnog eksperta s najvišom vjerojatnosti, dok se greška računa prema prethodno navedenim formulama i propagira unazad u lokalne eksperte i u prolaznu mrežu.

Primjena mreže
Modularna mreža može se primijeniti na većinu slučajeva gdje se primjenjuje i mreža "širenje unatrag", posebno kod problema s različitim područjima u ulaznom prostoru. Reprezentativan primjer takvih problema je funkcija absolutne vrijednosti:

gdje se izlaz y računa prema različitoj funkciji za različite podskupove podataka x. Jacobs et.al (1991) su primijenili Modularnu mrežu na problem diskriminacije četiri vrste samoglasnika nezavisnih o govorniku, te su usporedili rezultat Modularne mreže s 4 i 8 lokalnih eksperata prema troslojnoj mreži "širenje unatrag". Usporedba je pokazala da je rezultat testiranih mreža jednak, iako Modularna mreža dostiže kriterij greške značajno brže nego mreža "širenje unatrag". Modularna mreža također može biti jedan način da se konkurentno učenje učini autoasocijativnim, u smislu da je svaka skrivena jedinica u konkurentnoj mreži zamijenjena s lokalnim ekspertom čiji izlazni vektor specificira srednju vrijednost multidimenzionalne Gauss-ove distribucije (Jacobs et al.). Modularni pristup omogućava upotrebu još složenijih arhitektura ako se svaki lokalni ekspert dizajnira kao jedna Modularna mreža.

Ulazni parametri za izgradnju mreže

1. broj ulaznih, skrivenih i izlaznih jedinica u lokalnim ekspertima (LE). Svaki lokalni ekspert ima jednaku početnu strukturu budući da nije unaprijed poznato koji će dio ulaznog prostora biti dodijeljen svakom LE.
2. broj skrivenih i izlaznih jedinica u prolaznoj mreži
   Skrivene jedinice u prolaznoj mreži mogu se odrediti heuristički ili optimizirati u fazi učenja. Broj izlaznih jedinica u prolaznoj mreži određen je brojem lokalnih eksperata u mreži.
3. koeficijent učenja
   Koeficijent učenja ne treba postaviti unaprijed u našim eksperimentima, budući da koristimo EDBD pravilo učenja.
4. pravilo učenja
   Kao što je opisano u odjeljku za mrežu "širenje unatrag", EDBD pravilo učenja se upotrebljava u našim eksperimentima.
   

Ostali parametri opisani u odjeljku za mrežu "širenje unatrag".