Preskoči na glavno vsebino

Nevronske mreže

Kaj so nevronske mreže

         V letu 2013 so svetovne vlade največ svojega raziskovalnega denarja namenile za preučevanje grafena (nanotehnologija) in za kartografiranje možganov. Slednje raziskave so še posebej zanimive za znastvenike, ki se ukvarjajo z razumevanjem možganov kot so psihologi, psihijatri in nevrologi. Širšim množicam je nekoliko manj znana veda, ki se ukvarja z napravami, ki posnemajo delovanje možganov. Takšne naprave imenujemo nevronske mreže oziroma umetne nevronske mreže in sodijo na področje umetne inteligence, ki je po menju nekaterih trenutno najbolj obetavna znanstvena disciplina. V tem sestavku se bomo z nevronskimi mrežami seznanili. 

        Začetki preučevanje možganov

        Razvoj nevronskih mrež se je posredno začel že pred več kot sto leti, ko so odkrili zgradbo in princip delovanja bioloških možganov. Takrat so ugotovili, da jih tvori veliko število medsebojno povezanih celic, ki si pošiljajo električne dražljaje. Celice so poimenovali nevroni, povezave med njimi pa sinapse. Če so dražljaji, ki prispejo v nevron, dovolj močni pride v nevronu do vžiga. To pomeni, da v nevronu nastane nov dražljaj, ki se od tam preko sinaps  prenese naprej na sosednje nevrone, kjer se zgodba ponovi. Sinapsam se med uporabo spreminja električna prevodnost. Na tak način si možgani zapisujejo izkušnje oziroma pomnijo.

       Razvoj potrebne tehnologije

       Potrebna tehnologija za posnemanje možganov je nastala na koncu druge svetovne vojne, ko se je zgodil preboj v razvoju elektronike in so nastali prvi digitalni računalniki. Takrat so nevrologi izdelali matematični model nevrona in izvedli prve simulacije možganov v računalniku. Paradoksalno pri tem je, da so potrebovali digitalini računalnik, da so lahko z njim učinkovito simulirali naše možgane, ki pa so analogni.

     Primerjava možganov z računalnikom

     Možgani, pa naj bodo pravi ali umetni, opravljajo podobne naloge kot računalniki, a se kljub temu precej razlikujejo od njih:


Računalnik
Možgani
Hitrost
 Nekaj  1.000.000.000 Hz
Nekaj  10 Hz
Zapis podatkov
Digitalno
Analogno
Paralelizem
Ne, hkrati deluje le nekaj % tranzistorjev
Da, vedno delujejo vsi nevroni
Poraba energije
Nekaj kilovatov*
Nekaj vatov
Odprnost na okvare
Ni odporen na okvare, saj že en sam pokvarjen tranzistor zaustavi cel računalnik
So odporni na okvare, saj zaradi enega mrtvega nevrona ne pride do zaustavitve celotnih možganov
* Računalnik, ki ima primerljivo zmogljivost kot možgani

Primerjajmo med seboj še princip uporabe računalnika in nevronske mreže:
  •         Računalnik pred reševanjem problema programiramo. To pomeni, da moramo najprej ljudje  najti  pot do rešitve problema, da jo lahko vnesemo v računalnik.
  •           Nevronska mreža se pred reševanjem problema uči in tako sama najde rešitev problema.


Znani so primeri, ko je nevronska mreža s samostojnim učenjem našla boljšo rešitev problema kot celotno človeštvo.

     Učenje nevronskih mrež

      Ljudska modrost pravi: »do znanja težko, z znanjem lahko«. Enako velja tudi za nevronske mreže.  Njihovo učenje oziroma strojno učenje je zahtevno, uporaba po zaključenem učenju pa enostavna. Ena od bolj zanimivih lastnosti nevronskih mrež je ravno ta, da se učijo same in zato lahko na koncu znajo več kot mi, ki smo njihov učitelj. Za učenje nevronske mreže je potrebna zbirka učnih podatkov in od njihove kvalitete je zelo odvisno kako dobra bo naučenost na koncu. Če so učni podatki pomanjkljivi ali zavajajoči nevronska mreža iz njih ne more izluščiti pravega znanja. Nasprotno pa dobri podatki omogočajo, da mreža iz njih kvaliteno izlušči bistvo oziroma znanje, kar ji med kasnejšo uporabo omogoča pravilno odgovarjanje tudi na vprašanja, ki jih med učenjem še ni srečala.
Obstaja več različnih vrst učenja. Največkrat se uporablja nadzorovano učenje. Zanj potrebujemo učne podatke za katere poznamo želene rezultate. Primer takšnega učenja je seštevanje dveh števil. Če sta podatka 1 in 2 vemo da je željen rezultat po končanem učenju 3.
Okrepčevalno učenje uporabimo, kadar poznamo želen rezultat šele po nekem zaporedju učnih podatkov. Primer takšnega učenja je šahovska igra, kjer šele na koncu zagotovo vemo kdo je bolje igral. Težko je natančno ovrednotiti posamezne poteze, saj igralci včasih žrtvujejo figuro (navidezno slaba poteza), a se jim to v kasnejših potezah lahko obrestuje. Na koncu šahovske partije  zmagovalčeve poteze proglasimo za dobre, poraženčeve pa kot slabe.
Nenadzorovano učenje uporabimo kadar želene vrednosti niso znane. To je podobno kot če bi imeli šolo brez učiteljev. V umetni inteligenci se tako učenje redko uporablja, saj je njegov rezultat dokaj kaotičen, v naravi pa se tovrstno učenje pojavlja v kombinaciji z naravno selekcijo.

      Tipična področja uporabe nevronskih mrež

      Dve najbolj znani področji uporabe nevronskih mrež sta prepoznavanje in napovedovanje. Znani primeri prepoznavanja so: prepoznavanje geometrijskih likov v risbi, črk v besedilu ali oseb na sliki. Na primer iz podatkov, ki jih zajame kamera se nevronska mreža odloča ali bo odprla vhodna vrata hiše, pri čemer seveda nočemo da  vanjo vstopajo neznanci, kakor tudi ne želimo ostati pred zaprtimi vrati svojega doma.
   Tipična primera napovedovanja sta vremenska in borzna napoved. Pri napovedovanju poskušamo iz do sedaj znanih podatkov ugotoviti kaj se bo dogajalo v bližnji prihodnosti. Na primer iz vremenskih podatkov, ki smo jih izmerili do tega trenutka lahko napovemo vreme za jutri.

     Prihodnost nevronskih mrež

     
     V preteklosti so se izmenjevala bolj in manj plodna obdobja za nevronske mreže, kar bo verjetno veljalo tudi v bodoče. Projekt kartografiranja možganov, ki smo ga omenili uvodoma, bo skoraj zagotovo prinesel koristna spoznanja na tem področju, saj je narava neizčrpen vir znanja. Med drugim se znanstveniki trudijo tudi z izdelavo vmesnika, ki bi omogočil direkten pretok podatkov v možgane in iz njih. To bi bil nekakšen lijak skozi katerega bi lahko učencem vlivali znanje v glavo. O prihodnosti nevronskih mrež precej razmišljajo tudi režiserji znanstveno fantastičnih filmov.  

Komentarji

Priljubljene objave iz tega spletnega dnevnika

Bipropagation demo in TensorFlow

Bipropagation is a new Deep Learning algorithm. It is much faster and much more reliable than Backpropagation. Here is the demo from the  ResearchGate and GitHub. Inner layers of the Neural Network have not hidden anymore. Learning is done layer by layer with much fewer iterations. Please cite me in your work.


Click the G+button if you like this demo. Any comments are desirable.

A new Deep Learning Algorithm: One-Step Method

We are living in the AI era where progress is faster and faster each and every single day. Here is another one discovery in this field: One Step Method, a new machine learning algorithm which can do many things, amongst other can replace digital circuits with neurons, can find the even better construction of neural network than Border Pairs Method. More you can find in the 3rd chapter of our book: Machine Learning: Advances in Research and Applications from Nova Science Publishers.




This new algorithm is also suitable for Deep Learning in combination with other methods like convolutional learning, bipropagation, border pairs method, autoencoder and others.

Po poteh nekega algoritma

Ko sem med raziskovanjem za potrebe podiplomskega študija dobil idejo za nov algoritem strojnega učenja, me je prevzel notranji nemir. Zaslutil sem, da sem na sledi pomembnega odkritja in v hipu sem začutil kako se mi po žilah pretaka adrenalin. Pravijo, da je raziskovalna strast lahko večja  celo od tiste hazarderske,  ki je menda zakrivila številne zgodbe iz črne kronike. No, na vso srečo pa raziskovalna strast ni povezana s tako nizkotnimi pobudami kot hazarderska. Ideji algoritma je nato sledil njegov razvoj, ki je trajal več kot leto in je bil prežet s številnimi vzponi in padci. Navidezne težavice so pogosto preraščale v težave, a na srečo se je vedno našla rešitev za njih. V meni sta se tako prepletala dvom in radost, dokler eksperimenti niso potrdili vseh mojih pričakovanj. Takrat so me preplavili prijetni občutki vznesenosti, ki bi jih lahko primerjali z nekakšno zaljubljenostjo. Ko si vznesen si stvarnost slikaš lepšo, kot je v resnici in tako sem naivno pričakoval, da bo s…