Historien om nevrale nettverk i Sovjetunionen

1960-tallet ble gullalderen for sovjetisk vitenskap. I 1975 jobbet ¼ av det totale antallet forskere i verden i Sovjetunionen, mens det ble lagt stor vekt på de eksakte vitenskapene, hvis frukt ofte var av anvendt verdi. Cybernetics, der de så stort potensiale, ble heller ikke forbigått. Under påvirkning av militæret og forskeren Anatoly Kitov ble hun rehabilitert etter en kort "skam". Arbeidet var i gang innen automatisk kontroll, maskinoversettelse, nettverksteknologi ... Nå vil vi si at det var en hel skole med kunstig intelligens i Sovjetunionen! Innen rammen av kybernetikk utviklet seg også retningen som vi pleide å kalle nevrale nettverk. Jurgen Schmithuber, skaperen av den berømte nevrale nettverksarkitekturen LSTM, er også kjent i dag som en historiker for dyp læring, og refererer ofte i sine taler til bidrag fra sovjetiske forskere til dannelsen av denne retningen.

På 1960-tallet ble flere seriøse temapublikasjoner publisert i stor opplag i Sovjetunionen, og å dømme etter scientometrisk statistikk ble en rettferdig andel av verdens forbindelsesforskning publisert på russisk. På et eller annet tidspunkt viste forbindelsen seg å være så populær at den ble tatt opp ikke bare i metropolen, men også i andre byer og republikker, for eksempel i Armenia og Georgia. Dessverre er så langt bare en liten brøkdel av publikasjonene fra disse årene digitalisert; de fleste av verkene finnes bare i offline-biblioteker.

"Det var en bil fra Tambov" eller hva McCarthy gjorde i Sovjetunionen

I tillegg til Odessa, Kiev og Tbilisi besøkte delegasjonen Baku, Moskva, Minsk, Leningrad og flere andre byer i unionsrepublikkene. I Moskva møtte McCarthy sin gamle bekjente, akademiker Andrei Ershov. Kollegaer møttes i desember 1958 i Storbritannia på konferansen om automatisering av tankeprosesser. Etter et besøk i Moskva dro McCarthy, akkompagnert av Ershov, til Novosibirsk Academgorodok, hvorfra han kom hjem gjennom Moskva (i realiteten av den kalde krigen, da Novosibirsk var et av de semi-lukkede vitenskapelige sentra, måtte Ershov jobbe vanskelig å koordinere dette besøket).

Forholdet mellom Ershov og McCarthy, etter deres korrespondanse å dømme, var ganske vennlig og ikke bare profesjonelt. For eksempel ber McCarthy i et av brevene Ershov om å sende et opptak av sangen "There was a car from Tambov." Eller her er et annet eksempel: da McCarthy var på besøk i Unionen, var det i arbeidsgruppen til International Federation for Information Processing en konflikt om standardene for utviklingen av språket Algol 68. Da brøt Niklaus Wirth seg fra flertallet og begynte å jobbe på Pascal-språket. McCarthy og Ershov komponerte og spilte inn en tegneserie som svar på dette, som de adresserte til "schismatics". McCarthy tok med seg båndet til neste møte i arbeidsgruppen. Arbeidet ble fremført, som forfatterne husket, til melodien til den "russiske folkesangen" "It's not me, silly" (faktisk betyr dette sangen "It ain't me, babe" av Bob Dylan). Sangen hadde både engelsk og russisk versjon. Her er koret til sistnevnte:

Gi oss et annet språk, slik at det ikke er noe bedrag i det, slik at enhver ape kan skrive i det ... Nei, nei, nei, dette er ikke vårt språk ...

Tre år senere kom McCarthy nok en gang til Akademgorodok - nå i to måneder og som ansatt i Computersenteret: han ga et kurs om programverifisering ved Novosibirsk University. Under en av turene møtte McCarthy Alexander Kronrod, som jobbet med et sjakkprogram, etterfølgeren til den berømte "Kaissa", og gikk med på å holde verdens første sjakkamp mellom dataprogrammer. I denne kampen i 1967 beseiret det sovjetiske sjakkprogrammet ved Institute for Theoretical and Experimental Physics Stanford University-programmet med en poengsum på 3-1.

Alexey Ivakhnenko og "Metoden for gruppeføring av argumenter"

Ivakhnenkos vitenskapelige interesse for selvorganiserende systemer manifesterte seg på 1950-tallet: I 1959 samlet han og testet sin egen versjon av perseptronen - Alpha-maskinen, tilsynelatende oppkalt etter Rosenblatts α-perceptron ... Siden 1963 jobbet Ivakhnenko under veiledning av den berømte akademikeren Viktor Mikhailovich Glushkov. I forholdet til forskere var det imidlertid ikke alt som var jevnt: i 1959 skrev Glushkov et brev til en kollega at i Ivakhnenkos bok "ble det gjort et forsøk på å erklære elementære selvjusterende systemer for å være høyere cybernetiske enheter enn datamaskiner, som angivelig er i stand til å implementere bare stive algoritmer. " Det ser ut til at Glushkov beskyldte Ivakhnenko for å ville "knuse kybernetikk." Selv om konflikten, etter andre bevis å dømme, ikke var så alvorlig som den kunne virke. En av Ivakhnenkos ansatte, Mikhail Shlesinger, før han jobbet med forskeren, var en ansatt i Glushkov-instituttet, hvor han var engasjert i ingenting mer enn simulering av nevrale nettverk på en digital elektronisk maskin "Kiev"! Selv etter overgangen til Ivakhnenko under ledelse av Glushkov ble ikke arbeidet med nevrale nettverk stoppet. Det vil si at til tross for uenighet fortsatte forskerne å samarbeide. Mest sannsynlig var Glushkov redd for at prioritet ville bli gitt til utvikling av nevrodatamaskiner, ved hjelp av hvilke de fleste problemer, spesielt anvendte, ikke kunne løses på den tiden. Det vil si at han heller argumenterte for riktig tildeling av ressurser enn for avslutning av arbeidet på nevrale nettverk. Uenighetene mellom Glushkov og Ivakhnenko gjaldt for øvrig den faktiske og i dag motstanden mot den symbolske tilnærmingen og forbindelsestro. Representanter for sistnevnte i Sovjetunionen ble kalt tilhengere av den "ikke-deterministiske" tilnærmingen (i Ivakhnenkos termer, "selvorganiseringsmetoden") i motsetning til den "deterministiske" symbolske tilnærmingen. Disse stridene i Sovjetunionen, så vel som i Vesten, var av veldig hard karakter.

Et viktig resultat oppnådd av Ivakhnenko var etableringen og utviklingen av Group Arguments Method (MGUA), en av de første algoritmene for dyplæring i historien. Når det gjelder Yakov Tsypkin, betydde for Ivakhnenko selvlæring av gjenkjennelsessystemet "prosessen med automatisk, det vil si å passere uten menneskelig inngripen, etablere grensen som deler rommet for inngangssignaler og funksjoner i områder som tilsvarer separate bilder." Allerede på begynnelsen av 1970-tallet klarte Ivakhnenko og hans kolleger å trene åttelags nevrale nettverk basert på et kunstig nevron basert på Kolmogorov - Gabor-interpolasjonspolynomet.

Noen forskere i Vesten omtrent samme tid eller noe tidligere trente Ivakhnenko nettverk med ett mellomlag. For eksempel ble dette gjort av Rosenblatts kolleger Sam S. Viglione og Roger David Joseph, etter hvem Joseph-Viglion-algoritmen ble oppkalt. Imidlertid var Ivakhnenkos nettverk, som inneholder åtte lag, klart forut for sin tid. Imidlertid ligner selve tilnærmingene han ved MGUA og Viglion og Joseph vagt hverandre. Joseph-Viglion-algoritmen genererer og evaluerer fremoverformerte to-lags nevrale nettverk trinn for trinn, og identifiserer automatisk små undergrupper av funksjoner som gir en bedre klassifisering av eksempler fra treningssettet. De resulterende nettverkene blir deretter validert (sjekket) på deler av dataene som ikke er inkludert i opplæringssettet. I MGDH legges det til flere lag i nevrale nettverk ved hvert trinn, trent ved hjelp av regresjonsanalyse (MGHA går dermed tilbake til metodene som ble utviklet tilbake på 1800-tallet i verkene til Legendre og Gauss). Deretter brukes lagreduksjonsprosedyren. For dette blir anslagsnøyaktigheten til hver av nevronene estimert ved hjelp av en valideringsprøve, og deretter fjernes de minst nøyaktige nevronene.

Boken "Forutsigelse av tilfeldige prosesser", skrevet av Ivakhnenko i samarbeid med Valentin Lapa og utgitt i 1969, ble et slags kompendium av teknikker studert av sovjetiske konneksjonister, og boka 1971 "Systems of heuristic selvorganisering innen teknisk kybernetikk »Inneholder ikke bare en detaljert beskrivelse av MGUA, men også mange eksempler på applikasjonen for å løse anvendte problemer. I denne boken skrev Ivakhnenko:

Vi bruker informasjonskapsler
Vi bruker informasjonskapsler for å sikre at vi gir deg den beste opplevelsen på vår nettside. Ved å bruke nettstedet ditt, godtar du vår bruk av informasjonskapsler.
Tillat informasjonskapsler.