I dag skal vi prøve å finne ut hva nevrale nettverk er, hvordan de fungerer og hva deres rolle er i å skape kunstig intelligens.
Nevrale nettverk. Vi hører denne setningen nesten overalt. Det kommer til det punktet at du vil finne nevrale nettverk selv i kjøleskap (dette er ikke en spøk). Nevrale nettverk er mye brukt av maskinlæringsalgoritmer, som i dag ikke bare finnes i datamaskiner og smarttelefoner, men også i mange andre elektroniske enheter, for eksempel i husholdningsapparater. Og har du noen gang lurt på hva disse nevrale nettverkene er?
Ikke bekymre deg, dette kommer ikke til å være en akademisk forelesning. Det er mange publikasjoner, inkludert på det ukrainske språket, som veldig profesjonelt og pålitelig forklarer dette problemet innen eksakte vitenskaper. Slike publikasjoner er mer enn et dusin år gamle. Hvordan er det mulig at disse gamle publikasjonene fortsatt er aktuelle? Faktum er at det grunnleggende i nevrale nettverk ikke har endret seg, og selve konseptet - en matematisk modell av en kunstig nevron - ble opprettet under andre verdenskrig.
Det samme med internett, dagens internett er uforlignelig mer avansert enn da den første e-posten ble sendt. Grunnlaget for Internett, de grunnleggende protokollene, eksisterte helt fra begynnelsen av opprettelsen. Ethvert komplekst konsept er bygget på grunnlaget for gamle strukturer. Det er det samme med hjernen vår, den yngste hjernebarken er ikke i stand til å fungere uten det eldste evolusjonære elementet: hjernestammen, som har vært i hodene våre siden tider langt eldre enn eksistensen av vår art på denne planeten.
Forvirret jeg deg litt? Så la oss forstå mer detaljert.
Også interessant: ChatGPT: Enkle bruksanvisninger
Hva er nevrale nettverk?
Et nettverk er en samling av visse elementer. Dette er den enkleste tilnærmingen innen matematikk, fysikk eller teknologi. Hvis et datanettverk er et sett med sammenkoblede datamaskiner, er et nevralt nettverk åpenbart et sett med nevroner.
Imidlertid er disse elementene ikke engang svært sammenlignbare i kompleksitet med nervecellene i hjernen og nervesystemet vårt, men på et visst abstraksjonsnivå er noen trekk ved en kunstig nevron og en biologisk nevron vanlige. Men det er nødvendig å huske at et kunstig nevron er et mye enklere konsept enn dets biologiske motstykke, som vi fortsatt ikke vet alt om.
Les også: 7 kuleste bruksområder for ChatGPT
Først var det en kunstig nevron
Den første matematiske modellen av et kunstig nevron ble utviklet i 1943 (ja, det er ikke en feil, under andre verdenskrig) av to amerikanske forskere, Warren McCulloch og Walter Pitts. De klarte å gjøre dette på grunnlag av en tverrfaglig tilnærming, ved å kombinere grunnleggende kunnskap om hjernefysiologi (husk tiden da denne modellen ble laget), matematikk og den da unge IT-tilnærmingen (de brukte blant annet Alan Turings teori om beregningsevne ). McCulloch-Pitts kunstige nevronmodell er en veldig enkel modell, den har mange innganger, der inngangsinformasjonen går gjennom vekter (parametere), hvis verdier bestemmer nevronens oppførsel. Det resulterende resultatet sendes til en enkelt utgang (se diagram av McCulloch-Pitts nevron).
En slik trelignende struktur er assosiert med et biologisk nevron, for når vi tenker på tegninger som viser biologiske nerveceller, er det den karakteristiske trelignende strukturen til dendritter som kommer til tankene. Man bør imidlertid ikke gi etter for illusjonen om at et kunstig nevron i det minste er noe nær en ekte nervecelle. Disse to forskerne, forfatterne av det første kunstige nevronet, klarte å demonstrere at enhver beregningsbar funksjon kan beregnes ved hjelp av et nettverk av sammenkoblede nevroner. La oss imidlertid huske at disse første konseptene ble opprettet bare som ideer som bare eksisterte "på papiret" og ikke hadde en reell tolkning i form av driftsutstyr.
Les også: Om kvantedatamaskiner i enkle ord
Fra modell til innovative implementeringer
McCulloch og Pitts utviklet en teoretisk modell, men etableringen av det første virkelige nevrale nettverket måtte vente i mer enn ti år. Skaperen regnes for å være en annen pioner innen kunstig intelligensforskning, Frank Rosenblatt, som i 1957 opprettet Mark I Perceptron-nettverket, og du viste selv at takket være denne strukturen, fikk maskinen en evne som tidligere bare var iboende for dyr og mennesker: den kan lære. Imidlertid vet vi nå at det faktisk var andre forskere som kom opp med ideen om at en maskin kunne lære, inkludert før Rosenblatt.
Mange forskere og pionerer innen informatikk på 1950-tallet kom opp med ideen om hvordan man kan få en maskin til å gjøre det den ikke kunne gjøre på egen hånd. For eksempel utviklet Arthur Samuel et program som spilte dam med et menneske, Allen Newell og Herbert Simon laget et program som uavhengig kunne bevise matematiske teoremer. Allerede før opprettelsen av Rosenblatts første nevrale nettverk, bygde to andre forskningspionerer innen kunstig intelligens, Marvin Minsky og Dean Edmonds, i 1952, det vil si selv før dukket opp Rosenblatts perceptron, en maskin kalt SNARC (Stochastic Neural). Analog Reinforcement Calculator) - forsterkning av stokastisk nevrale analoge kalkulatorer, ansett av mange for å være den første stokastiske nevrale nettverksdatamaskinen. Det skal bemerkes at SNARC ikke hadde noe med moderne datamaskiner å gjøre.
Den kraftige maskinen, som brukte mer enn 3000 elektroniske rør og en ekstra autopilotmekanisme fra en B-24 bombefly, var i stand til å simulere operasjonen til 40 nevroner, noe som viste seg å være nok til matematisk å simulere en rottes søk etter en utgang fra en labyrint . Selvfølgelig var det ingen rotte, det var bare en prosess med fradrag og å finne den optimale løsningen. Denne bilen var en del av Marvin Minskys Ph.D.
Et annet interessant prosjekt innen nevrale nettverk var ADALINE-nettverket, utviklet i 1960 av Bernard Withrow. Dermed kan man stille spørsmålet: siden forskerne for mer enn et halvt århundre siden kjente til det teoretiske grunnlaget for nevrale nettverk og til og med skapte de første fungerende implementeringene av slike beregningsrammeverk, hvorfor tok det så lang tid, frem til det 21. århundre, å lage reelle løsninger basert på nevrale nettverk? Svaret er ett: utilstrekkelig datakraft, men det var ikke den eneste hindringen.
Selv om på 1950- og 1960-tallet var mange AI-pionerer fascinert av mulighetene til nevrale nettverk, og noen av dem spådde at en maskinekvivalent med den menneskelige hjernen bare var ti år unna. Dette er til og med morsomt å lese i dag, for vi har fortsatt ikke engang kommet i nærheten av å lage en maskinekvivalent til den menneskelige hjernen, og vi er fortsatt langt fra å løse denne oppgaven. Det ble raskt klart at logikken i de første nevrale nettverkene var både fascinerende og begrenset. De første implementeringene av AI ved bruk av kunstige nevroner og maskinlæringsalgoritmer var i stand til å løse et visst snevert utvalg av oppgaver.
Men når det gjaldt bredere rom og å løse noe virkelig seriøst, som mønster- og bildegjenkjenning, simultanoversettelse, tale- og håndskriftgjenkjenning, osv., det vil si ting som datamaskiner og AI allerede kan gjøre i dag, viste det seg at første implementeringer av nevrale nettverk klarte rett og slett ikke å gjøre det. Hvorfor er det slik? Svaret ble gitt av forskningen til Marvin Minsky (ja, den samme fra SNARC) og Seymour Papert, som i 1969 beviste begrensningene til perceptronlogikk og viste at det ikke virker å øke mulighetene til enkle nevrale nettverk utelukkende på grunn av skalering. Det var enda en, men veldig viktig, barriere – datakraften som var tilgjengelig på den tiden var for liten til at nevrale nettverk kunne brukes etter hensikten.
Også interessant:
- Så, å snakke eller ikke å snakke? Musk nekter for å ha snakket med Putin. Men det er et "men"
- Moderne artilleri er Ukrainas supervåpen. Og hvorfor er Elon Musk her?
Renessanse av nevrale nettverk
På 1970- og 1980-tallet ble nevrale nettverk praktisk talt glemt. Det var ikke før på slutten av forrige århundre at tilgjengelig datakraft ble så stor at folk begynte å vende tilbake til den og utvikle sine evner på dette feltet. Det var da nye funksjoner og algoritmer dukket opp, i stand til å overvinne begrensningene til de første enkleste nevrale nettverkene. Det var da ideen om dyp maskinlæring av flerlags nevrale nettverk oppsto. Hva skjer egentlig med disse lagene? I dag er nesten alle nyttige nevrale nettverk som opererer i vårt miljø flerlags. Vi har et inputlag som har som oppgave å motta inndata og parametere (vekter). Antallet av disse parameterne varierer avhengig av kompleksiteten til beregningsproblemet som skal løses av nettverket.
I tillegg har vi såkalte «skjulte lag» – det er her all «magien» knyttet til dyp maskinlæring skjer. Det er de skjulte lagene som er ansvarlige for evnen til dette nevrale nettverket til å lære og utføre de nødvendige beregningene. Til slutt er det siste elementet utgangslaget, det vil si laget av det nevrale nettverket som gir det ønskede resultatet, i dette tilfellet: gjenkjent håndskrift, ansikt, stemme, dannet bilde basert på tekstbeskrivelsen, resultatet av tomografisk analyse av diagnosebildet og mye mer.
Les også: Jeg testet og intervjuet Bings chatbot
Hvordan lærer nevrale nettverk?
Som vi allerede vet, behandler individuelle nevroner i nevrale nettverk informasjon ved hjelp av parametere (vekter), som tildeles individuelle verdier og forbindelser. Disse vektene endres i løpet av læringsprosessen, noe som lar deg justere strukturen til dette nettverket på en slik måte at det genererer ønsket resultat. Hvordan lærer nettverket nøyaktig? Det er åpenbart, det må trenes hele tiden. Ikke bli overrasket over dette ordtaket. Vi lærer også, og denne prosessen er ikke kaotisk, men ryddig, la oss si. Vi kaller det utdanning. Uansett kan nevrale nettverk også trenes, og dette gjøres vanligvis ved å bruke et passende utvalgt sett med innganger, som på en eller annen måte forbereder nettverket for oppgavene det skal utføre i fremtiden. Og alt dette gjentas trinn for trinn, noen ganger ligner læringsprosessen til en viss grad selve treningsprosessen.
For eksempel, hvis oppgaven til dette nevrale nettverket er å gjenkjenne ansikter, er det forhåndstrent på et stort antall bilder som inneholder ansikter. I læringsprosessen endres vektene og parameterne til de skjulte lagene. Eksperter bruker uttrykket "minimering av kostnadsfunksjonen" her. En kostnadsfunksjon er en størrelse som forteller oss hvor mye et gitt nevralt nettverk gjør feil. Jo mer vi kan minimere kostnadsfunksjonen som et resultat av trening, jo bedre vil dette nevrale nettverket yte i den virkelige verden. Den viktigste funksjonen som skiller ethvert nevralt nettverk fra en oppgave som er programmert ved hjelp av en klassisk algoritme, er at programmereren må designe trinn for trinn hvilke handlinger programmet skal utføre, når det gjelder klassiske algoritmer. Når det gjelder nevrale nettverk, er nettverket selv i stand til å lære å utføre oppgaver riktig på egen hånd. Og ingen vet nøyaktig hvordan et komplekst nevralt nettverk utfører sine beregninger.
I dag brukes nevrale nettverk mye og, kanskje overraskende, veldig ofte uten å forstå hvordan beregningsprosessen i et gitt nettverk faktisk fungerer. Det er ikke behov for dette. Programmerere bruker ferdige maskinlærte nevrale nettverk som er forberedt på inndata av en bestemt type, behandler dem på en måte som bare er kjent for dem og produserer det ønskede resultatet. En programmerer trenger ikke å vite hvordan inferensprosessen fungerer i et nevralt nettverk. Det vil si at en person holder seg unna et stort volum av beregninger, en metode for å skaffe informasjon og dens behandling av nevrale nettverk. Hvorfra visse frykt for menneskeheten angående modeller for kunstig intelligens. Vi er rett og slett redd for at det nevrale nettverket en dag vil sette seg en viss oppgave og uavhengig, uten hjelp fra en person, finne måter å løse det på. Dette bekymrer menneskeheten, forårsaker frykt og mistillit til bruken av maskinlæringsalgoritmer.
Denne utilitaristiske tilnærmingen er vanlig i dag. Det er det samme med oss: vi vet hvordan vi skal trene noen i en bestemt aktivitet, og vi vet at treningsprosessen vil være effektiv hvis den gjøres riktig. En person vil tilegne seg ønskede ferdigheter. Men forstår vi nøyaktig hvordan deduksjonsprosessen foregår i hjernen hans, som forårsaket denne effekten? Vi aner ikke.
Forskernes oppgave er å studere disse problemene så mye som mulig, slik at de tjener og hjelper oss der det er nødvendig, og, viktigst av alt, ikke blir en trussel. Som mennesker er vi redde for det vi ikke vet.
Også interessant: