Днес ще се опитаме да разберем какво представляват невронните мрежи, как работят и каква е ролята им в създаването на изкуствен интелект.
Невронни мрежи. Чуваме тази фраза почти навсякъде. Стига се до там, че ще намерите невронни мрежи дори в хладилниците (това не е шега). Невронните мрежи се използват широко от алгоритми за машинно обучение, които днес могат да бъдат намерени не само в компютри и смартфони, но и в много други електронни устройства, например в домакински уреди. А замисляли ли сте се какво представляват тези невронни мрежи?
Не се притеснявайте, това няма да е академична лекция. Има много публикации, включително и на украински език, които много професионално и достоверно обясняват този въпрос в областта на точните науки. Такива публикации са на повече от дузина години. Как е възможно тези стари публикации да са все още актуални? Факт е, че основите на невронните мрежи не са се променили, а самата концепция - математически модел на изкуствен неврон - е създадена по време на Втората световна война.
Същото и с интернет, днешният интернет е несравнимо по-напреднал от времето, когато е бил изпратен първият имейл. Основите на Интернет, основните протоколи, съществуват от самото начало на неговото създаване. Всяка сложна концепция е изградена върху основата на стари структури. Същото е и с нашия мозък, най-младата мозъчна кора не може да функционира без най-стария еволюционен елемент: мозъчния ствол, който е в главите ни от времена, далеч по-стари от съществуването на нашия вид на тази планета.
Малко ли те обърках? Така че нека разберем по-подробно.
Също интересно: ChatGPT: Лесни инструкции за употреба
Какво представляват невронните мрежи?
Мрежата е съвкупност от определени елементи. Това е най-простият подход в математиката, физиката или технологиите. Ако компютърната мрежа е набор от взаимосвързани компютри, тогава невронната мрежа очевидно е набор от неврони.
Тези елементи обаче не са дори малко сравними по сложност с нервните клетки на нашия мозък и нервна система, но на определено ниво на абстракция някои характеристики на изкуствен неврон и биологичен неврон са общи. Но е необходимо да се помни, че изкуственият неврон е много по-просто понятие от неговия биологичен аналог, за който все още не знаем всичко.
Прочетете също: 7 най-готини употреби на ChatGPT
Първо имаше изкуствен неврон
Първият математически модел на изкуствен неврон е разработен през 1943 г. (да, това не е грешка, по време на Втората световна война) от двама американски учени, Уорън Маккълох и Уолтър Питс. Те успяват да направят това на базата на интердисциплинарен подход, съчетаващ основни познания по физиология на мозъка (спомнете си времето, когато е създаден този модел), математика и тогавашния млад ИТ подход (те използват, наред с други неща, теорията на Алън Тюринг за изчислимостта ). Моделът на изкуствения неврон McCulloch-Pitts е много прост модел, той има много входове, където входната информация преминава през тегла (параметри), стойностите на които определят поведението на неврона. Полученият резултат се изпраща към един изход (вижте диаграмата на неврона McCulloch-Pitts).
Такава дървовидна структура се свързва с биологичен неврон, защото когато мислим за рисунки, изобразяващи биологични нервни клетки, в съзнанието ни идва характерната дървовидна структура на дендритите. Въпреки това, човек не трябва да се поддава на илюзията, че изкуственият неврон е поне малко близо до истинска нервна клетка. Тези двама изследователи, авторите на първия изкуствен неврон, успяха да демонстрират, че всяка изчислима функция може да бъде изчислена с помощта на мрежа от взаимосвързани неврони. Все пак нека си припомним, че тези първи концепции са създадени само като идеи, които съществуват само „на хартия“ и нямат реална интерпретация под формата на работещо оборудване.
Прочетете също: За квантовите компютри с прости думи
От модела до иновативните реализации
McCulloch и Pitts разработиха теоретичен модел, но създаването на първата истинска невронна мрежа трябваше да чака повече от десет години. Неговият създател се смята за друг пионер в изследванията на изкуствения интелект, Франк Розенблат, който през 1957 г. създава мрежата Mark I Perceptron, а вие сами показахте, че благодарение на тази структура машината е придобила способност, присъща преди това само на животни и хора: тя може да научи. Сега обаче знаем, че всъщност е имало и други учени, които са дошли с идеята, че една машина може да се учи, включително преди Розенблат.
Много изследователи и пионери на компютърните науки през 1950-те години на миналия век излязоха с идеята как да накарат една машина да прави това, което не може да направи сама. Например, Артър Самуел разработи програма, която играе пулове с човек, Алън Нюел и Хърбърт Саймън създадоха програма, която може независимо да доказва математически теореми. Още преди създаването на първата невронна мрежа на Розенблат, други двама пионери в изследванията в областта на изкуствения интелект, Марвин Мински и Дийн Едмъндс, през 1952 г., тоест още преди появата на перцептрона на Розенблат, построиха машина, наречена SNARC (Stochastic Neural Analog Reinforcement Calculator) - подсилване на стохастичен невронен аналогов калкулатор, считан от мнозина за първия компютър със стохастична невронна мрежа. Трябва да се отбележи, че SNARC няма нищо общо със съвременните компютри.
Мощната машина, използваща повече от 3000 електронни тръби и резервен механизъм за автопилот от бомбардировач B-24, успя да симулира работата на 40 неврона, което се оказа достатъчно, за да симулира математически търсенето на плъх за изход от лабиринт . Разбира се, нямаше плъх, беше просто процес на дедукция и намиране на оптималното решение. Тази кола беше част от докторската степен на Марвин Мински.
Друг интересен проект в областта на невронните мрежи е мрежата ADALINE, разработена през 1960 г. от Бърнард Уитроу. Така може да се зададе въпросът: след като преди повече от половин век изследователите познаваха теоретичните основи на невронните мрежи и дори създадоха първите работещи реализации на такива изчислителни рамки, защо отне толкова много време, до 21 век, за създавате реални решения, базирани на невронни мрежи? Отговорът е един: недостатъчната изчислителна мощност, но това не беше единствената пречка.
Въпреки че през 1950-те и 1960-те години на миналия век много пионери на ИИ бяха очаровани от възможностите на невронните мрежи и някои от тях прогнозираха, че машината, еквивалентна на човешкия мозък, е само след десет години. Това е дори смешно да се чете днес, защото все още дори не сме се доближили до създаването на машинен еквивалент на човешкия мозък и все още сме далеч от решаването на тази задача. Бързо стана ясно, че логиката на първите невронни мрежи е едновременно очарователна и ограничена. Първите реализации на AI, използващи изкуствени неврони и алгоритми за машинно обучение, успяха да решат определен тесен кръг от задачи.
Когато обаче се стигна до по-широки пространства и решаване на нещо наистина сериозно, като разпознаване на модели и изображения, симултанен превод, разпознаване на реч и ръкопис и т.н., тоест неща, които компютрите и AI вече могат да правят днес, се оказа, че първите реализации на невронни мрежи просто не бяха в състояние да направят това. защо е така Отговорът беше даден от изследванията на Marvin Minsky (да, същият от SNARC) и Seymour Papert, които през 1969 г. доказаха ограниченията на персептронната логика и показаха, че увеличаването на възможностите на простите невронни мрежи единствено поради мащабиране не работи. Имаше още една, но много важна бариера – наличната изчислителна мощност по това време беше твърде малка, за да могат невронните мрежи да се използват по предназначение.
Също интересно:
- И така, да говоря или да не говоря? Мъск отрича да е разговарял с Путин. Но има едно "но"
- Съвременната артилерия е супер оръжието на Украйна. И защо Илон Мъск е тук?
Ренесанс на невронните мрежи
През 1970-те и 1980-те години на миналия век невронните мрежи бяха практически забравени. Едва в края на миналия век наличната изчислителна мощност стана толкова голяма, че хората започнаха да се връщат към нея и да развиват своите възможности в тази област. Тогава се появиха нови функции и алгоритми, способни да преодолеят ограниченията на първите най-прости невронни мрежи. Тогава възниква идеята за дълбоко машинно обучение на многослойни невронни мрежи. Какво всъщност се случва с тези слоеве? Днес почти всички полезни невронни мрежи, работещи в нашата среда, са многопластови. Имаме входен слой, чиято задача е да получава входни данни и параметри (тегла). Броят на тези параметри варира в зависимост от сложността на изчислителния проблем, който трябва да бъде решен от мрежата.
Освен това имаме така наречените „скрити слоеве“ – тук се случва цялата „магия“, свързана с дълбокото машинно обучение. Именно скритите слоеве са отговорни за способността на тази невронна мрежа да се учи и да извършва необходимите изчисления. И накрая, последният елемент е изходният слой, тоест слоят на невронната мрежа, който дава желания резултат, в този случай: разпознат почерк, лице, глас, формирано изображение въз основа на текстово описание, резултат от томографски анализ на диагностичното изображение и много други.
Прочетете също: Тествах и интервюирах чатбота на Bing
Как се учат невронните мрежи?
Както вече знаем, отделните неврони в невронните мрежи обработват информация с помощта на параметри (тегла), на които се присвояват индивидуални стойности и връзки. Тези тегла се променят по време на процеса на обучение, което ви позволява да коригирате структурата на тази мрежа по такъв начин, че да генерира желания резултат. Как точно се учи мрежата? Очевидно е, че трябва постоянно да се тренира. Не се учудвайте на тази поговорка. Ние също се учим и този процес не е хаотичен, а подреден, да речем. Ние го наричаме образование. Във всеки случай, невронните мрежи също могат да бъдат обучени и това обикновено се прави с помощта на подходящо подбран набор от входове, които по някакъв начин подготвят мрежата за задачите, които ще изпълнява в бъдеще. И всичко това се повтаря стъпка по стъпка, понякога процесът на обучение до известна степен прилича на самия процес на обучение.
Например, ако задачата на тази невронна мрежа е да разпознава лица, тя е предварително обучена на голям брой изображения, съдържащи лица. В процеса на обучение теглата и параметрите на скритите слоеве се променят. Тук експертите използват фразата „минимизиране на функцията на разходите“. Функцията на разходите е количество, което ни казва колко грешки допуска дадена невронна мрежа. Колкото повече можем да минимизираме функцията на разходите в резултат на обучение, толкова по-добре ще работи тази невронна мрежа в реалния свят. Най-важната характеристика, която отличава всяка невронна мрежа от задача, програмирана с помощта на класически алгоритъм, е, че в случай на класически алгоритми, програмистът трябва да проектира стъпка по стъпка какви действия ще изпълнява програмата. В случай на невронни мрежи, самата мрежа е в състояние да се научи да изпълнява задачи правилно сама. И никой не знае как точно една сложна невронна мрежа извършва своите изчисления.
Днес невронните мрежи се използват широко и, може би изненадващо, много често, без да се разбира как всъщност работи изчислителният процес в дадена мрежа. Няма нужда от това. Програмистите използват готови машинно обучени невронни мрежи, които са подготвени за входни данни от определен тип, обработват ги по познат само на тях начин и произвеждат желания резултат. Програмистът не трябва да знае как работи процесът на извод в невронна мрежа. Тоест, човек остава настрана от голям обем изчисления, метод за получаване на информация и нейната обработка от невронни мрежи. Откъде идват някои страхове на човечеството по отношение на моделите на изкуствения интелект. Ние просто се страхуваме, че един ден невронната мрежа ще си постави определена задача и независимо, без помощта на човек, ще намери начини да я реши. Това тревожи човечеството, предизвиква страх и недоверие в използването на алгоритмите за машинно обучение.
Този утилитарен подход е често срещан днес. При нас е същото: ние знаем как да обучим някого в конкретна дейност и знаем, че процесът на обучение ще бъде ефективен, ако се извършва правилно. Човек ще придобие желани умения. Но разбираме ли как точно протича процесът на дедукция в мозъка му, който е предизвикал този ефект? Нямаме представа.
Задачата на учените е да изследват тези проблеми колкото е възможно повече, така че те да ни служат и да ни помагат, когато е необходимо, и най-важното - да не се превръщат в заплаха. Като хора ние се страхуваме от това, което не познаваме.
Също интересно: