Нейрокомпьютерные системы

Нейрокомпьютерные системы

Введение.

ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ?

После двух десятилетий почти полного забвения интерес к

искусственным нейронным сетям быстро вырос за последние несколько лет.

Специалисты из таких далеких областей, как техническое

конструирование, философия, физиология и психология, заинтригованы

возможностями, предоставляемыми этой технологией, и ищут приложения им

внутри своих дисциплин. Это возрождение интереса было вызвано как

теоретическими, так и прикладными достижениями. Неожиданно открылись

возможности использования вычислений в сферах, до этого относящихся лишь

к области человеческого интеллекта, возможности создания машин,

способность которых учиться и запоминать удивительным образом напоминает

мыслительные процессы человека, и наполнения новым значительным

содержанием критиковавшегося термина «искусственный интеллект».

СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Искусственные нейронные сети индуцированы биологией, так как они

состоят из элементов, функциональные возможности которых аналогичны

большинству элементарных функций биологического нейрона. Эти элементы

затем организуются по способу, который может соответствовать (или не

соответствовать) анатомии мозга. Несмотря на такое поверхностное

сходство, искусственные нейронные сети демонстрируют удивительное число

свойств присущих мозгу. Например, они обучаются на основе опыта, обобщают

предыдущие прецеденты на новые случаи и извлекают существенные

свойства из поступающей информации, содержащей излишние данные.

Несмотря на такое функциональное сходство, даже самый оптимистичный их

защитник не предположит, что в скором будущем искусственные нейронные

сети будут дублировать функции человеческого мозга. Реальный «интеллект»,

демонстрируемый самыми сложными нейронными сетями. Книга имеет

практическую направленность. Если главы внимательно изучены, то большую

часть сетей оказывается возможным реализовать на обычном компьютере

общего назначения. Читателю настоятельно рекомендуется так и поступать.

Никакой другой метод не позволит добиться столь же глубокого понимания.

Предисловие

Что такое искусственные нейронные сети? Что они могут делать? Как

они работают? Как их можно использовать? Эти и множество подобных

вопросов задают специалисты из разных областей. Найти вразумительный

ответ нелегко. Университетских курсов мало, семинары слишком дороги, а

соответствующая литература слишком обширна и специализированна.

Готовящиеся к печати превосходные книги могут обескуражить начинающих.

Часто написанные на техническом жаргоне, многие из них предполагают

свободное владение разделами высшей математики, редко используемыми в

других областях. Эта книга является систематизированным вводным

курсом для профессионалов, не специализирующихся в математике. Все

важные понятия формулируются сначала обычным языком. Математические

выкладки используются, если они делают изложение более ясным. В конце

глав помещены сложные выводы и доказательства, а также приводятся ссылки

на другие работы. Эти ссылки составляют обширную библиографию важнейших

работ в областях, связанных с искусственными нейронными сетями. Такой

многоуровневый подход не только предоставляет читателю обзор по

искусственным нейронным сетям, но также позволяет заинтересованным

лицам серьезнее и глубже изучить предмет. Значительные усилия были

приложены, чтобы сделать книгу понятной и без чрезмерного упрощения

материала. Читателям, пожелавшим продолжить более углубленное

теоретическое изучение, не придется переучиваться. При упрощенном

изложении даются ссылки на более подробные работы. Книгу не

обязательно читать от начала до конца. Каждая глава предполагается

замкнутой, поэтому для понимания достаточно лишь знакомства с

содержанием гл. 1 и 2. Хотя некоторое повторение материала неизбежно,

большинству читателей это не будет обременительно.

Обучение

Искусственные нейронные сети могут менять свое поведение в

зависимости от внешней среды. Этот фактор в большей степени, чем любой

другой, ответствен за тот интерес, который они вызывают. После

предъявления входных сигналов (возможно, вместе с требуемыми выходами)

они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было

разработано множество обучающих алгоритмов, каждый со своими сильными и

слабыми сторонами. Как будет указано в этой книге позднее, все еще

существуют проблемы относительно того, чему сеть может обучиться и как

обучение должно проводиться.

Обобщение

Отклик сети после обучения может быть до некоторой степени

нечувствителен к небольшим изменениям входных сигналов. Эта внутренне

присущая способность видеть образ сквозь шум и искажения жизненно важна

для распознавания образов в реальном мире. Она позволяет преодолеть

требование строгой точности, предъявляемое обычным компьютером, и

открывает путь к системе, которая может иметь дело с тем несовершенным

миром, в котором мы живем. Важно отметить, что искусственная нейронная

сеть делает обобщения автоматически благодаря своей структуре, а не с

помощью использования «человеческого интеллекта» в форме специально

написанных компьютерных программ.

Введение

Абстрагирование

Некоторые из искусственных нейронных сетей обладают способностью

извлекать сущность из входных сигналов. Например, сеть может быть

обучена на последовательность искаженных версий буквы А. После

соответствующего обучения предъявление такого искаженного примера

приведет к тому, что сеть породит букву совершенной формы. В

некотором смысле она научится порождать то, что никогда не видела.

Эта способность извлекать идеальное из несовершенных входов ставит

интересные философские вопросы. Она напоминает концепцию идеалов,

выдвинутую Платоном в его «Республике». Во всяком случае, способность

извлекать идеальные прототипы является у людей весьма ценным

качеством.

Применимость

Искусственные нейронные сети не являются панацеей. Они, очевидно,

не годятся для выполнения таких задач, как начисление заработной платы.

Похоже, однако, что им будет отдаваться предпочтение в большом классе

задач распознавания образов, с которыми плохо или вообще не справляются

обычные компьютеры.

ИСТОРИЧЕСКИЙ АСПЕКТ

Людей всегда интересовало их собственное мышление. Это

самовопрошение, думание мозга о себе самом является, возможно,

отличительной чертой человека. Имеется множество размышлений о природе

мышления, простирающихся от духовных до анатомических. Обсуждение этого

вопроса, протекавшее в горячих спорах философов и теологов с физиологами

и анатомами, принесло мало пользы, так как сам предмет весьма труден

для изучения. Те, кто опирался на самоанализ и размышление, пришли к

выводам, не отвечающим уровню строгости физических наук.

Экспериментаторы же нашли, что мозг труден для наблюдения и ставит в

тупик своей организацией. Короче говоря, мощные методы научного

исследования, изменившие наш взгляд на физическую реальность, оказались

бессильными в понимании самого человека. Нейробиологи и нейроанатомы

достигли значительного прогресса. Усердно изучая структуру и функции

нервной системы человека, они многое поняли в «электропроводке» мозга ,

но мало узнали о его функционировании. В процессе накопления ими знаний

выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов

нейронов, каждый из которых соединен с сотнями или тысячами Других,

образуют систему, далеко превосходящую наши самые смелые мечты о

суперкомпьютерах. Тем не менее, мозг постепенно выдает свои секреты

в процессе одного из самых напряженных и честолюбивых исследований в

истории человечества. Лучшее понимание функционирования нейрона и

картины его связей позволило исследователям создать математические

модели для проверки своих теорий. Эксперименты теперь могут проводиться

на цифровых компьютерах без привлечения человека или животных, что

решает многие практические и морально-этические проблемы. В первых же

работах выяснилось, что эти модели не только повторяют функции мозга,

но и способны выполнять функции, имеющие свою собственную ценность.

Поэтому возникли и остаются в настоящее время две взаимно обогащающие

друг друга цели нейронного моделирования: первая - понять

функционирование нервной системы человека на уровне физиологии и

психологии и вторая - создать вычислительные системы (искусственные

нейронные сети), выполняющие функции, сходные с функциями мозга.

Именно эта последняя цель и находится в центре внимания этой книги.

Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами

были созданы модели человеческого обучения. Одной из таких моделей,

оказавшейся наиболее плодотворной, была модель Д.Хэбба, который в 1949г.

предложил закон обучения, явившийся стартовой точкой для алгоритмов

обучения искусственных нейронных сетей. Дополненный сегодня

множеством других методов он продемонстрировал ученым того времени, как

сеть нейронов может обучаться. В пятидесятые и шестидесятые годы

группа исследователей, объединив эти биологические и физиологические

подходы, создала первые искусственные нейронные сети. Выполненные

первоначально как электронные сети, они были позднее перенесены в

более гибкую среду компьютерного моделирования, сохранившуюся и в

настоящее время. Первые успехи вызвали взрыв активности и оптимизма.

Минский, Розенблатт, Уидроу и другие разработали сети, состоящие из

одного слоя искусственных нейронов. Часто называемые персептронами, они

были использованы для такого широкого класса задач, как предсказание

погоды, анализ электрокардиограмм и искусственное зрение. В течение

некоторого времени казалось, что ключ к интеллекту найден, и

воспроизведение человеческого мозга является лишь вопросом

конструирования достаточно большой сети. Но эта иллюзия скоро

рассеялась. Сети не могли решать задачи, внешне весьма сходные с

теми, которые они успешно решали. С этих необъяснимых неудач начался

период интенсивного анализа. Минский, используя точные математические

методы, строго доказал ряд теорем, относящихся к функционированию сетей.

Его исследования привели к написанию книги [4], в которой он

вместе с Пайпертом доказал, что используемые в то время однослойные

сети теоретически неспособны решить многие простые задачи, в том

числе реализовать функцию «Исключающее ИЛИ». Минский также не был

оптимистичен относительно потенциально возможного здесь прогресса:

Персептрон показал себя заслуживающим изучения, несмотря на жесткие

ограничения (и даже благодаря им). У него много привлекательных

свойств: линейность, занимательная теорема об обучении, простота модели

параллельных вычислений. Нет оснований полагать, что эти достоинства

сохраняться при переходе к многослойным системам. Тем не менее мы

считаем важной задачей для исследования подкрепление (или

опровержение) нашего интуитивного убеждения, что такой переход бесплоден.

Возможно, будет открыта какая-то мощная теорема о сходимости или

найдена глубокая причина неудач дать интересную «теорему обучения»

для многослойных машин ([4], С.231-232). Блеск и строгость

аргументации Минского, а также его престиж породили огромное доверие к

книге - ее выводы были неуязвимы. Разочарованные исследователи

оставили поле исследований ради более обещающих областей, а

правительства перераспределили свои субсидии, и искусственные нейронные

сети были забыты почти на два десятилетия. Тем не менее,

несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг,

Андерсон продолжили исследования. Наряду с плохим финансированием и

недостаточной оценкой ряд исследователей испытывал затруднения с

публикациями. Поэтому исследования, опубликованные в семидесятые и в

начале восьмидесятых годов, разбросаны в массе различных журналов,

некоторые из которых малоизвестны. Постепенно появился теоретический

фундамент, на основе которого сегодня конструируются наиболее мощные

многослойные сети. Оценка Минского оказалась излишне пессимистичной,

многие из поставленных в его книге задач решаются сейчас сетями с

помощью стандартных процедур. За последние несколько лет теория

стала применяться в прикладных областях, и появились новые корпорации,

занимающиеся коммерческим использованием этой технологии. Нарастание

научной активности носило взрывной характер. В 1987 г. было проведено

четыре крупных совещания по искусственным нейронным сетям и

опубликовано свыше 500 научных сообщений - феноменальная скорость

роста. Урок, который можно извлечь из этой истории, выражается

законом Кларка, выдвинутым писателем и ученым Артуром Кларком. В нем

утверждается, что, если крупный уважаемый ученый говорит, что нечто

может быть выполнено, то он (или она) почти всегда прав. Если же ученый

говорит, что это не может быть выполнено, то он (или она) почти

всегда не прав. История науки является летописью ошибок и частичных

истин. То, что сегодня не подвергается сомнениям, завтра отвергается.

Некритическое восприятие «фактов» независимо от их источника может

парализовать научный поиск. С одной стороны, блестящая научная

работа Минского задержала развитие искусственных нейронных сетей. Нет

сомнений, однако, в том, что область пострадала вследствие

необоснованного оптимизма и отсутствия достаточной теоретической базы. И

возможно, что шок, вызванный книгой «Персептроны», обеспечил

необходимый для созревания этой научной области период.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ

Имеется много впечатляющих демонстраций возможностей искусственных

нейронных сетей: сеть научили превращать текст в фонетическое

представление, которое затем с помощью уже иных методов превращалось

в речь [7]; другая сеть может распознавать рукописные буквы [1];

сконструирована система сжатия изображений, основанная на нейронной

сети [2]. Все они используют сеть обратного распространения - наиболее

успешный, по-видимому, из современных алгоритмов. Обратное

распространение, независимо предложенное в трех различных работах [8,

5, 6,], является систематическим методом для обучения многослойных

сетей, и тем самым преодолевает ограничения, указанные Минским. Как

подчеркивается в следующих главах, обратное распространение не

свободно от проблем. Прежде всего, нет гарантии, что сеть может быть

обучена за конечное время. Много усилий, израсходованных на обучение,

пропадает напрасно после затрат большого количества машинного времени.

Когда это происходит, попытка обучения повторяется - без всякой

уверенности, что результат окажется лучше. Нет также уверенности, что

сеть обучится возможным наилучшим образом. Алгоритм обучения может попасть

в «ловушку» так называемого локального минимума и будет получено худшее

решение. Разработано много других сетевых алгоритмов обучения,

имеющих свои специфические преимущества. Некоторые из них обсуждаются в

последующих главах. Следует подчеркнуть, что никакая из сегодняшних

сетей не является панацеей, все они страдают от ограничений в своих

возможностях обучаться и вспоминать. Мы имеем дело с областью,

продемонстрировавшей свою работоспособность, имеющей уникальные

потенциальные возможности, много ограничений и множество открытых

вопросов. Такая ситуация настраивает на умеренный оптимизм. Авторы

склонны публиковать свои успехи, но не неудачи, создавая тем самым

впечатление, которое может оказаться нереалистичным. Те, кто ищет

капитал, чтобы рискнуть и основать новые фирмы, должны представить

убедительный проект последующего осуществления и прибыли. Существует,

следовательно, опасность, что искусственные нейронные сети начнут

продавать раньше, чем придет их время, обещая функциональные

возможности, которых пока невозможно достигнуть. Если это произойдет,

то область в целом может пострадать от потери кредита доверия и

вернется к застойному периоду семидесятых годов. Для улучшения

существующих сетей требуется много основательной работы. Должны быть

развиты новые технологии, улучшены существующие методы и расширены

теоретические основы, прежде чем данная область сможет полностью

реализовать свои потенциальные возможности.

ПЕРСПЕКТИВЫ НА БУДУЩЕЕ

Искусственные нейронные сети предложены для задач, простирающихся

от управления боем до присмотра за ребенком, Потенциальными приложениями

являются те, где человеческий интеллект малоэффективен, а обычные

вычисления трудоемки или неадекватны. Этот класс приложений, во всяком

случае, не меньше класса, обслуживаемого обычными вычислениями, и можно

предполагать, что искусственные нейронные сети займут свое место наряду с

обычными вычислениями в качестве дополнения такого же объема и важности.

Искусственные нейронные сети и экспертные системы

В последние годы над искусственными нейронными сетями

доминировали логические и символьно-операционные дисциплины. Например,

широко пропагандировались экспертные системы, у которых имеется много

заметных успехов, так же, как и неудач. Кое-кто говорит, что

искусственные нейронные сети заменят собой современный искусственный

интеллект, но многое свидетельствует о том, что они будут

существовать, объединяясь в системах, где каждый подход используется

для решения тех задач, с которыми он лучше справляется. Эта точка

зрения подкрепляется тем, как люди функционируют в нашем мире.

Распознавание образов отвечает за активность, требующую быстрой реакции.

Так как действия совершаются быстро и бессознательно, то этот способ

функционирования важен для выживания во враждебном окружении. Вообразите

только, что было бы, если бы наши предки вынуждены были обдумывать свою

реакцию на прыгнувшего хищника? Когда наша система распознавания

образов не в состоянии дать адекватную интерпретацию, вопрос передается

в высшие отделы мозга. Они могут запросить добавочную информацию и

займут больше времени, но качество полученных в результате решений может

быть выше. Можно представить себе искусственную систему,

подражающую такому разделению труда. Искусственная нейронная сеть

реагировала бы в большинстве случаев подходящим образом на внешнюю

среду. Так как такие сети способны указывать доверительный уровень каждого

решения, то сеть «знает, что она не знает» и передает данный случай

для разрешения экспертной системе. Решения, принимаемые на этом более

высоком уровне, были бы конкретными и логичными, но они могут нуждаться

в сборе дополнительных фактов для получения окончательного

заключения. Комбинация двух систем была бы более мощной, чем каждая

из систем в отдельности, следуя при этом высокоэффективной модели,

даваемой биологической эволюцией.

Соображения надежности

Прежде чем искусственные нейронные сети можно будет использовать

там, где поставлены на карту человеческая жизнь или ценное имущество,

должны быть решены вопросы, относящиеся к их надежности. Подобно

людям, структуру мозга которых они копируют, искусственные нейронные сети

сохраняют в определенной мере непредсказуемость. Единственный способ

точно знать выход состоит в испытании всех возможных входных сигналов. В

большой сети такая полная проверка практически неосуществима и должны

использоваться статистические методы для оценки функционирования. В

некоторых случаях это недопустимо. Например, что является допустимым

уровнем ошибок для сети, управляющей системой космической обороны?

Большинство людей скажет, любая ошибка недопустима, так как ведет к

огромному числу жертв и разрушений. Это отношение не меняется от того

обстоятельства, что человек в подобной ситуации также может допускать

ошибки. Проблема возникает из-за допущения полной безошибочности

компьютеров. Так как искусственные нейронные сети иногда будут

совершать ошибки даже при правильном функционировании, то, как

ощущается многими, это ведет к ненадежности - качеству, которое мы

считаем недопустимым для наших машин. Сходная трудность

заключается в неспособности традиционных искусственных нейронных

сетей "объяснить", как они решают задачу. Внутреннее представление,

полу чающееся в результате обучения, часто настолько сложно, что его

невозможно проанализировать, за исключением самых простых случаев.

Это напоминает нашу неспособность объяснить, как мы узнаем человека,

несмотря на различие в расстоянии, угле, освещении и на прошедшие

годы. Экспертная система может проследить процесс своих рассуждений в

обратном порядке, так что человек может проверить ее на разумность.

Сообщалось о встраивании этой способности в искусственные нейронные

сети [3], что может существенно повлиять на приемлемость этих

систем.

ВЫВОДЫ

Искусственные нейронные сети являются важным расширением понятия

вычисления. Они обещают создание автоматов, выполняющих функции, бывшие

ранее исключительной прерогативой человека. Машины могут выполнять

скучные, монотонные и опасные задания, и с развитием технологии

возникнут совершенно новые приложения. Теория искусственных

нейронных сетей развивается стремительно, но в настоящее время она

недостаточна, чтобы быть опорой для наиболее оптимистических проектов.

В ретроспективе видно, что теория развивалась быстрее, чем

предсказывали пессимисты, но медленнее, чем надеялись оптимисты, -

типичная ситуация. Сегодняшний взрыв интереса привлек к нейронным сетям

тысячи исследователей. Резонно ожидать быстрого роста нашего понимания

искусственных нейронных сетей, ведущего к более совершенным сетевым

парадигмам и множеству прикладных возможностей.

Глава I Основы искусственных нейронных сетей

Искусственные нейронные сети чрезвычайно разнообразны по своим

конфигурациям. Несмотря на такое разнообразие, сетевые парадигмы имеют

много общего. В этой главе подобные вопросы затрагиваются для того,

чтобы читатель был знаком с ними к тому моменту, когда позднее они снова

встретятся в книге. Используемые здесь обозначения и графические

представления были выбраны как наиболее широко используемые в настоящее

время (опубликованных стандартов не имеется), они сохраняются на

протяжении всей книги.

БИОЛОГИЧЕСКИЙ ПРОТОТИП

Развитие искусственных нейронных сетей вдохновляется биологией. То

есть, рассматривая сетевые конфигурации и алгоритмы, исследователи

мыслят их в терминах организации мозговой деятельности. Но на этом

аналогия может и закончиться. Наши знания о работе мозга столь

ограничены, что мало бы нашлось руководящих ориентиров для тех, кто

стал бы ему подражать. Поэтому разработчикам сетей приходится выходить

за пределы современных биологических знаний в поисках структур,

способных выполнять полезные функции. Во многих случаях это приводит к

необходимости отказа от биологического правдоподобия, мозг становится

просто метафорой, и создаются сети, невозможные в живой материи или

требующие неправдоподобно больших допущений об анатомии и

функционировании мозга. Несмотря на то, что связь с биологией слаба

и зачастую несущественна, искусственные нейронные сети продолжают

сравниваться с мозгом. Их функционирование часто напоминает

человеческое познание, поэтому трудно избежать этой аналогии. К

сожалению, такие сравнения неплодотворны и создают неоправданные

ожидания, неизбежно ведущие к разочарованию. Исследовательский

энтузиазм, основанный на ложных надеждах, может испариться,

столкнувшись с суровой действительностью, как это уже однажды было в

шестидесятые годы, и многообещающая область снова придет в упадок, если

не будет соблюдаться необходимая сдержанность. Несмотря на сделанные

предупреждения, полезно все же знать кое-что о нервной системе

млекопитающих, так как она успешно решает задачи, к выполнению

которых лишь стремятся искусственные системы. Последующее обсуждение

весьма кратко. Нервная система человека, построенная из элементов,

называемых нейронами, имеет ошеломляющую сложность. Около 10

нейронов участвуют в примерно 10 передающих связях, имеющих длину

метр и более. Каждый нейрон обладает многими качествами, общими с

другими элементами тела, но его уникальной способностью является прием,

обработка и передача электрохимических сигналов по нервным путям, которые

образуют коммуникационную систему мозга.

[pic]

Рис. 1.1. Биологический нейрон.

На рис. 1.1 показана структура пары типичных биологических

нейронов. Дендриты идут от тела нервной клетки к другим нейронам,

где они принимают сигналы в точках соединения, называемых синапсами.

Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они

суммируются, причем одни входы стремятся возбудить нейрон, другие -

воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле

нейрона превышает некоторый порог, нейрон возбуждается, посылая по

аксону сигнал другим нейронам. У этой основной функциональной схемы

много усложнений и исключений, тем не менее, большинство искусственных

нейронных сетей моделируют лишь эти простые свойства.

ИСКУССТВЕННЫЙ НЕЙРОН

Искусственный нейрон имитирует в первом приближении свойства

биологического нейрона. На вход искусственного нейрона поступает

некоторое множество сигналов, каждый из которых является выходом

другого нейрона. Каждый вход умножается на соответствующий вес,

аналогичный синаптической силе, и все произведения суммируются,

определяя уровень активации нейрона. На рис. 1.2 представлена модель,

реализующая эту идею. Хотя сетевые парадигмы весьма разнообразны, в

основе почти всех их лежит эта конфигурация. Здесь множество входных

сигналов, обозначенных х(, х2 , ... , хn , поступает на искусственный

нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X,

соответствуют сигналам, приходящим в синапсы биологического нейрона.

Каждый сигнал умножается на соответствующий вес w1, v2, ..., иn , и

поступает на суммирующий блок, обозначенный S. Каждый вес соответствует

«силе» одной биологической синаптической связи. (Множество весов в

совокупности обозначается вектором W.) Суммирующий блок,

соответствующий телу биологического элемента, складывает взвешенные

входы алгебраически, создавая выход, который мы будем называть NET. В

векторных обозначениях это может быть компактно записано следующим

образом:

Активационные функции

Сигнал NET далее, как правило, преобразуется активационной функцией

F и дает выходной нейронный сигнал OUT. Активационная функция может быть

обычной линейной функцией

OUT = K(NET).

где К - постоянная, пороговой функцией

OUT = 1, если NET > Т, OUT = 0 в остальных случаях,

где Т - некоторая постоянная пороговая величина, или же функцией, более

точно моделирующей нелинейную передаточную характеристику биологического

нейрона и представляющей нейронной сети большие возможности.

[pic]

На рис. 1.3 блок, обозначенный F, принимает сигнал NET и выдает сигнал

OUT. Если блок F сужает диапазон изменения величины NET так, что при

любых значениях NET значения OUT принадлежат некоторому конечному

интервалу, то F называется сжимающей функцией. В качестве «сжимающей»

функции часто используется логистическая или «сигмоидальная» (S-

образная) функция, показанная на рис. 1.4а. Эта функция математически

выражается как F(x) = 1/(1 + е-x). Таким образом,

OUT = 1/(1 + е -NET).

По аналогии с электронными системами активационную функцию можно

считать нелинейной усилительной характеристикой искусственного нейрона.

Коэффициент усиления вычисляется как отношение приращения величины

OUT к вызвавшему его небольшому приращению величины NET. Он

выражается наклоном кривой при определенном уровне возбуждения и

изменяется от малых значений при больших отрицательных возбуждениях

(кривая почти горизонтальна) до максимального значения при нулевом

возбуждении и снова уменьшается, когда возбуждение становится большим

положительным. Гроссберг (1973) обнаружил, что подобная нелинейная

характеристика решает поставленную им дилемму шумового насыщения. Каким

образом одна и та же сеть может обрабатывать как слабые, так и сильные

сигналы? Слабые сигналы нуждаются в большом сетевом усилении, чтобы

дать пригодный к использованию выходной сигнал' Однако усилительные

каскады с большими коэффициентами усиления могут привести к насыщению

выхода шумами усилителей (случайными флуктуациями), которые присутствуют

в любой физически реализованной сети. Сильные входные сигналы в свою

очередь также будут приводить к насыщению усилительных каскадов, исключая

возможность полезного использования выхода. Центральная область

логистической функции, имеющая большой коэффициент усиления, решает

проблему обработки слабых сигналов, в то время как области с падающим

усилением на положительном и отрицательном концах подходят для больших

возбуждений. Таким образом, нейрон функционирует с большим усилением в

широком диапазоне уровня входного сигнала.

OUT= 1 / f1+e -NET)=f(NET)

[pic]

Другой широко используемой активационной функцией является

гиперболический тангенс. По форме она сходна с логистической функцией и

часто используется биологами в качестве математической модели активации

нервной клетки. В качестве активационной функции искусственной

нейронной сети она записывается следующим образом:

OUT = th(х).

Подобно логистической функции гиперболический тангенс является S-

образной функцией, но он симметричен относительно начала координат, и

в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис.

1.46). В отличие от логистической функции гиперболический тангенс

принимает значения различных знаков, что оказывается выгодным для ряда

сетей (см. гл. 3). Рассмотренная простая модель искусственного

нейрона игнорирует многие свойства своего биологического двойника.

Например, она не принимает во внимание задержки во времени, которые

воздействуют на динамику системы. Входные сигналы сразу же порождают

выходной сигнал. И, что более важно, она не учитывает воздействий функции

частотной модуляции или синхронизирующей функции биологического

нейрона, которые ряд исследователей считают решающими.

[pic]

Рис. 1.46. Функция гиперболического тангенса.

Несмотря на эти ограничения, сети, построенные из этих нейронов,

обнаруживают свойства, сильно напоминающие биологическую систему.

Только время и исследования смогут ответить на вопрос, являются ли

подобные совпадения случайными или следствием того, что в модели,

верно, схвачены важнейшие черты биологического нейрона.

ОДНОСЛОВНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

[pic]

Рис. 1.5. Однослойная нейронная сеть.

Хотя один нейрон и способен выполнять простейшие процедуры

распознавания, сила нейронных вычислений проистекает от соединений

нейронов в сетях. Простейшая сеть состоит из группы нейронов,

образующих слой, как показано в правой части рис. 1.5. Отметим, что

вершины-круги слева служат лишь для распределения входных сигналов. Они

не выполняют каких- либо вычислений, и поэтому не будут считаться

слоем. По этой причине они обозначены кругами, чтобы отличать их от

вычисляющих нейронов, обозначенных квадратами. Каждый элемент из

множества входов Х отдельным весом соединен с каждым искусственным

нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. В

искусственных и биологических сетях многие соединения могут

отсутствовать, все соединения показаны в целях общности. Могут иметь

место также соединения между выходами и входами элементов в слое. Такие

конфигурации рассматриваются в гл. 6. Удобно считать веса элементами

матрицы W. Матрица имеет т строк и п столбцов, где т. - число входов, а

п - число нейронов. Например, w3,2 - это вес, связывающий третий вход со

вторым нейроном. Таким образом, вычисление выходного вектора N,

компонентами которого являются выходы OUT нейронов, сводится к

матричному умножению N = XW, где N и Х- векторы-строки.

МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ.

Более крупные и сложные нейронные сети обладают, как правило, и

большими вычислительными возможностями. Хотя созданы сети всех

конфигураций, какие только можно себе представить, послойная организация

нейронов копирует слоистые структуры определенных отделов мозга.

Оказалось, что такие многослойные сети обладают большими возможностями,

чем однослойные (см. гл. 2), и в последние годы были разработаны

алгоритмы для их обучения. Многослойные сети могут образовываться

каскадами слоев. Выход одного слоя является входом для последующего

слоя. Подобная сеть показана на рис. 1.6 и снова изображена со всеми

соединениями.

Нелинейная активационная функция

Страницы: 1, 2, 3, 4, 5, 6, 7, 8