Нейрокомпьютерные системы

мозга. В последних публикациях [9,12] представлено несколько форм

реализации двунаправленной ассоциативной памяти. Как большинство важных

идей, изложенные в этих работах идеи имеют глубокие корни; например,

в работе Гроссберга [6] представлены некоторые важные для ДАП

концепции. В данной работе ссылки приводятся не с целью разрешения

вопроса о приоритете исследовательских работ, а исключительно для

освещения их вклада в исследовательскую тематику.

СТРУКТУРА ДАП

[pic]

Рис. 7.1. Конфигурация двунаправленной ассоциативной памяти.

На рис. 7.1 приведена базовая конфигурация ДАП. Эта конфигурация

существенно отличается от используемой в работе [9]. Она выбрана таким

образом, чтобы подчеркнуть сходство с сетями Хопфилда и предусмотреть

увеличения количества слоев. На рис. 7.1 входной вектор А

обрабатывается матрицей весов W сети, в результате чего вырабатывается

вектор выходных сигналов нейронов В. Вектор В затем обрабатывается

транспонированной матрицей Wt весов сети, которая вырабатывает новые

выходные сигналы, представляющие собой новый входной вектор А. Этот

процесс повторяется до тех пор, пока сеть не достигнет стабильного

состояния, в котором ни вектор А, ни вектор В не изменяются. Заметим,

что нейроны в слоях 1 и 2 функционируют, как и в других парадигмах,

вычисляя сумму взвешенных входов и вычисляя по ней значение функции

активации F. Этот процесс может быть выражен следующим образом:

[pic] (7.1)

или в векторной форме: B = F( AW ) (7.2)

где В - вектор выходных сигналов нейронов слоя 2, А -вектор выходных

сигналов нейронов слоя 1, W - матрица весов связей между слоями 1 и 2, F

- функция активации.Аналогично

A = F (BWt) (7.3)

где Wt является транспозицией матрицы W. Как отмечено в гл. 1,

Гроссберг показал преимущества использования сигмоидальной

(логистической) функции активации

OUTi = 1 / ( 1 + e-(NETi)

где OUTi - выход нейрона i, NETi - взвешенная сумма входных сигналов

нейрона i, ( - константа, определяющая степень кривизны. В простейших

версиях ДАП значение константы ( выбирается большим, в результате чего

функция активации приближается к простой пороговой функции. В дальнейших

рассуждениях будем предполагать, что используется пороговая функция

активации. Примем также, что существует память внутри каждого нейрона в

слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с

каждым тактом синхронизации, оставаясь постоянными между этими тактами.

Таким образом, поведение нейронов может быть описано следующими

правилами:

OUTi(n+1) = 1, если NETi(n)>0,

OUTi(n+1) = 0, если NETi(n)0,

bi = 0 , если OiTi, OUTi(n+l)=l, если NETi(n)p. Если это происходит, проводится

обучающий цикл, в процессе которого модифицируются веса векторов Тj

и Вj, связанных с возбужденным нейроном в слое распознавания.

2. Все запомненные образы проверены, определено, что они не

соответствуют входному вектору, и все нейроны слоя распознавания

заторможены. В этом случае предварительно не распределенный нейрон в

распознающем слое выделяется этому образу и его весовые векторы Вj и

Тj устанавливаются соответствующими новому входному образу.

Проблема производительности. Описанная сеть должна производить

последовательный поиск среди всех запомненных образов. В аналоговых

реализациях это будет происходить очень быстро; однако при моделировании

на обычных цифровых компьютерах этот процесс может оказаться очень

длительным. Если же сеть APT реализуется на параллельных процессорах,

все свертки на распознающем уровне могут вычисляться одновременно. В

этом случае поиск может быть очень быстрым. Время, необходимое для

стабилизации сети с латеральным торможением, может быть длительным при

моделировании на последовательных цифровых компьютерах. Чтобы выбрать

победителя в процессе латерального торможения, все нейроны в слое должны

быть вовлечены в одновременные вычисления и передачу. Это может

потребовать проведения большого объема вычислений перед достижением

сходимости. Латеральные тормозящие сети, аналогичные используемым в

неокогнитронах, могут существенно сократить это время (гл. 10).

РЕАЛИЗАЦИЯ APT Обзор

APT, как это можно увидеть из литературы, представляет собой нечто

большее, чем философию, но намного менее конкретное, чем программа

для компьютера. Это привело к наличию широкого круга реализаций,

сохраняющих идеи APT, но сильно отличающихся в деталях. Рассматриваемая

далее реализация основана на работе [5] с определенными изменениями

для обеспечения совместимости с работой [2] и моделями, рассмотренными в

данной работе. Эта реализация может рассматриваться в качестве

типовой, но необходимо иметь в виду, что другие успешные реализации имеют

большие отличия от нее.

Функционирование сетей APT

Рассмотрим более детально пять фаз процесса функционирования APT:

инициализацию, распознавание, сравнение, поиск и обучение.

Инициализация. Перед началом процесса обучения сети все весовые векторы

Вj и Тj, а также параметр сходства р, должны быть установлены в

начальные значения. Веса векторов Вj все инициализируются в одинаковые

малые значения. Согласно [2], эти значения должны удовлетворять условию

bij r, (8.4)

0 в противном случае,

где Т представляет собой порог. Принято, что латеральное торможение

существует, но игнорируется здесь для сохранения простоты выражений. Оно

обеспечивает тот факт, что только нейрон с максимальным значением NET

будет иметь выход, равный единице; все остальные нейроны будут иметь

нулевой выход. Можно рассмотреть системы, в которых в распознающем

слое возбуждаются несколько нейронов в каждый момент времени, однако

это выходит за рамки данной работы.

Сравнение. На этой фазе сигнал обратной связи от слоя распознавания

устанавливает G1 в нуль; правило двух третей позволяет возбуждаться

только тем нейронам, которые имеют равные единице соответствующие

компоненты векторов Р и X. Блок сброса сравнивает вектор С и входной

вектор X, вырабатывая сигнал сброса, когда их сходство S ниже порога

сходства. Вычисление этого сходства упрощается тем обстоятельством, что

оба вектора являются двоичными (все элементы либо 0, либо 1).

Следующая процедура проводит требуемое вычисление сходства:

1. Вычислить D - количество единиц в векторе X.

2. Вычислить N - количество единиц в векторе С.

Затем вычислить сходство S следующим образом:

S= N/D (8.5)

Например, примем, что

Х=1 0 1 1 1 0 D=5

С=0 0 1 1 1 0 1 N=4

S = N/D = 0.8

S может изменяться от 1 (наилучшее соответствие) до О (наихудшее

соответствие). Заметим, что правило двух третей делает С логическим

произведением входного вектора Х и вектора Р. Однако Р равен Тj,

весовому вектору выигравшего соревнование нейрона. Таким образом, D

может быть определено как количество единиц в логическом произведении

векторов Тj и X.

Поиск. Если сходство S выигравшего нейрона превышает параметр

сходства, поиск не требуется. Однако если сеть предварительно была

обучена, появление на входе вектора, не идентичного ни одному из

предъявленных ранее, может возбудить в слое распознавания нейрон со

сходством ниже требуемого уровня. В соответствии с алгоритмом

обучения возможно, что другой нейрон в слое распознавания будет

обеспечивать более хорошее соответствие, превышая требуемый уровень

сходства, несмотря на то, что свертка между его весовым вектором и

входным вектором может иметь меньшее значение. Пример такой

ситуации показан ниже. Если сходство ниже требуемого уровня,

запомненные образы могут быть просмотрены с целью поиска, наиболее

соответствующего входному вектору образа. Если такой образ

отсутствует, вводится новый несвязанный нейрон, который в дальнейшем

будет обучен. Для инициализации поиска сигнал сброса тормозит

возбужденный нейрон в слое распознавания на время проведения поиска,

сигнал 01 устанавливается в единицу и другой нейрон в слое

распознавания выигрывает соревнование. Его запомненный образ затем

проверяется на сходство, и процесс повторяется до тех пор, пока

конкуренцию не выиграет нейрон из слоя распознавания со сходством,

большим требуемого уровня (успешный поиск), либо пока все связанные

нейроны не будут проверены и заторможены (неудачный поиск).

Неудачный поиск будет автоматически завершаться на несвязанном нейроне,

так как его веса все равны единице, своему начальному значению.

Поэтому правило двух третей приведет к идентичности вектора С входному

век тору X, сходство S примет значение единицы и критерий сходства

будет удовлетворен.

Обучение. Обучение представляет собой процесс, в котором набор

входных векторов подается последовательно на вход сети и веса сети

изменяются при этом таким образом, чтобы сходные векторы

активизировали соответствующие нейроны. Заметим, что это - неуправляемое

обучение, нет учителя и нет целевого вектора, определяющего требуемый

ответ. В работе [2] различают два вида обучения: медленное и

быстрое. При медленном обучении входной вектор предъявляется

настолько кратковременно, что веса сети не имеют достаточного

времени для достижения своих асимптотических значений в результате

одного предъявления. В этом случае значения весов будут определяться

скорее статистическими характеристиками входных векторов, чем

характеристиками какого-то одного входного вектора. Динамика сети в

процессе медленного обучения описывается дифференциальными уравнениями.

Быстрое обучение является специальным случаем медленного

обучения, когда входной вектор прикладывается на достаточно длительный

промежуток времени, чтобы позволить весам приблизиться к их

окончательным значениям. В этом случае процесс обучения описывается

только алгебраическими выражениями. Кроме того, компоненты весовых

векторов Тj принимают двоичные значения, в отличие от непрерывного

диапазона значений, требуемого в случае быстрого обучения. В данной

работе рассматривается только быстрое обучение, интересующиеся читатели

могут найти превосходное описание более общего случая медленного

обучения в работе [2]. Рассмотренный далее обучающий алгоритм

используется как в случае успешного, так и в случае неуспешного поиска.

Пусть вектор весов Вj (связанный с возбужденным нейроном j

распознающего слоя) равен нормализованной величине вектора С. В [2]

эти веса вычисляются следующим образом:

[pic] (8.6)

где сi - i-я компонента выходного вектора слоя сравнения; j - номер

выигравшего нейрона в слое распознавания; Ьij - вес связи, соединяющей

нейрон i в слое сравнения с нейроном j в слое распознавания; L -

константа > 1 (обычно 2).

Компоненты вектора весов Т., связанного с новым запомненным

вектором, изменяются таким образом, что они становятся равны

соответствующим двоичным величинам вектора С:

tij=ci для всех i (8.7)

где tij является весом связи между выигравшим нейроном j в слое

распознавания и нейроном i в слое сравнения.

ПРИМЕР ОБУЧЕНИЯ СЕТИ APT

В общих чертах сеть обучается посредством изменения весов таким

образом, что предъявление сети входного вектора заставляет сеть

активизировать нейроны в слое распознавания, связанные с сходным

запомненным вектором. Кроме этого, обучение проводится в форме, не

разрушающей запомненные ранее образы, предотвращая тем самым

временную нестабильность. Эта задача управляется на уровне выбора

критерия сходства. Новый входной образ (который сеть не видела раньше)

не будет соответствовать запомненным образам с точки зрения параметра

сходства, тем самым формируя новый запоминаемый образ. Входной

образ, в достаточной степени соответствующий одному из запомненных

образов, не будет формировать нового экземпляра, он просто будет

модифицировать тот, на который он похож. Таким образом при

соответствующем выборе критерия сходства предотвращается запоминание

ранее изученных образов и временная нестабильность.

[pic]

На рис. 8.6 показан типичный сеанс обучения сети APT. Буквы

показаны состоящими из маленьких квадратов, каждая буква размерностью

8х8. Каждый квадрат в левой части представляет компоненту вектора Х с

единичным значением, не показанные квадраты являются компонентами с

нулевыми значениями. Буквы справа представляют запомненные образы, каждый

является набором величин компонент вектора Тj . Вначале на вход заново

проинициированной системы подается буква С. Так как отсутствуют

запомненные образы, фаза поиска заканчивается неуспешно; новый нейрон

выделяется в слое распознавания, и веса Тj устанавливаются равными

соответствующим компонентам входного вектора, при этом веса Вj

представляют масштабированную версию входного вектора.

Далее предъявляется буква В. Она также вызывает неуспешное

окончание фазы поиска и распределение нового нейрона. Аналогичный

процесс повторяется для буквы Е. Затем слабо искаженная версия буквы Е

подается на вход сети. Она достаточно точно соответствует запомненной

букве Е, чтобы выдержать проверку на сходство, поэтому используется для

обучения сети. Отсутствующий пиксель в нижней ножке буквы Е

устанавливает в 0 соответствующую компоненту вектора С, заставляя

обучающий алгоритм установить этот вес запомненного образа в нуль,

тем самым воспроизводя искажения в запомненном образе.

Дополнительный изолированный квадрат не изменяет запомненного образа,

так как не соответствует единице в запомненном образе. Четвертым

символом является буква Е с двумя различными искажениями. Она не

соответствует ранее запомненному образу (S меньше чем р), поэтому для ее

запоминания выделяется новый нейрон. Этот пример иллюстрирует

важность выбора корректного значения критерия сходства. Если значение

критерия слишком велико, большинство образов не будут подтверждать

сходство с ранее запомненными и сеть будет выделять новый нейрон для

каждого из них. Это приводит к плохому обобщению в сети, в

результате даже незначительные изменения одного образа будут создавать

отдельные новые категории. Количество категорий увеличивается, все

доступные нейроны распределяются, и способность системы к восприятию

новых данных теряется. Наоборот, если критерий сходства слишком мал,

сильно различающиеся образы будут группироваться вместе, искажая

запомненный образ до тех пор, пока в результате не получится очень малое

сходство с одним из них. К сожалению, отсутствует теоретическое

обоснование выбора критерия сходства, в каждом конкретном случае

необходимо решить, какая степень сходства должна быть принята для

отнесения образов к одной категории. Границы между категориями часто

неясны, и решение задачи для большого набора входных векторов может

быть чрезмерно трудным. В работе [2] предложена процедура с

использованием обратной связи для настройки коэффициента сходства,

вносящая, однако, некоторые искажения в результате классификации

как «наказание» за внешнее вмешательство с целью увеличения коэффициента

сходства. Такие системы требуют правил определения, является ли

производимая ими классификация корректной.

ХАРАКТЕРИСТИКИ APT

Системы APT имеют ряд важных характеристик, не являющихся

очевидными. Формулы и алгоритмы могут казаться произвольными, в то

время как в действительности они были тщательно отобраны с целью

удовлетворения требований теорем относительно производительности систем

APT. В данном разделе описываются некоторые алгоритмы APT, раскрывающие

отдельные вопросы инициализации и обучения.

Инициализация весовых векторов Т

Из ранее рассмотренного примера обучения сети можно было

видеть, что правило двух третей приводит к вычислению вектора С как

функции И между входным вектором Х и выигравшим соревнование

запомненным вектором Тj. Следовательно, любая компонента вектора С

будет равна единице в том случае, если соответствующие компоненты обоих

векторов равны единице. После обучения эти компоненты вектора Тj остаются

единичными; все остальные устанавливаются в нуль.

Это объясняет, почему веса tij. должны инициализироваться

единичными значениями. Если бы они были проинициализированы нулевыми

значениями, все компоненты вектора С были бы нулевыми независимо от

значений компонент входного вектора, и обучающий алгоритм предохранял бы

веса от изменения их нулевых значений. Обучение может

рассматриваться как процесс «сокращения» компонент запомненных векторов,

которые не соответствуют входным векторам. Этот процесс необратим,

если вес однажды установлен в нуль, обучающий алгоритм никогда не

восстановит его единичное значение. Это свойство имеет важное

отношение к процессу обучения. Предположим, что группа точно

соответствующих векторов должна быть классифицирована к одной

категории, определяемой возбуждением одного нейрона в слое

распознавания. Если эти вектора последовательно предъявляются сети, при

предъявлении первого будет распределяться нейрон распознающего слоя, его

веса будут обучены с целью соответствия входному вектору. Обучение при

предъявлении остальных векторов будет приводить к обнулению весов в тех

позициях, которые имеют нулевые значения в любом из входных векторов.

Таким образом, запомненный вектор представляет собой логическое

пересечение всех обучающих векторов и может включать существенные

характеристики данной категории весов. Новый вектор, включающий

только существенные характеристики, будет соответствовать этой

категории. Таким образом, сеть корректно распознает образ, никогда не

виденный ранее, т.е. реализуется возможность, напоминающая процесс

восприятия человека.

Настройка весовых векторов Вj.

Выражение, описывающее процесс настройки весов (выражение (8.6)

повторено здесь для справки) является центральным для описания

процесса функционирования сетей APT.

[pic]

Сумма в знаменателе представляет собой количество единиц на выходе

слоя сравнения. Эта величина может быть рассмотрена как «размер» этого

вектора. В такой интерпретации «большие» векторы С производят более

маленькие величины весов bij, чем «маленькие» вектора С. Это

свойство самомасштабирования делает возможным разделение двух векторов

в случае, когда один вектор является поднабором другого; т.е. когда

набор единичных компонент одного вектора составляет подмножество

единичных компонент другого. Чтобы продемонстрировать проблему,

возникающую при отсутствии масштабирования, используемого в выражении

(8.6), предположим, что сеть обучена двум приведенным ниже входным

векторам, при этом каждому распределен нейрон в слое распознавания.

Х1 = 1 0 0 0 0

X2= 1 1 1 0 0

Заметим, что Х1 является поднабором Х2 . В отсутствие свойства

масштабирования веса bij и tij получат значения, идентичные значениям

входных векторов. Если начальные значения выбраны равными 1,0,

веса образов будут иметь следующие значения:

T1 = В1 = 1 0 0 0 0

Т2 = B2 =1 1 1 0 0

Если X прикладывается повторно, оба нейрона в слое распознавания

получают одинаковые активации; следовательно, нейрон 2, ошибочный

нейрон, выиграет конкуренцию. Кроме выполнения некорректной

классификации, может быть нарушен процесс обучения. Так как Т2

равно 1 1 1 0 0, только первая единица соответствует единице

входного вектора, и С устанавливается в 1 0 0 0 0, критерий

сходства удовлетворяется и алгоритм обучения устанавливает вторую и

третью единицы векторов Т2 и В2 в нуль, разрушая запомненный образ.

Масштабирование весов bij предотвращает это нежелательное поведение.

Предположим, что в выражении (8.2) используется значение L=2, тем

самым определяя следующую формулу:

[pic][pic]

Значения векторов будут тогда стремиться к величинам

В1 = 1 0 0 0 0

В2 = 1/2 1/2 1/2 0 0

Подавая на вход сети вектор X1, получим возбуждающее воздействие

1,0 для нейрона 1 в слое распознавания и 1/2 для нейрона 2; таким

образом, нейрон 1 (правильный) выиграет соревнование. Аналогично

предъявление вектора Х2 вызовет уровень возбуждения 1,0 для нейрона 1 и

3/2 для нейрона 2, тем самым снова правильно выбирая победителя.

Инициализация весов bij

Инициализация весов bij малыми значениями является существенной для

корректного функционирования систем APT. Если они слишком большие,

входной вектор, который ранее был запомнен, будет скорее активизировать

несвязанный нейрон, чем ранее обученный. Выражение (8.1),

определяющее начальные значения весов, повторяется здесь для справки

bij < L / (L - 1+ т) для всех i , j. (8.1)

Установка этих весов в малые величины гарантирует, что несвязанные

нейроны не будут получать возбуждения большего, чем обученные нейроны

в слое распознавания. Используя предыдущий пример с L= 2, т=Ъ и

bij < 1/3, произвольно установим bij = 1/6. С такими весами предъявление

вектора, которому сеть была ранее обучена, приведет к более высокому

уровню активации для правильно обученного нейрона в слое

распознавания, чем для несвязанного нейрона. Например, для несвязанного

нейрона Х будет производить возбуждение 1/6, в то время как Х будет

производить возбуждение 1/2; и то и другое ниже возбуждения для

обученных нейронов.

Поиск. Может показаться, что в описанных алгоритмах отсутствует

необходимость наличия фазы поиска за исключением случая, когда для

входного вектора должен быть распределен новый несвязанный нейрон. Это

не совсем так; предъявление входного вектора, сходного, но не абсолютно

идентичного одному из запомненных образов, может при первом

испытании не обеспечить выбор нейрона слоя распознавания с уровнем

сходства большим р, хотя такой нейрон будет существовать. Как и в

предыдущем примере, предположим, что сеть обучается следующим двум

векторам:

Х =1 0 0 0 0

X =1 1 1 0 0

с векторами весов Вi, обученными следующим образом:

В1=1 0 0 0 0

В2 = 1/2 1/2 1/2 0 0

Теперь приложим входной вектор Х3 = 1 1 0 0 0. В этом случае возбуждение

нейрона 1 в слое распознавания будет 1,0, а нейрона 2 только 2/3. Нейрон

1 выйдет победителем (хотя он не лучшим образом соответствует

входному вектору), вектор С получит значение 1 1 0 0 0, S будет

равно 1/2. Если уровень сходства установлен в 3/4, нейрон 1 будет

заторможен и нейрон 2 выиграет состязание. С станет равным 1 1 0 0 0,

S станет равным 1, критерий сходства будет удовлетворен и поиск

закончится.

Теоремы APT

В работе [2] доказаны некоторые теоремы, показывающие

характеристики сетей APT. Четыре результата, приведенные ниже, являются

одними из наиболее важных:

1. После стабилизации процесса обучения предъявление одного из обучающих

векторов (или вектора с существенными характеристиками категории) будет

активизировать требуемый нейрон слоя распознавания без поиска. Эта

характеристика «прямого доступа» определяет быстрый доступ к

предварительно изученным образам.

2. Процесс поиска является устойчивым. После определения выигравшего

нейрона в сети не будет возбуждений других нейронов в результате

изменения векторов выхода слоя сравнения С; только сигнал сброса может

вызвать такие изменения.

3. Процесс обучения является устойчивым. Обучение не будет вызывать

переключения с одного возбужденного нейрона слоя распознавания на другой.

4. Процесс обучения конечен. Любая последовательность произвольных

входных векторов будет производить стабильный набор весов после

конечного количества обучающих серий; повторяющиеся последовательности

обучающих векторов не будут приводить к циклическому изменению весов.

ЗАКЛЮЧЕНИЕ

Сети APT являются интересным и важным видом систем. Они

способны решить дилемму стабильности-пластичности и хорошо

работают с других точек зрения. Архитектура APT сконструирована по

принципу биологического подобия; это означает, что ее механизмы во

многом соответствуют механизмам мозга (как мы их понимаем). Однако

они могут оказаться не в состоянии моделировать распределенную память,

которую многие рассматривают как важную характеристику функций мозга.

Экземпляры APT представляют собой «бабушкины узелки»; потеря одного

узла разрушает всю память. Память мозга, напротив, распределена по

веществу мозга, запомненные образы могут часто пережить значительные

физические повреждения мозга без полной их потери. Кажется логичным

изучение архитектур, соответствующих нашему пониманию организации и

функций мозга. Человеческий мозг представляет существующее

доказательство того факта, что решение проблемы распознавания образов

возможно. Кажется разумным эмулировать работу мозга, если мы хотим

повторить его работу. Однако контраргументом является история полетов;

человек не смог оторваться от земли до тех пор, пока не перестал

имитировать движения крыльев и полет птиц.

Глава 10 Когнитрон и неокогнитрон

Люди решают сложные задачи распознавания образов с обескураживающей

легкостью. Двухлетний ребенок без видимых усилий различает тысячи

лиц и других объектов, составляющих его окружение, несмотря на изменение

расстояния, поворота, перспективы и освещения. Может показаться,

что изучение этих врожденных способностей должно сделать простой

задачу разработки компьютера, повторяющего способности человека к

распознаванию. Ничто не может быть более далеким от истины. Сходство и

различия образов, являющиеся очевидными для человека, пока ставят в

тупик даже наиболее сложные компьютерные системы распознавания.

Таким образом, бесчисленное количество важных приложений, в которых

компьютеры могут заменить людей в опасных, скучных или неприятных

работах, остаются за пределами их текущих возможностей.

Компьютерное распознавание образов является больше искусством; наука

ограничена наличием нескольких методик, имеющих относительно небольшое

использование на практике. Инженер, конструирующий типовую систему

распознавания образов, обычно начинает с распознавания печатного

текста. Эти методы часто являются неадекватными задаче, и старания

разработчиков быстро сводятся к разработке алгоритмов, узко специфичных

для данной задачи. Обычно целью конструирования систем

распознавания образов является оптимизация ее функционирования над

выборочным набором образов. Очень часто разработчик завершает эту

задачу нахождением нового, приблизительно похожего образа, что приводит к

неудачному завершению алгоритмов. Этот процесс может продолжаться

неопределенно долго, никогда не приводя к устойчивому решению,

достаточному для повторения процесса восприятия человека, оценивающего

качество функционирования системы.

К счастью, мы имеем существующее доказательство того, что задача

может быть решена: это система восприятия человека. Учитывая

ограниченность успехов, достигнутых в результате стремления к собственным

изобретениям, кажется вполне логичным вернуться к биологическим моделям

и попытаться определить, каким образом они функционируют так

хорошо. Очевидно, что это трудно сделать по нескольким причинам. Во-

первых, сверхвысокая сложность человеческого мозга затрудняет

понимание принципов его функционирования. Трудно понять общие принципы

функционирования и взаимодействия его приблизительно 1011 нейронов

и 1014 синаптических связей. Кроме того, существует множество проблем

при проведении экспериментальных исследований. Микроскопические

исследования требуют тщательно подготовленных образцов (заморозка,

срезы, окраска) для получения маленького двумерного взгляда на большую

трехмерную структуру. Техника микропроб позволяет провести исследования

внутренней электрохимии узлов, однако трудно контролировать одновременно

большое количество узлов и наблюдать их взаимодействие. Наконец,

этические соображения запрещают многие важные эксперименты, которые

могут быть выполнены только на людях. Большое значение имели эксперименты

над животными, однако животные не обладают способностями человека

описывать свои впечатления. Несмотря на эти ограничения, многое

было изучено благодаря блестяще задуманным экспериментам. Например, в

[1] описан эксперимент, в котором котята выращивались в визуальном

окружении, состоящем только из горизонтальных черных и белых полос.

Известно, что определенные области коры чувствительны к углу ориентации,

поэтому у этих котов не развились нейроны, чувствительные к вертикальным

полосам. Этот результат наводит на мысль, что мозг млекопитающих

не является полностью «предустановленным» даже на примитивном уровне

распознавания ориентации линий. Напротив, он постоянно самоорганизуется,

основываясь на опыте.

На микроскопическом уровне обнаружено, что нейроны обладают как

возбуждающими, так и тормозящими синапсами. Первые стремятся к

возбуждению нейрона; последние подавляют его возбуждение (см. приложение

А). Это наводит на мысль, что мозг адаптируется либо изменением

воздействия этих синапсов, либо созданием или разрушением синапсов в

результате воздействия окружающей среды. Данное предположение

остается пока гипотезой с ограниченным физиологическим

подтверждением. Однако исследования, проведенные в рамках этой гипотезы,

привели к созданию цифровых моделей, некоторые из которых показывают

замечательные способности к адаптивному распознаванию образов.

КОГНИТРОН

Основываясь на текущих знаниях анатомии и физиологии мозга, в

работе [2] разработан когнитрон, гипотетическая модель системы восприятия

человека. Компьютерные модели, исследованные в [2], продемонстрировали

впечатляющие способности адаптивного распознавания образов, побуждая

физиологов исследовать соответствующие механизмы мозга. Это взаимно

усиливающее взаимодействие между искусственными нейронными сетями,

физиологией и психологией может оказаться средством, посредством

которого будет со временем достигнуто понимание механизмов мозга.

Структура

Когнитрон конструируется в виде слоев нейронов, соединенных

синапсами. Как показано на рис. 10.1, предсинаптический нейрон в одном

слое связан с постсинаптическим нейроном в следующем слое. Имеются

два типа нейронов: возбуждающие узлы, которые стремятся вызвать

возбуждение постсинаптического узла, и тормозящие узлы, которые тормозят

это возбуждение. Возбуждение нейрона определяется взвешенной суммой его

возбуждающих и тормозящих входов, однако в действительности

механизм является более сложным, чем простое суммирование.

[pic]

Рис. 10.1. Пресинаптические и постсинаптические нейроны.

На рис. 10.2 показано, что каждый нейрон связан только с нейронами

в соседней области, называемой областью связи. Это ограничение

области связи согласуется с анатомией зрительной коры, в которой редко

соединяются между собой нейроны, располагающиеся друг от друга на

расстоянии более одного миллиметра. В рассматриваемой модели нейроны

упорядочены в виде слоев со связями от одного слоя к следующему. Это

также аналогично послойной структуре зрительной коры и других частей

головного мозга.

[pic]

Обучение

Так как когнитрон реализован в виде многослойной сети, возникают

сложные проблемы обучения, связанные с выбранной структурой. Автор

отверг управляемое обучение, как биологически неправдоподобное,

используя взамен этого обучение без учителя. Получая обучающий набор

входных образов, сеть самоорганизуется посредством изменения силы

синаптических связей. При этом отсутствуют предварительно определенные

выходные образы, представляющие требуемую реакцию сети, однако сеть

самонастраивается с целью распознавания входных образов с

замечательной точностью. Алгоритм обучения когнитрона является

концептуально привлекательным. В заданной области слоя обучается только

наиболее сильно возбужденный нейрон. Автор сравнивает это с «элитным

обучением», при котором обучаются только «умные» элементы. Те нейроны,

которые уже хорошо обучены, что выражается силой их возбуждения,

получат приращение силы своих синапсов с целью дальнейшего усиления

своего возбуждения. На рис. 10.3 показано, что области связи

соседних узлов значительно перекрываются. Это расточительное

дублирование функций оправдывается взаимной конкуренцией между

ближайшими узлами. Даже если узлы в начальный момент имеют абсолютно

идентичный выход, небольшие отклонения всегда имеют место; один из

Страницы: 1, 2, 3, 4, 5, 6, 7, 8