1. Нейроподобный элемент (нейрон).
На нейроподобный элемент поступает набор входных сигналов x1 , x2 , ..., xM (или входной вектор X), представляющий собой выходные сигналы других нейроподобных элементов. Каждый входной сигнал умножается на соответствующий вес связи w1 , w2 , ..., wM - аналог эффективности синапса. Вес связи является скалярной величиной, положительной для возбуждающих и отрицательной для тормозящих связей. Взвешенные весами связей входные сигналы поступают на блок суммации, соответствующий телу клетки, где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S:
Рис. 1.1.
(1.1)
Выходной сигнал нейрона y определяется путем пропускания уровня возбуждения S через нелинейную функцию f:
(1.2)
Возможно вы искали - Реферат: Электромагнитное поле. Различные виды излучений
где q - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции: бинарная (рис. 1.2, а)
Рис. 1.2.
(1.3)
или сигмоидная (рис. 1.2, б)
(1.4)
В такой модели нейрона пренебрегают многими известными характеристиками биологического прототипа, которые некоторые исследователи считают критическими. Например, в ней не учитывают нелинейность пространственно-временной суммации, которая особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам, различного рода временные задержки, эффекты синхронизации и частотной модуляции, рефрактерность и т.п. Несмотря на это нейроподобные сети, построенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойств, напоминающие свойства биологических систем.
Похожий материал - Реферат: Инфразвук
2. Нейроподобная сеть.
Нейроподобная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (координирующий входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов.Множество выходных сигналов нейронов сети y1 , y2 , ...,yN называют вектором выходной активности, или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где wij - вес связи между i- и j-м нейронами. В процессе функционирования (эволюции состояния) сети осуществляется преобразование входного вектора в выходной, т.е. некоторая переработка информации, которую можно интерпретировать, например, как функцию гетеро- или автоассоциативной памяти. Конкретный вид выполняемого сетью преобразования информации обусловливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т.е. той или иной топологией межнейронных связей, выбором определенных подмножеств нейроподобных элементов для ввода и вывода информации или отсутствием конкуренции, направлением и способами управления и синхронизации информационных потоков между нейронами и т.д.
2.1. Модели нейронных сетей.
Рассматриваемые нами модели нейронных сетей объединены в три группы. В п. 2.1.1. рассматриваются сети персептронного типа, для которых характерно отсутствие обратных связей между нейроподобными элементами, организованными в слои. Отличительной особенностью сетей, представленных в п. 2.1.2, являются симметричные (равные по величине и противоположные по направлению) связи между любыми двумя соединенными нейронами. В нейросетевых архитектурах, описанных в п. 2.1.3, между нейронами одного слоя имеются постоянные тормозящие связи (латеральное торможение).
2.1.1. Сети с прямыми связями.
Очень интересно - Реферат: Одиноки ли мы во Вселенной?
Прямой персептрон. В середине 50-х годов была предложена одна из первых моделей нейронных сетей, которая вызвала большой интерес из-за своей способности обучаться распознаванию простых образов. Эта модель - персептрон - состоит из бинарных нейроподобных элементов и имеет простую топологию, что позволило достаточно полно проанализировать ее работу и создать многочисленные физические реализации.Типичный персептрон состоит из трех основных компонент:
1. матрицы бинарных входов r1 , r2 , ..., rn (сенсорных нейронов или “сетчатки”, куда подаются входные образы);
2. набора бинарных нейроподобных элементов x1 , x2 , ..., xm (или предикатов в наиболее общем случае) с фиксированными связями к подмножествам сетчатки (“детекторы признаков”);
3. бинарного нейроподобного элемента с модифицируемыми связями к этим предикатам (“решающий элемент”).
На самом деле число решающих элементов выбирают равным количеству классов, на которое необходимо разбить предъявляемые персептрону образы.
Вам будет интересно - Реферат: Законы сохранения
Таким образом, модель персептрона характеризуется наличием только прямых связей, один из слоев которых является модифицируемым. В постейшем случае, когда n = m и xi = ri , детекторы признаков могут рассматриваться как входной слой. Тогда персептрон становится одним бинарным нейроподобным элементом. Это классическая модель М-входового нейрона, приведенная на рис. 1.1, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторого подмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающих элементов является значением функции xi , которое равно 0 или 1.
Устройство реагирует на входной вектор генерацией выходного сигнала y решающего элемента по формуле (1.3). Таким образом, персептрон формирует гиперплоскость, которая делит многомерное пространство x1 , x2 , ..., xm на две части и определяет, в какой из них находится входной образ, выполняя таким образом, его классификацию. Возникает вопрос, как определить значения весов, чтобы обеспечить решение персептроном конкретной задачи. Это достигается в процессе обучения.
Один из алгоритмов обучения приведен в параграфе 2.2.
Многослойный персептрон. Как отмечалось выше, простой персептрон с одним слоем обучаемых связей формирует границы областей решений в виде гиперплоскотей. Двухслойный персептрон может выполнять может выполнять операцию логического “И” над полупространствами, образованными гиперплоскостями первого слоя весов. Это позволяет формировать любые, возможно неограниченные, выпуклые области в пространстве входных сигналов. С помощью трехслойного персептрона, комбинируя логическими “ИЛИ” нужные выпуклые области, можно получить уже области решений произвольной формы и сложности, в том числе невыпуклые и несвязные. То, что многослойные персептроны с достаточным множеством внутренних нейроподобных элементов и соответствующей матрицей связе в принципе способны осуществлять любое отображение вход - выход, отмечали еще Минский и Пейперт, однако они сомневались в том, что можно открыть для них мощный аналог процедуры обучения простого персептрона. В настоящее время в результате возрождения интереса к многослойным сетям предложено несколько таких процедур. Часть из них приведена в параграфе 2.2.
2.1.2. Сети с симметричными связями.
Похожий материал - Доклад: Взаимодействие тел
Ансамблевые нейронные сети. Минский и Пейперт отмечали, что недостатки простых персептронов можно преодолеть как с помощью многослойных сетей (см. выше), так и введением в сеть обратных связей, допускающих циркуляцию сигналов по замкнутым контурам. Использовать свойства такого рода сетей для моделирования функций мозга еще в 1949 г. предложил Хебб.
Согласно взглядам Хебба нервные клетки мозга соединены друг с другом большим количеством прямых и обратных возбуждающих связей и образуют нейронную сеть. Каждый нейрон осуществляет пространственно-временную суммацию приходящих к нему сигналов от возбуждающих, определяя потенциал на своей мембране. Когда потенциал на мембране превышает пороговое значение, нейрон возбуждается. Нейрон обладает рефрактерностью и усталостью. Эффективность связей может изменяться в процессе функционирования сети, повышаясь между одновременно возбужденными нейронами. Это приводит к объединению нейронов в клеточные ансамбли - группы клеток, которые чаще всего возбуждались вместе, и к обособлению ансамблей друг от друга. При возбуждении достаточной части ансамбля он возбуждается целиком. Различные ансамбли могут пересекаться: один и тот же нейрон может входить в разные ансамбли. Электрическая активность мозга обусловлена последовательным возбуждением отдельных ансамблей.
Идеи Хебба оказали большое воздействие на представления о работе мозга и послужили основой для создания нейронных моделей долговременной памяти. Действительно, ансамблевую нейронную сеть можно рассматривать как структуру, реализующую функции распределенной ассоциативной памяти. Формирование ансамблей в такой сети соответствует запоминанию образов (признаков, объектов, событий, понятий), закодированных паттерном активности нейронов, а сформированные ансамбли являются их внутренним представлением. Процесс возбуждения всего ансамбля при активации части его нейронов можно интерпретировать как извлечение запомненной информации по ее части - ключу памяти.
Модель памяти на основе ансамблевой нейронной сети обладает некоторыми свойствами, присущими биологической памяти, таким, как ассоциативность, распределенность, параллельность, устойчивость к шуму и сбоям, надежность. Проводятся также структурные аналоги между ансамблевыми моделями нейронных сетей и строением коры головного мозга. Имеются экспериментальные данные о синаптической пластичности, постулированной Хеббом.