Статья "Искусственные нейронные сети"

Искусственные нейронные сети

ГБОУ школа №485 Московского района

Санкт-Петербурга

учитель информатики Кузнецов В.С.

Искусственная нейронная сеть (ИНС) — математическая модель, а также её программная или аппаратная реализация, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма [1].

ИНС могут выполнять следующие задачи:

–        Классификация образов. Задача состоит в указании принадлежности входного образа (например, речевого сигнала или рукописного символа), представленного вектором признаков, одному или нескольким предварительно определенным классам. Известны приложения теории нейронных вычислений к решениям задач распознавания букв, речи, классификации сигналов электрокардиограммы, классификации клеток крови.

–         Кластеризация/категоризация. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

–          Аппроксимация функций. Предположим, что имеется обучающая выборка ((x₁, y₁), (x₂, y₂), ... , (x_n,y_n)) (пары данных вход – выход), которая генерируется неизвестной функцией y = f(x), искаженной шумом. Задача аппроксимации состоит в оценивании неизвестной функции y = f(x). Аппроксимация функций необходима при решении многочисленных инженерных и научных задач моделирования.

–          Предсказание/прогноз. Пусть заданы n дискретных отсчетов {y(t₁), y(t₂), ... , y(t_n)} в последовательные моменты времени t₁, t₂, ... , t_n . Задача состоит в предсказании значения y(t_n+1) в некоторый будущий момент времени t_n+1. Предсказание цен на фондовой бирже и прогноз погоды являются типичными приложениями техники предсказания/прогноза.

–          Оптимизация. Многочисленные задачи математики, статистики, техники, науки, медицины и экономики могут рассматриваться как проблемы оптимизации. Задачей алгоритма оптимизации является отыскание такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.

–          Построение характеристик направленности (beamforming). Цель этой задачи – определение направления на источник сигнала (например, гидроакустического), принимаемого специальной антенной – антенной решеткой, на фоне аддитивного шума. [2]

ИНС могут быть реализованы двумя способами:

–     программная модель ИНС, реализованная на компьютерах с последовательной или параллельной архитектурой;

–     аппаратная модель, реализованная с помощью специальных нейроплат [3].

Программная модель дает проигрыш в быстродействии, однако, на этапе проектирования сети, исследования и оптимизации ее свойств и возможностей, этот путь представляется наилучшим, так как требует несравнимо меньших материальных затрат по сравнению с аппаратной реализацией.

Программировать ИНС можно с использованием языков общего назначения (например, С). Однако используют и специализированные языки, которые предоставляют средства для описания структуры элементов и связей сети в терминах предметной области. Примером такого специализированного языка может служить язык описания нейронных сетей AXON. Его синтаксис разработан при участии Р. Хехт-Нильсена (R. Hecht-Nielsen), и опирается на синтаксис языка С [2].

В области аппаратной реализации основными коммерческими аппаратными изделиями на основе ИНС являются в настоящее время так называемые нейроБИС или нейроплаты.

  Как было отмечено выше, ИНС функционирует по принципу процессов, протекающих в мозге при мышлении. Искусственный нейрон имитирует в первом приближении свойства биологического нейрона.

Как правило, во всех известных нейронных сетях множество ИН разделено на подмножества, которые называются слоями. Искусственные нейроны могут быть связаны как с искусственными нейронами своего слоя, так и с искусственными нейронами других слоев [4].

На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис.1 представлена модель, реализующая эту идею.

Рис.1.  Искусственный нейрон

Каждый из N + 1 входных сигналов  умножается на соответствующий весовой коэффициент  и поступает на суммирующий блок, обозначенный Σ. Множество весовых коэффициентов входных связей нейрона обозначается W и представляет собой вектор-столбец W = [w₀, w₁, …, w_N]^T.

Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, т.е. вычисляет их линейную комбинацию:

.                                            (1.1)

Значение , вычисленное по (1.1), называется внутренним выходом ИН, и далее преобразуется функцией активации f, в результате чего получается выходной сигнал искусственного нейрона:

y = f(I).                                                        (1.2)

Заметим, что значения параметров x₀ и w₀ фиксированы. Весовой коэффициент w₀ принимает значение q, которое называется пороговым значением функции активации.

Существует много разновидностей функций активации, но наиболее удобна в использовании нелинейная зависимость, называемая логистической функцией и определяемая как

,                                                      (1.3)

где a – параметр, определяющий свойства функции.

Следует отметить, что функция (1.3) дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения [3].

Существует два основных класса методов обучения ИНС [1]:

1. Обучение с учителем;

2. Самообучение.

Обучение с учителем предполагает ситуацию, в которой ИНС получает входной вектор X и формирует выходной вектор Y. Для такой системы обучение с учителем означает режим, в котором сети предоставляются образцы (x₁, y₁), (x₂, y₂),..., (x_k, y_k),... корректных (или желаемых) пар вход/выход.

Обозначим действительный выход сети Y ', а желаемый Y. Иными словами, Y ' является оценкой желаемого выхода Y. Действительный выходной вектор до окончания процедуры обучения будет отличаться от желаемого, что и является исходной информацией для изменения параметров ИН и весов межнейронных связей ИНС. В этом случае Y = F(X) неизвестная функция, а Y ' = G(X, W) – ее аппроксимация, которую должна воспроизводить нейронная сеть. Тогда обучение сети сводится к минимизации среднеквадратической ошибки аппроксимации по параметру W.

Самоорганизация предполагает формирование значений весовых коэффициентов W, минимизирующих ошибку аппроксимации, лишь на основании сведений о входных сигналах X [3].

CПИСОК ЛИТЕРАТУРЫ

1. Википедия. Свободная энциклопедия [Электронный ресурс]. – Режим доступа: http://ru.wikipedia.org, свободный. Загл. с экрана.
2. Лисс А.А., Степанов М.В. Нейронные сети и нейрокомпьютеры: Учеб. пособие.: СПбГЭТУ «ЛЭТИ», 1997. – 64 с.
3. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб.  пособие для вузов / Общая ред. А.И. Галушкина. – M.: ИПРЖР, 2000. – 416 с.
4. Уоссермен Ф. Нейрокомпьютерная техника. - М.:Мир,1992. – 240 с.