Обзор нейронных сетей

Колмыков Вячеслав Викторович,

аспирант Мордовского государственного университета им. Н. П. Огарева,

инженер – программист ЗАО НТЦ «Модуль».

Решается задача обзора нейронных сетей для наиболее лучшего построения, которая позволит строить прогноз. Рассматриваются сети обратного распространения, сети Кохонена.

Введение

В настоящее время стала актуальна проблема прогнозирования в страховом бизнесе. Не редко для прогнозирования используются статистические методы. Выбирается функция прогнозирования, на основе которой строиться прогноз. Но для прогнозирования прибегают к использованиям нейронных сетей, где нет необходимости прибегать к построению линейной системы.

Существуют несколько видов нейронных сетей. В частности:

1. Сети обратного распространения.

2. Сети Кохонена.

Метод обратного распространения ошибки.

Это итеративный градиентный алгоритм, который используется с целью минимизации ошибки работы многослойного перцептрона и получения желаемого выхода.

Основная идея этого метода состоит в распространении сигналов ошибки от выходов сети к её входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Барцев и Охонин предложили сразу общий метод («принцип двойственности»), приложимый к более широкому классу систем, включая системы с запаздыванием, распределённые системы и т.п.[1]

Алгоритм:

1. Инициализировать  маленькими случайными значениями, .

2. Повторить NUMBER_OF_STEPS раз:

для всех d от 1 до m:

а) подать  на вход сети и подсчитать выходы  каждого узла;

б) для всех  ;

в) для каждого уровня I, начиная с предпоследнего:

для каждого узла j уровня I вычислить ;

г) для каждого ребра сети {i, j}

3. Выдать значения ,

где  - коэффициент инерциальнности для сглаживания резких скачков при перемещении по поверхности целевой функции [2].

Нейронные сети Кохонена.

Класс нейронных сетей, основным элементом которых является слой Кохонена. Как правило, выходные сигналы слоя Кохонена обрабатываются по правилу «победитель забирает всё»: Наибольший сигнал превращается в единичный, а остальные сигналы обращаются в ноль.

По способам настройки входных весов сумматоров и по решаемым задачам различают много разновидностей сетей Кохонена. Наиболее известные из них:

·                    Сети векторного квантования сигналов [5], тесно связанные с простейшим базовым алгоритмом кластерного анализа (метод динамических ядер или K-средних, то есть K-means).

·                    Самоорганизующиеся карты Кохонена (Self-Organising Maps, SOM) [6].

·                    Сети векторного квантования, обучаемые с учителем (Learning Vector Quantization) [7].

Самоорганизующаяся карта состоит из компонент, называемых узлами или нейронами. Их количество задаётся аналитиком. Каждый из узлов описывается двумя векторами. Первый – вектор веса m, имеющий такую же размерность, что и входные данные. Второй – координаты узла на карте, далее вектор r. Обычно узлы располагают в вершинах регулярной решётки с квадратными или шестиугольными ячейками.

Изначально известна размерность входных данных, по ней некоторым образом строится первоначальный вариант карты. В процессе обучения векторы веса узлов приближаются к входным данным. Для каждого наблюдения выбирается наиболее похожий по вектору веса узел, и значение его вектора веса приближается к наблюдению. Также к наблюдению приближаются векторы веса нескольких узлов, расположенных рядом, таким образом если в множестве входных данных два наблюдения были схожи, на карте им будут соответствовать близкие узлы. Циклический процесс обучения, перебирающий входные данные, заканчивается по достижении картой допустимой (заранее заданной аналитиком) погрешности, или по совершении заданного количества итераций [3].

Для создания сетей использовалась программа Deductor Academic [4]. После обучения сетей получим данные, которые записаны в таблицу 1.

Таблица 1.

Результаты испытания.

На рисунке 2 представлен график обучения нейронных сетей и также виде графика изображены истинные значения.

Рис. 1. Графическое отображения обученных сетей.

Исходя из графика, видно, что наиболее точно удалось обучить нейронную сеть обратного распространения.

Заключение

На основе изложенного материала можно сделать вывод, что наиболее удобно использовать нейронную сеть обратного распространения, поскольку она легко реализуема, быстро обучается на основе градиентного спуска.

Литература

1. Барцев С. И., Гилев С. Е., Охонин В. А., Принцип двойственности в организации адаптивных сетей обработки информации, В кн.: Динамика химических и биологических систем. — Новосибирск: Наука, 1989. - С. 6-55.

2. Метод обратного распространения ошибки. Материал из Википедии - свободной энциклопедии http://ru.wikipedia.org/wiki/Метод_обратного_распространения_ошибки.

3. Нейронная сеть Кохонена. Материал из Википедии - свободной энциклопедии. http://ru.wikipedia.org/wiki/Нейронная_сеть_Кохонена.

4. BaseGroup Labs, http://www.basegroup.ru/download/deductor/.

5. Hecht-Nielsen, R. (1990), Neurocomputing, Reading, MA: Addison-Wesley, ISBN 0-201-09355-3.

6. Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9.

7. Kohonen, T. (1988), Learning Vector Quantization, Neural Networks, 1 (suppl 1), 303.

Поступила в редакцию 29.06.2010 г.