Модели одиночных нейронов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Искусственные нейронные сети являются эффективным средством решения сложных плохо формализуемых задач. К этому классу традиционно относятся задачи классификации, кластеризации, аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации, управления сложными технологическими объектами. В настоящее время методы нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических сигналов, управления интеллектуальными робототехническими системами, распознавания слитной речи, моделирования многомерных динамических объектов в реальном времени, классификации осколков распада при столкновении частиц высоких энергий, моделирования ретины глаза, улитки уха и др. В целом этот класс приложений характеризуются высокой размерностью данных ( до 1000 и более переменных) и критичностью к времени обработки (вплоть до тысячных долей секунды). Наибольшее распространение в технических приложениях получили многослойные нейронные сети прямого распространения, что обусловлено исключительной простотой их алгоритмической реализации, наличием развитых методов обучения, возможностью параллельного выполнения вычислений. Однако в сетях подобного типа вычислительная сложность растет пропорционально квадрату размерности данных, что ведет либо к резкому снижению быстродействия, либо к значительному увеличению аппаратных затрат.

Несмотря на то, что в последние годы теория нейронных сетей получила значительное развитие, до сих пор не достаточно развиты методы системного проектирования и анализа быстродействующих нейронных сетей высокой размерности и родственных к ним быстрых перестраиваемых преобразований. Быстродействие может быть достигнуто прореживанием синаптических связей, но это приводит к снижению уровня «интеллекта» нейронной сети. Поэтому основной проблемой проектирования больших нейронных сетей является наличие системного противоречия между быстродействием и качеством нейронной сети. «Интеллект» нейронной сети оценивается ее разделяющей мощностью, количественно выражающей способность сети к распознаванию образов. Методы оценки разделяющей мощности сетей со сложной топологией связей в настоящее время не разработаны, что связано с отсутствием математических моделей для адекватного выражения коннекционизма сети.

Анализ имеющихся научных источников показал, что одним из наиболее перспективных путей разрешения системного противоречия является использование регулярных модульных нейронных сетей. Модульность ограничивает топологическое разнообразие нейронных сетей, но одновременно дает возможность построить простые модели для анализа и синтеза нейронных сетей. Регулярность позволяет наиболее полно обеспечить выполнение технологических ограничений при технической реализации сети.

С основной проблемой связаны задачи: построения системных моделей нейронных сетей адекватных технической и биологической концепции модульности, количественной оценки коннекционизма и потенциальных возможностей модульных нейронных сетей, оптимального выбора структуры и топологии сетей, эффективного сопряжения больших нейронных сетей с алгоритмами предварительной обработки данных, построения реконфигурируемых регулярных нейронных сетей.

В области анализа и системного проектирования модульные сети пересекаются с теорией сложных систем управления. Математические модели сложных модульных систем изучались в работах Н.П. Бусленко, В.В. Калашникова, И.М. Коваленко, Р. Калмана, М. Арбиба, П. Фалба, М. Месаровича, Т. Такахара, А.А. Вавилова, Б.Ф. Фомина, В.А. Терехова, Д.Х. Имаева и других авторов. Основные трудности использования существующих методов анализа связаны с тем, что ни один из них полностью не покрывает спектра проблемных задач возникающих при проектировании модульной нейронной сети. Комплексированию методов препятствует их неоднородность, отсутствие модельной поддержки процедур обучения модульной системы, ориентация базовых моделей на геометрию векторного пространства, отсутствие унификации в методах анализа.

Специфика нейронных сетей требует модельного описания выражающего двойственность поведения нейронной сети как объекта обучения и как средства обработки данных для различного вида несущих пространств, морфологического типа модулей и уровня модельного представления. Методологический анализ показал, что широкий диапазон требований может быть разрешен использованием стратифицированного семейства моделей, в котором каждая частная модель описывает поведение нейронной сети с точки зрения выбранного уровня абстрагирования (страты). Отношение порядка между уровнями представлений задает иерархию между моделями.

На уровне структуры и топологии методы проектирования регулярных модульных нейронных сетей прямого распространения пересекаются с методами построения быстрых алгоритмов перестраиваемых линейных преобразований. Линейные преобразования традиционно используются как средство предварительной обработки данных в задачах классификации сигналов и распознавания образов. Быстрые спектральные преобразования получили широкое практическое применение, начиная с классических работ Кули - Тьюки и Гуда по алгоритмам быстрого преобразования Фурье (БПФ). Обобщенные перестраиваемые преобразования (которые можно рассматривать как частный случай модульных нейронных сетей) изучались в работах Г.Эндрюса, К. Каспари, Л. Рабинера, Р.Х.Садыхова, А.И.Солодовникова, В.Г.Лабунца. А.М.Спиваковского, А.М.Трахтмана и других авторов. Несмотря на активные исследования в этой области, остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов топологического синтеза и параметрической настройки перестраиваемых преобразований.

В настоящее время отсутствуют практически реализуемые методы, обеспечивающие корректное разрешение противоречия между сложностью и «интеллектом» нейронной сети большого масштаба при известных технологических ограничениях. Теоретическая разработка методов системного проектирования быстродействующих модульных нейронных сетей больших масштабов, обобщение существующих моделей модульных систем, разработка общих методов построения быстрых алгоритмов для эффективной обработки данных высокой размерности является в настоящее время актуальной задачей.

Целью диссертационной работы является: разработка унифицированных моделей и методов системного проектирования модульных быстродействующих нейронных сетей большого масштаба и быстрых перестраиваемых преобразований в нейросетевом базисе.

Задачи исследования:

· Предложить концепцию системного проектирования быстродействующих нейронных сетей большого масштаба.

· Разработать комплекс стратифицированных системных моделей для многоуровневого проектирования модульных нейронных сетей.

· Разработать методы структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

· Разработать методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

· Разработать методы структурного проектирования модульных нейронных сетей высокой размерности.

· Разработать методы количественной оценки коннекционизма модульных нейронных сетей прямого распространения.

· Разработать методы построения реконфигурируемых регулярных нейронных сетей.

Методы исследования. Выполненные теоретические и прикладные исследования базируются на методах моделирования и проектирования сложных систем управления, методах нейроинформатики, методах прикладного спектрального анализа, эволюционных алгоритмов, математической теории категорий, теории нечеткой логики, теории распознавания образов, теории оптимизации, методах объектно-ориентированного программирования.

На защиту выносится совокупность научных результатов в области системного моделирования и проектирования быстродействующих модульных нейронных сетей и перестраиваемых преобразований высокой размерности:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба.

2. Комплекс стратифицированных категорных моделей модульных нейронных сетей.

3. Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований.

4. Методы настройки быстрых перестраиваемых преобразований к заданной системе функций.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения произвольной размерности.

6. Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам.

Научная новизна диссертации. В работе предложена, развита и реализована новая концепция и разработаны теоретические основы методов системного проектирования быстродействующих нейронных сетей и перестраиваемых преобразований больших масштабов:

· Концепция многоуровневого системного проектирования быстродействующих нейронных сетей большого масштаба, отличается четырехуровневой иерархией модельного представления сети основанной на модульном обособлении обусловленным инъективностью связей, что позволяет выполнить многоуровневую декомпозицию задачи проектирования по целям и используемым методам.

· Системные модели модульных нейронных сетей удовлетворяют всем требованиям математических категорий, и отличаются трансверсальностью и согласованной многоуровневой стратификацией, образуя взаимосвязанный комплекс, что позволяет реализовать сквозное нисходящее проектирование модульных нейронных сетей произвольной размерности.

· Общее решение задачи структурного и топологического проектирования быстрых регулярных нейронных сетей и перестраиваемых преобразований, отличается использованием стратифицированных лингвистических моделей, что позволило определить инварианты, структурного и топологического синтеза быстрых алгоритмов.

· Методы настройки быстрых перестраиваемых преобразований к системе функций основаны на кратно масштабном мультипликативном представлении произвольных дискретных функций и отличаются полным использованием степеней свободы перестраиваемых преобразований.

· Эволюционный метод структурного проектирования ядерных нейронных сетей отличается сохранением генетического подобия слабосвязанной структуры при пошаговом синтезе сети с оптимизацией по критериям пластичности и вычислительной эффективности, что позволяет выполнить структурное проектирование быстродействующих нейронных сетей произвольной размерности с вычислимыми оценками качественных показателей.

· Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам использует в качестве измеримого показателя число распознаваемых образов общего положения и отличается наличием аналитических форм расчета и методики экспериментальной оценки, что позволяет обоснованно выбрать структуру быстродействующей нейронной сети.

Достоверность научных положений и выводов подтверждается: корректностью математических выкладок, строгостью доказательства утверждений, обоснованностью используемых ограничений, корректностью интерпретации в предметной области, результатами моделирования и экспериментальной проверки методов, алгоритмов и программного обеспечения, а также результатами практического использования разработанных в диссертации математических, алгоритмических и программных методов и средств.

Практическая значимость. Разработанные методы являются научной базой конструкторского и технологического проектирования регулярных модульных сетей большого масштаба для широкого класса вычислительных платформ:

· Комплекс стратифицированных моделей – основа поэтапного нисходящего проектирования модульной нейронной сети, исходя из требуемых функциональных возможностей, уровня быстродействия, и технологических ограничений.

· Общее решение задачи структурного и топологического синтеза быстрых регулярных нейронных сетей и перестраиваемых преобразований выраженное установленным инвариантом морфологического уровня и группами допустимых преобразований структуры и топологии, определяет полный диапазон проектных решений, удовлетворяющих принятым условиям регулярности.

· Методы настройки быстрых перестраиваемых преобразований к системе функций – теоретическая база для построения алгоритмов быстрых преобразований и многоканальных быстродействующих адаптивных фильтров в нейросетевом базисе.

· Эволюционный метод структурного проектирования ядерных нейронных сетей выделяет класс квазирегулярных проектных решений быстродействующих модульных нейронных сетей прямого распространения, с вычислимыми оценками качественных показателей.

· Метод оценки разделяющей мощности модульных нейронных сетей прямого распространения по структурным характеристикам и разработанная на его основе методика экспериментальной оценки решают задачу вычисления и измерения способности нейронной сети к распознаванию образов и аппроксимации многомерных отображений.

· Созданный пакет программных средств для проектирования и моделирования ядерных нейронных сетей может быть использован как для научных исследований и обучения, так и для создания коммерческих программных продуктов в области интеллектуальных технологий.

Достоверность и значимость практических результатов подтверждается их использованием: при проектировании подсистемы классификации транспортных колонн в системе охранного мониторинга энергетических объектов, при моделировании подсистемы динамической стабилизации шагающего робота, при проектировании подсистемы контроля динамики судна при движении в ледовой обстановке, при проектировании подсистемы распознавания групп токсических фосфорорганических соединений при групповых отравлениях.

Результаты работы нашли отражение в двух научно-исследовательских программах и восьми научных грантах в период 1997-2003гг. (в шести из них автор был руководителем).

Созданный программный пакет инструментальных средств вместе с сопутствующими методическими материалами используется в учебном процессе в ряде вузов России: в Санкт-Петербургском государственном электротехнический университете (ЛЭТИ), в Академии управления и предпринимательства (институт) – негосударственное образовательное учреждение высшего профессионального образования (г. Екатеринбург), в Дальневосточном государственном техническом университет (ДВГТУ) (г. Владивосток), в Кубанском государственном аграрном университете (г. Краснодар).

Практическое применение результатов диссертационной работы подтверждено соответствующими актами о внедрении основных результатов работы и использовании программных средств.

Апробация. Основные результаты работы докладывались на: Международном симпозиуме «Интеллектуальные системы» (INTEL'S_96); International Conference on Informatic and Control (IC&C'97); Всероссийском семинаре «Нейроинформатика и ее приложения» (1997, 1998, 1999, 2000, 2001, 2003гг.); Международной конференции «Информационные средства и технологии» (1997г.); Международной конференции «Современные технологии обучения» (1998, 1999гг.); Международной научно-технической конференции «Нейронные, реляторные сети и модели» (1998г.); Межреспубликанской научной конференции «Управление в социальных, экономических и технических системах» (1998г.); Международной конференции «Мягкие вычисления и измерения» (1998, 2000, 2001, 2002, 2003гг.); Всероссийском семинаре «Моделирование неравновесных систем» (1998, 2001гг.). Всероссийской научно-технической конференции «Нейроинформатика» (1999, 2000, 2001, 2002, 2003, 2004гг.); Всероссийской конференции с международным участием «Нейрокомпьютеры и их применение» (1999, 2000, 2001, 2002гг.); Международной конференции по нейрокибернетике «Проблемы нейрокибернетики» (1999, 2002гг.); Международной научно-технической конференции «Пятьдесят лет развития кибернетики» (1999г.); First international conference on mechatronics and robotics: M&R’2000, Saint-Petersburg; Eleventh IFAC International Workshop Control application of optimization CAO’2000, Saint-Petersburg; 4-th International Conference «New Information Technologies» (NITe’2000), Minsk; Seventh International Conference on Advanced Computer Systems (ACS-2000), Poland, Szczecin; 2nd International Conference on Neural Networks and Artificial Intelligence, ICNNAI’2001, Minsk; Seventh International Conference on Information Networks, System and Technologies, ICINASTe-2001, Minsk; Международной научно-технической конференции IEEE AIS’03 CAD-2003; 5-ой международной конференции по морским интеллектуальным технологиям «Моринтех’2003»; Third International Conference on Neural Networks and Artificial Intelligence ICNNAI-2003, Minsk.

Публикации. По результатам диссертационной работы опубликованы одна монография и 93 научные статьи, из них – 27 работ в отечественных и зарубежных журналах и повторяющихся изданиях, остальные в материалах российских и международных конференций.

Структура и объем работы. Диссертационная работа состоит из восьми глав с выводами, заключения, списка литературы, включающего 230 наименований, одного приложения. Основная часть диссертации изложена на 345 страницах машинописного текста. Диссертация содержит 127 рисунков и 7 таблиц.

Содержание работы

Во введении обоснована актуальность темы диссертации, сформулированы цели, задачи и методы исследования, научная новизна, практическая значимость, достоверность и апробация диссертационной работы. Дана характеристика публикаций, структуры и объема работы.

В первой главе показана роль нейротехнологии в развитии современных методов решения технических задач, сформулированы принципы системного моделирования и проектирования нейронных сетей и показаны прикладные области использования быстродействующих нейронных сетей большого масштаба. В технологии системного моделирования выделены этапы концептуализации, формализации и работы с моделью. Задача системного проектирования включает в себя системное моделирование, выбор критериев оптимальности сетевой модели и нахождение оптимальных параметров сети при выполнении существующих ограничений и требований, обусловленных технической реализацией.

Выполнен концептуальный анализ биологических нейронных сетей и обзор методов моделирования искусственных нейронных сетей. Отмечено, что нейронные сети относятся к категории сложных систем, для которых основной проблемой математического моделирования является нахождение приемлемого компромисса между детализацией и простотой описания. Один из путей решения этой проблемы заключается в формировании иерархически вложенного семейства моделей (стратифицированных моделей), что ведет к упрощению каждой частной модели. В математической формулировке стратификация связана с выделением на каждом уровне иерархии инвариантных отношений и переходом к факторным моделям описывающем следующий уровень модельного представления.

Выполнен обзор и анализ технических реализаций нейронных сетей большого масштаба на современных вычислительных платформах. Основное внимание уделено структурной организации нейронных сетей. Показано, что основными технологическими требованиями являются: локальность синаптических связей, регулярность топологии, модульность и каскадируемость, минимальная вычислительная сложность, ограниченность рецепторных полей нейронов, реконфигурируемость нейронных сетей. Отмечено, что в настоящее время в технических приложениях доминируют многослойный нейронные сети прямого распространения, обладающие высокими функциональными возможностями, однако практическая реализация данного класса сетей имеет ряд проблем, из которых главными являются: большой объем вычислительных операций при обработке данных и обучении; проблемы стабильности-пластичности сети; структурная избыточность сети, проблема оптимального структурного и топологического проектирования.

Выполнен обзор методов построения нейронных сетей с ограниченными связями. Показано, что ведущей тенденцией в построении быстродействующих сетей большого масштаба является использование модульных структур, согласованных с регулярной структурой вычислительной платформы. Отмечается, что высокое быстродействие и технологичность модульных нейронных сетей, достигаются ограничением числа межнейронных связей, что приводит к снижению уровня «интеллекта» нейронной сети. Поэтому одной из основных задач системного проектирования модульных сетей высокого быстродействия является разработка количественных методов оценки коннекционизма сети для корректного разрешения существующего системного противоречия. Выполнен обзор существующих методов оценки качества многослойных сетей.

Отмечено, что регулярные модульные нейронные сети прямого распространения могут быть использованы для построения итерационных алгоритмов цифровой обработки данных, включая быстрые перестраиваемые спектральные преобразования. Актуальной является задача объединения обоих направлений цифровой обработки данных.

В результате проведенного обзорного анализа концепций и путей построения быстродействующих нейронных сетей, методов их реализации и моделирования в сопоставлении с планируемыми целями исследования предложена концепция системного проектирования быстродействующих нейронных сетей большого масштаба. Главным положением, которой является модульная организация и многоуровневый подход к проектированию на основе иерархического семейства стратифицированных моделей. Основная идея в модельных представлениях связана с устранением точек ветвления в межмодульных связях, за счет погружения их в смежные модули (полностью реализован принцип инъективности связей). Нейронный модуль определен как обособленная группа нейронов образующая инъективные связи по терминальным полям с другими аналогичными модулями. Последовательная реализация принципа инъективности связей приводит к математической модели модульной нейронной сети, стратифицированной по четырем уровням представлений: параметрическому, топологическому, структурному и морфологическому. На основе разработанной концепции сформулирована цель исследований и определены основные задачи работы.

Вторая глава посвящена вопросам системного моделирования модульных нейронных сетей. В контексте задачи проектирования от системной модели требуется, чтобы она выражала множественность проектных решений и обладала представительностью (типичностью) в рамках заданных ограничений. В данной главе выполнен обзор наиболее известных методов математического моделирования модульных динамических систем. Отмечены их достоинства и недостатки, а также применимость для задачи системного моделирования модульных нейронных сетей. По результатам обзора сделаны следующие выводы:

· При анализе можно полагать, что вся динамика и все нелинейные свойства сосредоточены в модулях, связи же выполняют трансляцию выходных состояний без искажения.

· Не снижая уровня функциональности модели можно полагать, что межмодульные связи не имеют точек ветвления, т.е. являются точными и однозначными (инъективными).

· Состояния системы, определяются значениями входных и выходных сигналов модулей;

· Для каждого стратифицированного уровня системные модели следует рассматривать с адекватным рангом неопределенности.

· Для оценки достижимых характеристик систем и поиска оптимальных проектных решений необходимо использовать представительные модели поведения системы.

Проведенный анализ послужил концептуальной основой использования моделей «общего положения» (трансверсальных моделей), выражающих фундаментальное понятие типичности в системном моделировании. Для модульных систем условие типичности означает, что все модули обладают максимальной полнотой возможностей при заданных ограничениях, а все межмодульные связи являются невырожденными. Показано, что подкласс трансверсальных моделей является плотным в пространстве гладких системных моделей. Ограничение класса моделей подклассом трансверсальных позволяет существенно упростить исследование сложных систем на уровне структурных представлений.

Отмечено, что ни один из рассмотренных методов исследования сложных систем в целом не обладает набором моделей, который был бы достаточен для описания всех необходимых уровней представления модульной нейронной сети. Комплексированию моделей и методов препятствует их неоднородность. Известные методы анализа не имеют развитых средств для описания и исследования коннекционизма нейронных сетей, а системные модели не поддерживают процедуры обучения.

Проведенное методологическое исследование показало, что наиболее полно принятой концепции моделирования нейронных сетей, удовлетворяет аппарат математической теории категорий. Методы математической теории категорий позволяют: унифицировать модели для различных уровней стратификации, математически строго выразить коннекционизм сетевой модели, выразить множественность проектных решений в модельных представлениях, отразить в системных моделях двойственную природу нейронной сети, построить трансверсальные системные модели для различных несущих пространств.

Теория категорий используется как средство моделирования сложных систем, начиная с 70-х годов прошлого столетия. Для математического моделирования систем теория категорий использует два типа элементов – это объекты () и связи между ними. Оба типа элементов определяются множествами отображений называемых морфизмами (). Композиции морфизмов удовлетворяют условиям ассоциативности и для каждого объекта определен тождественный морфизм. Каждой категории взаимнооднозначно сопоставляется двойственная категория . Для любой пары объектов по определению полагают , и для любых морфизмов и имеет место .

В главе рассмотрены примеры построения категорных моделей в векторном, нечетком и вероятностном пространствах. Выполнен анализ категории «общих систем» Месаровича-Такахары, как наиболее полно отвечающей принципу модульности. Показано, что данная категория в общем случае является недостаточной моделью для представления модульных нейронных сетей. Предложена расширенная категорная модель модульной сети, которая обобщает как известные модели сложных систем управления, так и категорию «общих систем».

Категория параметрического уровня. Объектами категорной модели являются нейронные модули, определенные парой терминальных полей: полем рецепторов и полем аксонов. Все межмодульные морфизмы являются инъективными отображениями. С каждым терминальным полем модуля ассоциируются линейное векторное пространство. Объект задается парой векторных пространств , и множеством морфизмов, определенных полной матрицей отображений между данными пространствами:

где, , – преобразования векторов в рецепторном и аксоновом пространствах модуля, , – преобразования векторов при прямой и обратной передачи между ассоциированными пространствами ,. Системными состояниями модели считаются векторы ассоциированных пространств: и . Действие морфизма из множества определяется уравнениями системных состояний:

где два последовательных момента времени такие, что . Далее предполагается, что все модули являются статическими, а последовательность моментов времени служит для выражения причинно-следственной связи состояний. Тождественный морфизм объекта определен матрицей отображений:

где , тождественные отображения пространств и в себя. Морфизм между объектами задан матрицей линейных инъективных отображений:

Показано, что построенная системная модель удовлетворяет всем условиям категории. Морфизмы двойственной категории могут быть получены транспонированием матричных форм и переходом к двойственным отображениям для каждого элемента матрицы морфизма. Построенная категория обобщает морфологию межмодульного взаимодействия; кроме типовых взаимодействий «аксон-рецептор» в рамках данной модели допустимо взаимодействие типа «аксон-аксон», «рецептор-рецептор». Для биологических нейронных сетей такой класс взаимодействий хорошо известен.

Рис. 1. Организация связей между объектами в категории модульных систем общего вида

На рис. 1 показана схема межмодульных связей для категории модульных систем общего вида. Из общей категории можно получить модели для модульных сетей с ограниченным типом взаимодействий. В системах управления наибольшее распространение получил класс ориентированных систем, где модули представляют собой объекты управления типа «вход-выход», а межмодульные связи поддерживают только однонаправленное взаимодействие типа «аксон-рецептор». Для данного класса моделей матрицы морфизмов объектов и связей имеют вид:

, .

Символ «*» означает отсутствие отображения. Характер межмодульного взаимодействия в ориентированной категории представлен на рис. 2. Показано, что категория с морфизмами вида:

, ,

Рис. 2. Организация межмодульных связей в ориентированной категории

определяет категорию «общих систем» Месаровича-Такахары. Выбор полей неопределенности в матричном представлении морфизмов, позволяет построить классификацию модульных систем, по типам модулей и характеру межмодульного взаимодействия полностью покрывающую морфологическую классификацию систем управления.

Категория топологического уровня. В стратифицированном семействе моделей переход на следующий иерархический уровень модельных представлений связан с выделением инвариантов для модели текущего уровня. Для категории параметрического уровня, инвариантами являются отношения порядка, определенные на терминальных зажимах модулей. Отношения порядка однозначно определяют топологию инъективных межмодульных связей. В топологической категории каждому модулю сопоставляется пара конечномерных множеств . Для определенности можно полагать, что элементами данных множеств являются порядковые номера терминальных зажимов нейронного модуля. Множество морфизмов объекта ограничено единственным тождественным морфизмом, заданным матрицей

где - тождественные отображения. Системными переменными считаются отношения порядка на множествах соответственно. В главе построена топологическая категория для общего вида межмодульных взаимодействий и рассмотрены ее частные варианты. Для ориентированной категории множество межмодульных морфизмов определяется матрицей следующего вида:

где - числовое отображение. В данной категории все морфизмы инъективны, поэтому для конуса межмодульных морфизмов с общим концом в объекте можно записать:

где символ - обозначает кардинальную сумму непересекающихся упорядоченных подмножеств. Данное выражение определяет отношения порядка на рецепторных полях связанных модулей. Неопределенности разрешаются введением в категорию глобального объекта, задающего нумерацию терминальных зажимов аксоновых полей всех модулей сети. Построенная модель определяет алгоритм топологического проектирования сети.

В третьей главе рассматриваются методы топологического и параметрического проектирования модульных нейронных сетей прямого распространения на основе графического представления сети. Для графического образа модульной сети предложено использовать структурную модель в виде взвешенного ориентированного графа (см. пример на рис. 3.). Вес вершины графа задан парой чисел определяющих размерность рецепторного и аксонового полей нейронного модуля. Вес дуги равен рангу оператора межмодульной связи. В нейронной сети с инъективным связями для каждой вершины графа имеют место соотношения:

Рис. 3. Структурная модель модульной нейронной сети прямого распространения

связывающие размерности полей модуля с рангами входящих и исходящих дуг. Данные выражения позволяют полностью описать структурную модель с помощью ранговой матрицей связей. Метод топологического проектирования использует ранговую матрицу как шаблон для построения топологических множеств. Одной и той же структурной модели сети соответствует множество различных топологий, конкретный выбор определяется технологическими ограничениями. Результатом проектирования являются отношения порядка на терминальных зажимах модуля представленные парой таблиц:

Верхние строки таблиц определяют образы рецепторного и аксонового полей модуля в глобальном множестве терминальных зажимов сети, нижние строки задают локальную нумерацию зажимов в пределах модуля. Топологии межмодульных связей определяются отображениями . Полученное решение, позволяет построить топологический граф модульной сети, а на его основе программный алгоритм или разводку физических связей при аппаратной реализации сети.

Для параметрического уровня задача проектирования сводится к обучению нейронной сети. На основе категорной модели в главе предложен градиентный метод параметрического обучения модульной сети, близкий по идеологии к алгоритму обратного распространения ошибок. Морфизмы категории параметрического уровня для модульных сетей прямого распространения со статическими модулями имеют вид:

, ,

а соответствующие системные состояния сети в прямой и двойственной категориях определяются уравнениями:

Рис. 4. Модель обучения нейронной сети

где символ суммы выражает прямую сумму векторных компонент выходных состояний всех непосредственно предшествующих модулей. Морфизмы модуля определены гладкой векторной функцией вида , где синаптическая карта весовых коэффициентов. При квадратичном критерии обучения , прямая и двойственная категория связаны между собой по ошибке обучения (см. рис. 4). Пара определяет обучающий пример. Распространение обобщенной ошибки вдоль сети описывается двойственной моделью. Градиент синаптической карты модуля определяется выражением . На каждом шаге итерационной процедуры выполняется коррекция синаптической карты в направлении антиградиента. Частным вариантом нейронного модуля может быть однослойный персептрон (нейронное ядро). В главе рассмотрен класс многослойных ядерных сетей, для которых разработаны частные алгоритмы топологического проектирования и параметрического обучения.

В главе 4 разработаны методы структурного анализа модульных нейронных сетей на основе категорных моделей общего положения. На структурном уровне решаются задачи исследования качественных характеристик нейронной сети, к ним относятся: быстродействие, пластичность, способность сети к аппроксимации отображений и распознаванию образов, обобщающая способность нейронной сети.

Быстродействие сети оценивается суммарным числом вычислительных операций при обработке данных на однопроцессорной машине. Применительно к другим вычислительным платформам данная оценка рассматривается как количественная характеристика сложности сети. Полное число операций складывается из вычислительных операций отдельных модулей. Для ядерных нейронных сетей оценку быстродействия можно получить непосредственно по структурной модели сети.

Для оценки способности нейронной сети к обучению используется известное из механики понятие «число степеней свободы», трактуемое как оценка параметрической пластичности нейронной сети. Каждый нейронный модуль общего положения рассматривается как полное многообразие гладких отображений фиксированного ранга. В этом случае множество операторов нейронной сети прямого распространения образует гладкий многомерный геометрический образ в пространстве операторов. Изменение синаптических весов нейронной сети приводит к непрерывному перемещению точки-оператора вдоль геометрического образа. Минимальное число параметров достаточное для однозначного определения пространственного местоположения любой точки-оператора рассматривается как число степеней свободы нейронной сети. В математической трактовке число степеней свободы сети равно максимальной размерности касательного пространства к геометрическому образу нейронной сети в пространстве операторов. Для модульной сети задача расчета степени пластичности разделяется на две подзадачи: в первой требуется определить пластичность отдельных модулей в составе сети, а во второй используя полученные данные и информацию о структуре, определить пластичности всей сети (системную пластичность).

Для определения размерности касательного пространства, достаточно использовать линейное приближение оператора нейронной сети. В этом случае каждый нейронный модуль можно представить многообразием линейных отображений фиксированного ранга. Известно, что размерность многообразия линейных отображений ранга равна: , где размерности терминальных полей модуля. В составе сети вклад модуля в общее число степеней свободы зависит от окружения в котором он находится. На структурном уровне окружение характеризуется размерностью пространств системных состояний на терминальных полях модуля в прямой и двойственной категории. В работе показано, что фактический вклад модуля в общее число степеней свободы равен , где - размерность пространства состояний рецепторного поля в прямой категории, - размерность пространства состояний аксонового поля в двойственной категории, - действующий ранг модуля. Модуль считается нормальным (невырожденным), если , в этом случае . Условие нормальности устанавливает границу применимости известного коннекционистского принципа: «поведение сети полностью определяется ее связями». Анализ системной пластичности выполнен на основе предложенной категории модальных множеств.

Категория модальных множеств. Для построения модели структурного уровня предложено использовать категорию, определенную в пространстве модальных множеств. Категорная модель предназначена для расчета размерностей пространств окружения (модальных состояний) нейронных модулей сети. Под модальным множеством понимается пара , где несущее векторное подпространство, - целочисленная функция модальности равная размерности пространства. Модальное отношение между парой модальных множеств определено как подмножество тензорного произведения несущих пространств. Отношению изоморфно соответствует класс отображений между пространствами.

Объектом категории является пара модальных множеств ассоциированных с нейронным модулем. Множество морфизмов объекта на себя определено полной матрицей модальных отношений между терминальными полями нейронного модуля: (индекс относится к полю рецепторов, индекс - к полю аксонов). Элементы матрицы представляют собой многообразия операторов фиксированного ранга. Матрице морфизмов соответствует матрица операторных рангов . Единицей для объекта считается матрица, составленная из диагоналей (биективных модальных отношений) следующего вида: , с ранговой матрицей , где размерности рецепторного и аксонового полей модуля. Множество морфизмов между объектами определено матрицей отношений: . Все модальные отношения в матрице межмодульных морфизмов считаются точными и однозначными (инъективными). Матрице морфизмов соответствует ранговая матрица: . Композиция морфизмов определена следующим выражением: . Показано, что все условия категории выполнены. Системными состояниями для данной модели являются модальные множества терминальных полей, а модальными состояниями – размерности соответствующих несущих пространств. Построенная категория кроме взаимодействий «аксон-рецептор» описывает нетипичные взаимодействия типа «рецептор-рецептор» и «аксон-аксон» известные в биологических нейронных сетях. Так же как и для общей категории параметрического уровня, возможно упрощение характера межмодульного взаимодействия до типового уровня. Для ориентированной категории морфизмы объекта определяются матрицами:

, ,

а морфизмы связей матрицами:

, .

Матричное представление морфизмов, в данном случае является избыточным, но оно позволяет корректно реализовать переход к двойственной категории. Показано, что для модульной сети прямого распространения (без параллельных путей) уравнения в пространстве модальных состояний имеют вид:

где значения модальностей в прямой и двойственной сети, символ «» обозначает операцию . На основе построенной категорной модели получено, что пластичность сети прямого распространения может быть определена выражением:

где первая компонента определяет вклад нейронных модулей, а вторая учитывает влияние межмодульных связей. В главе выполнен расчет пластичности многослойных полносвязанных нейронных сетей и двухслойных модульных сетей. В главах 5 и 6 представлена методика расчета для класса слабосвязанных и регулярных нейронных сетей.

Расчет степени пластичности лежит в основе разработанного метода оценки уровня «интеллекта» нейронной сети прямого распространения. Естественной оценкой может служить способность нейронной сети к распознаванию образов, известная как оценка разделяющей мощности сети. В контексте задачи проектирования, проблема заключается в выборе такого тестового набора образов, который позволил бы с одной стороны построить аналитическую оценку исходя из структурных характеристик сети, а с другой – реализовать экспериментальную проверку. Предложено использовать для построения тестовых наборов образы «общего положения», представляющие собой компактные семейства линейно независимых векторов (реперы). Каждый репер характеризуется рангом линейной оболочки. Считается, что нейронная сеть обладает разделяющей мощностью уровня , если она распознает любой –репер входного пространства, т.е. в результате обучения сеть способна установить однозначное соответствие с любым выходным репером ранга . В общем случае в процессе обучения настраивается и топология сети (при сохранении структуры), однако для регулярных сетей в этом нет необходимости. Показано, что достаточное условие распознавания произвольного компактного -репера заключается в том, что множество операторов нейронной сети покрывает компактное многообразие операторов ранга . Необходимое условие может быть выражено количественно через число степеней свободы нейронной сети следующим соотношением: , где размерности терминальных полей нейронной сети. Данное выражение позволяет аналитически оценить разрешающую мощность сети. Для класса линейных систем распознавания предложенная оценка совпадает с размерностью Вапника-Червоненкиса.

Рис. 5. Типичная экспериментальная зависимость ошибки обучения нейронной сети от размерности репера.

Рассмотрена задача аппроксимации нейронной сетью многомерных аффинных отображений. Показано, что уровень разделяющей мощности сети определяет максимальный ранг точно аппроксимируемых отображений. В работе предложена методика экспериментальной оценки разделяющей мощности. В качестве реперов используются наборы ортонормированных векторов. Сеть последовательно обучается на реперах возрастающего ранга. На графике зависимости ошибки от ранга тестового репера (см. рис. 5) определяется позиция фронта резкого возрастания ошибки обучения, которая и служит экспериментальной оценкой уровня разделяющей мощности. Статистическая устойчивость оценки обеспечивается многократным повторением испытаний с различными реперами, и рандомизацией процедуры обучения случайным выбором стартовой точки. Проведенные эксперименты показали, что теоретическая оценка устанавливает нижнюю границу разделяющей мощности.

На структурном уровне исследована обобщающая способность нейронной сети. Доказано, что для модели общего положения оценкой обобщающей способности нейронной сети может служить разность между размерностью входного пространства и операторным рангом сети. Предложен метод вычисления операторного ранга модульной нейронной сети.

Рис. 6. Слабосвязанная модульная нейронная сеть

В главе 5 рассматриваются методы структурного синтеза слабосвязанных модульных нейронных сетей, основанные на категорной модели морфологического уровня. Класс слабосвязанных нейронных сетей соответствует идеологии сетей прямого распространения, но устанавливает ограничения на структуру связей, реализуя принцип минимальной достаточности. Частными вариантами слабосвязанной сети является структурная модель алгоритма быстрого преобразования Фурье, не блокирующая коммутационная схема «Banyan», структурная модель многослойной нейронной сети и др. Широкая распространенность моделей подобного типа в технических приложениях обуславливает необходимость специального анализа нейронных сетей с данным типом структуры. Модульная сеть считается слабосвязанной, если любой конус терминальных проекций является разделяющим. В работе доказано, что в слабосвязанных сетях отсутствуют параллельные пути между вершинами. Пример трехслойной слабосвязанной сети показан на рис. 6. В общем случае слабосвязанная сеть не обязана быть слоистой, и может иметь транзитные связи.

Категория морфологического уровня. Граф модульной сети рассматривается как математическая категория, в которой объектами являются нейронные модули - вершины графа, а морфизмами бинарные соответствия, заданные дугами графа. Единицы категории определены как тождественные бинарные отношения на вершинах графа. Структурный синтез слабосвязанной сети интерпретируется как пошаговый процесс порождения (генезиса) нейронной сети из одного родительского модуля. Операция деления модуля описывается тройкой , называемой криэйтором, где – функтор деления рецепторного поля, – функтор деления аксонового поля, – плотное соответствие между порожденными вершинами в двухдольном графе. Доказано, что если функторы являются точными и однозначными по морфизмам и точными по объектам, то после акта деления нейронная сеть сохраняет морфологию слабой связанности.

Предложенное правило построения слабосвязанной сети инвариантно к размерностям модулей. Однако при практической реализации на сеть накладываются ряд ограничений, связанных с размерностью входного и выходного вектора, типом связей, уровнем пластичности, допустимым быстродействием, максимальным размером модуля и т.д. Это порождает задачу выбора оптимальной структуры сети при заданных ограничениях, которая в пошаговой процедуре трансформируется в задачу оптимизации криэйтора. На примере ядерных сетей в главе исследуется принципы построения оптимальных криэйторов. Критериями качества являются быстродействие, выраженное числом вычислительных операций и пластичность, выраженная числом степеней свободы. При воздействии криэйтора нейронное ядро распадается в двухслойную структуру с размерностями полей вершин потомков:- для рецепторной области и - для аксоновой области родительской вершины. Число операций умножения для порожденной структуры, можно определить выражением: , а степень пластичности выражением , где - ранги связей между ядрами потомками. Критерии и альтернативны. Для области Парето выполнены условия , , . Целочисленность переменных вносит дополнительные ограничения на выбор оптимальных значений. Цель структурного синтеза заключается в построении структурной модели сети, оптимальной по критериям пластичности и быстродействия. Правила, устанавливающие компромисс между альтернативными критериями определяет стратегию синтеза. В работе предложены стратегии оптимальной пластичности и оптимального быстродействия.

В сверхбольших модульных сетях определяющим технологическим требованием становится минимизация числа связей и регулярность структуры сети. В главе рассматривается структурный синтез регулярных многослойных слабосвязанных сетей. Структура сети считается регулярной, если существует аналитическое правило, выражающее симметрию в образовании узлов сети и организации межмодульных связей. Предложен формальный язык описания регулярных слабосвязанных сетей и на его основе разработан лингвистический метод синтеза. Структура сети рассматривается как семантические интерпретации допустимых предложений формального языка. Формальный язык определен алфавитом, синтаксисом и семантикой слов и предложений. Алфавит состоит из упорядоченного набора неповторяющихся символов. Слово языка интерпретируется как целочисленная функция, заданная правилом:

В этом контексте символ именует разряд позиционного представления числа в многоосновной системе счисления, а константа определяет основание разряда.

Морфология регулярной слабосвязанной сети выражается грамматикой предложений. Для кодирования границ предложения использован вариант родовых имен. Алфавит языка задан как линейно упорядоченный набор неповторяющихся букв с двумя видами родовых имен. Множества и (мощности ) определяют состав и порядок букв каждого вида. Предложения языка строятся из множества всевозможных слов длиной . Два слова языка считаются эквивалентными, если они различаются не более чем перестановкой букв. Отношение эквивалентности разбивает множество слов на классы, которые могут быть упорядочены в цепочки смежных классов, по числу вхождений букв одного родового имени в слова класса. Длина максимальной цепочки классов равна . Допустимым предложением считается упорядоченная последовательность слов, каждое из которых является представителем максимальной цепочки смежных классов. В допустимом предложении представлены все смежные классы цепочки, и каждый класс представлен только одним словом. Длина предложения всегда равна . Обозначим в максимальной цепочке классов через и подмножества букв каждого типа для смежного класса с порядковым номером , а через каноническое слово предложения (в каноническом слове порядок букв согласован с порядком букв в алфавите). Тогда грамматическое правило вывода для канонических предложений можно сформулировать следующим образом:

, .

Данное правило построено для морфологического уровня и поэтому инвариантно к размерностям нейронных модулей. Число слов в предложении равно числу нейронных слоев. Следующее каноническое предложение описывает морфологию регулярной четырехслойной сети:

В семантической интерпретации каждое слово предложения определяет позиционный номер вершины в пределах одного слоя структурной модели сети. Вершины двух смежных слоев считаются связанными дугой, если в поразрядном представлении номеров вершин , одноименные переменные имеют совпадающие значения. Доказано, что данное правило генерирует регулярную слабосвязанную нейронную сеть. Всевозможные перестановки букв в словах канонического предложения, определяют полное множество регулярных эквивалентных структур.

В главе предложена методика расчета пластичности слабосвязанной сети непосредственно по графу структурной модели, получены расчетные формулы оценки пластичности регулярных нейронных сетей.

Глава 6 посвящена вопросам проектирования быстрых нейронных сетей. Выполнен анализ алгоритма БПФ и показано, что его структурная модель представляет собой регулярную слабосвязанную ядерную сеть с рангами межъядерных связей равными единице. На основе структурного анализа алгоритма БПФ предложена парадигма быстрых нейронных сетей (БНС) с числом вычислительных операций порядка , где - среднегеометрическая размерность терминальных полей сети, - среднегеометрическая размерность нейронных ядер. Вычислительная эффективность БНС оценивается порядковой величиной по отношению к многослойной полносвязанной сети с тем же числом нейронов и той же размерностью терминальных полей, что и БНС. Размер нейронного ядра, ограничен технологическими требованиями (например, для технологии больших интегральных схем оптимальное значение принадлежит диапазону 2÷8).

На основе расширенных лингвистических моделей предложены методы проектирования топологий БНС. Регулярные топологии рецепторных и аксоновых полей БНС описываются парой предложений формального языка, например, для четырехслойной сети предложения могут иметь вид:

, ,

где разрядные переменные определяют локальную нумерацию рецепторов и аксонов нейронных ядер. Каждое слово предложения определяет глобальную нумерацию рецепторов и аксонов в пределах нейронного слоя. Пара топологических предложений трактуется как топологическая траектория. По топологической траектории однозначно может быть построен граф нейронной сети и алгоритм обработки данных (см. рис. 7). Топологический граф строится по тем же правилам, что и граф структурной модели нейронной сети.

Показано, что синтез топологий БНС можно рассматривать как построение траектории удовлетворяющей заданным условиям. В минимальном варианте траектория может быть задана только граничными условиями. В этом случае существует свобода выбора промежуточных шагов, что можно использовать для упрощения алгоритма реализации БНС за счет регуляризации топологической траектории. Предложены принципы построения регулярных схем формирования топологических траекторий. Регулярная схема может быть выражена аналитической формой, например, для схемы Кули-Тьюки «с прореживанием по частоте» аналитическая форма топологической траектории имеет вид:

Рис. 7. Графическая интерпретация топологической траектории

БНС с регулярной топологической траекторией наиболее просты в технической реализации. Разработан градиентный алгоритм обучения БНС, относящийся к классу алгоритмов обратного распространения ошибки.

Рассмотрено применение БНС для реализации быстрых перестраиваемых линейных преобразований. К этому классу в частности принадлежат быстрые спектральные преобразования. Основные трудности построения быстрых алгоритмов спектральных преобразований связаны с доказательством факторизуемости матрицы преобразования, построением топологий и выбором элементов слабозаполненных матриц. Использование многоуровневой модели БНС позволило установить инварианты топологических реализаций, определяющих общее решение задачи топологического проектирования алгоритмов быстрых преобразований. Топологические инварианты получены как следствие из грамматического правила вывода канонических предложений структурной модели БНС. Показано, что элементы матрицы факторизуемого преобразования могут быть выражены через произведения элементов нейронных ядер:

Полученные результаты позволили разработать методы топологической и параметрической настройки БНС по аналитически заданной матрице преобразования. Построены БНС-реализации для преобразований Уолша-Адамара, Хаара, вейвлет-преобразования и БПФ с естественным упорядочением по частотам следования. Отмечено, что задача параметрического и топологического проектирования может иметь множество эквивалентных решений, что позволяет выбрать оптимальное решение с учетом технологических ограничений.

Установлена связь слабосвязанных сетей с фракталами. Построены примеры аппроксимации регулярных фракталов Кантора и Серпинского в базисе БНС. Предложена процедура фрактальной фильтрации для сигналов, заданных на дискретных интервалах длиной . Фрактальный фильтр определен правилом:

где - функция сигнала, поразрядное представление аргумента в позиционной системе счисления, - произвольный функционал, на выборке значений сигнала по разрядной переменной . Процедура фрактальной фильтрации применена для разработки алгоритма параметрической настройки перестраиваемых преобразований, приспособленных к системе произвольных дискретных функций. Приспособленные преобразования служат средством реализации многоканальных адаптивных фильтров. Наличие быстрого алгоритма позволяет использовать фильтры подобного типа при обработке сигналов высокой размерности в системах реального времени. Алгоритм параметрической настройки приспособленных преобразований развит для спектральных преобразований в векторном пространстве и логических преобразований в нечетком пространстве. Показана связь методов построения приспособленных спектральных преобразования с алгоритмами распознавания унитарных состояний в теории квантовых вычислений. Предложено расширение лингвистических моделей для построения методов структурного и топологического синтеза многомерных БНС. Представлен вариант структурного синтеза двумерных БНС.

В главе 7 рассмотрено использование модульных нейронных сетей для построения подсистемы автоматической классификации движущихся групповых объектов на транспортных магистралях охранной зоны энергетических систем. В задачу классификации включается обнаружение и распознавания типа движущихся объектов по сигналам от удаленных сейсмических датчиков. Объекты характеризуются ордером группового объекта, который определяет состав и последовательность информационных сигналов. Групповые объекты могут объединяться в транспортные колонны. Последовательность объектов в колонне образует ордер колонны. Основная проблема построения системы классификации связана с наличием высокого уровня случайных помех, статистические характеристики которых зависят от характера местности и погодных условий. В главе предложен метод построения системы распознавания групповых объектов на основе нечеткой модульной нейронной сети.

Сообщения от автономного датчика рассматриваются как выход дискретного канала передачи данных, на вход которого поступает достоверная информация от гипотетического источника дискретных данных. Искажения в канале приводят к трансформациям информационных символов и появлению ложных символов за счет эхо-эффекта. Дискретный канал описывается двумя характеристиками: марковской матрицей трансформации символов и вероятностью дублирования символов. Статистические характеристики канала известны для различных погодных условий и типа местности. Поток сообщений анализируется в темпе поступления информации от датчиков, в характерных временных позициях (точках измерения) которые соответствуют упорядоченной по возрастанию последовательности длин эталонных образов групповых объектов.

Распознавание ордера группового объекта выполняется по четырем группам информативных признаков, включающих: структуру, семантику и длину информационного образа. Информативные признаки каждой группы частично перекрываются по областям значений для различных образов и рассматриваются как нечеткие лингвистические переменные с набором термов равным числу эталонных образов групповых объектов. Отличительной особенностью в данной задаче является зависимость процедуры фаззификации от статистических характеристик дискретного канала. В работе предложен способ построения адаптивной фаззификации с квазиоптимальным правилом выбора функций принадлежности. Предложенный способ основан на использовании функций принадлежности с зонами толерантности, ширина которых определяется статистическими характеристиками канала.

Предложенный вариант нейронной сети имеет четырехслойную модульную структуру и соответствует экспертным рекомендациям по эффективной последовательности логических операций в классификационном правиле. Нейронные модули выполняют обработку термов лингвистических переменных соответствующие одному из информативных признаков. В нечетких композициях использованы контрастирующие функции с пороговыми свойствами, которые учитывают совместность и несовместность событий и устанавливают границу между высокой и низкой степенью доверия. Контрастирующие функции рассматриваются, как функции активации нечетких нейронов. Выходом сети является лингвистическая переменная с числом термов равным числу возможных типов групповых объектов. Значение функции принадлежности нулевого терма определяет степень достоверности результата классификации. Предложенная схема распознавания ордера группового объекта была промоделирована при изменении вероятности трансформации символов канала в диапазоне и вероятности дублирования в диапазоне . Вероятность правильного распознавания ордера колоны составила не менее 0.82 (при уровне достоверности не ниже 0.2). Испытания, проведенные на реальных объектах, соответствуют результатам моделирования.

В главе 8 рассматриваются принципы построения нейросетевого специализированного пакета Neuro Office, обеспечивающего поддержку проектирования модульных нейронных сетей. Представлены методы построения реконфигурируемых регулярных нейронных сетей. Пакет специфицирован как средство для создания интеллектуальных программных модулей, построенных на основе нейронных сетей прямого распространения с ядерной организацией. Результатом проектирования является обученная нейронная сеть с программным интерфейсом, соответствующим модели многокомпонентных объектов (использована COM-технология), что позволяет встраивать интеллектуальный модуль в любое приложение Microsoft office, включая электронные таблицы EXCEL, базы данных ACCESS, редактор WORD и пр. В равной степени интеллектуальный модуль может быть встроен в любой проект пользователя, реализованный на языках VISUAL C++, BORLAND C++, VISUAL BASIC, JAVA. Нейронный модуль может функционировать как элемент WEB-страницы. COM-интерфейс позволяет использовать в приложения необходимое количество нейронных модулей, формируя модульную сеть с различной структурой и топологией.

В главе представлена функциональная архитектура пакета и описаны используемые структуры данных. В программном пакете можно выделить средства проектирования и встраиваемые инструментальные компоненты. К средствам проектирования относятся редактор структур и топологий ядерных нейронных сетей и нейро-эмулятор с встроенным редактором синаптических весов. К инструментальным компонентам относятся: ActiveX – элемент «AS-нейронная сеть»; ActiveX – элемент «AS-электронная таблица»; ActiveX – элемент «AS-прогресс-индикатор». Инструментальные компоненты предназначены для встраивания в проекты пользователей и полностью совместимы со средствами проектирования по формату данных.

Как перспективное направление развития программного обеспечения в главе предложен класс реконфигурируемых регулярных сетей и представлено его функциональное описание. Концепция реконфигурируемых сетей основана на методологическом потенциале лингвистических моделей регулярных нейронных сетей. Расширенные лингвистические модели позволяют реализовать реконфигурацию структуры и топологии при сохранении регулярности и слабой связанности. Показано что в этом классе может быть реализована любая парадигма многослойных сетей от быстрых до полносвязанных. Функциональные возможности реконфигурируемых сетей описаны в контексте объектно-ориентированного подхода как интерфейс взаимодействия с объектом «нейронная сеть» через набор допустимых функций (методов). Рассмотрено несколько методов реконфигурации сети, поддержанных на топологическом уровне расширенной грамматикой формального языка. С учетом результатов главы 6, сделан вывод, что, класс реконфигурируемых сетей является базовым классом, позволяющим объединить в одном программном пакете, методы спектральной обработки, фрактальной фильтрации и многослойных нейронных сетей.

В приложении приведено краткое руководство пользователя нейросетевого пакета Neuro Office. Рассмотрены функциональные возможности пакета и представлены окна графического интерфейса.

Основные результаты

В диссертации предложены и развиты концептуальные, математические и методические положения, изложены практические результаты, в совокупности составляющие теоретические и практические основы системного проектирования быстродействующих модульных нейронных сетей высокой размерности:

1. Концепция многоуровневого проектирования быстродействующих нейронных сетей большого масштаба, основанная на принципе инъективности связей, позволила выделить модельный класс для нейронных сетей прямого распространения, обладающий модульностью и трансверсальностью с согласованной стратификацией по уровням представлений и поддержанный унифицированным математическим аппаратом исследования. С позиций анализа это дает возможность получить вычислимые потенциальные оценки качественных характеристик нейронных сетей прямого распространения с произвольной топологией связей, за счет реализации модульного покрытия. С позиций проектирования модульность нейронной сети позволяет обеспечить технологические требования к реализации сетей большого масштаба за счет упрощения методов их проектирования.

2. Комплекс стратифицированных моделей обеспечивает иерархическую декомпозицию процесса анализа и проектирования модульных нейронных сетей, по целям, используемым методам, и формам представления результатов. В методах анализа это позволяет выделить инварианты каждого уровня модельных представлений, определить закономерности и описать поведение сети в пространстве состояний текущего уровня. В методах проектирования это позволяет реализовать нисходящую последовательность проектных решений, при котором текущий выбор базируется на результатах проектного решения верхнего уровня.

3. Общее решение задачи структурного и топологического проектирования быстрых сетей раскрывает общие закономерности построения алгоритмов быстрых линейных преобразований и быстрых нейронных сетей, отождествляя их на уровне топологии структуры и морфологии. Применительно к быстрым преобразованиям единый подход решает проблему факторизации преобразований (которая прежде была предметом изобретений), заменяя ее задачей построения топологической траектории, удовлетворяющей общему решению. Множественность возможных решений позволяет выбрать топологию наиболее полно соответствующую технологическим требованиям.

4. Метод настройки быстрых перестраиваемых преобразований к заданной системе функций является теоретической базой для построения широкого класса быстрых спектральных преобразований, быстродействующих адаптивных фильтров и приспособленных линейных преобразований. Согласуя параметрическое и топологическое проектирование, метод настройки дает возможность получить множественное решение, в котором дополнительные условия позволяют выбрать наиболее простую техническую реализацию. При этом обеспечивается использование всех степеней свободы перестраиваемых преобразований.

5. Эволюционный метод структурного проектирования модульных нейронных сетей прямого распространения решает задачу структурного синтеза быстродействующих нейронных сетей произвольной размерности. Сохранение инвариантов морфологического уровня при эволюционном синтезе обеспечивает вычислимость качественных показателей нейронной сети и структурное самоподобие быстрых алгоритмов. Пошаговая оптимизация приводит к структурам, близким к регулярным с неоднородностью сосредоточенной в терминальных полях сети, что упрощает техническую реализацию большой нейронной сети произвольной размерности. Вариабельность стратегий структурного синтеза позволяет выбрать оптимальный вариант разрешения системного противоречия «быстродействие-интеллект».

6. Методы оценки разделяющей мощности и обобщающей способности модульных нейронных сетей прямого распространения обеспечивают сравнение проектных вариантов нейронных сетей по отношению к задачам аппроксимации отображений и распознаванию образов, что позволяет получить интерпретируемое значение, которое может быть измерено на реальном варианте сети на основе предложенной методики экспериментальной оценки.

7. Методы фрактальной фильтрации сигналов – послужившие базой разработки метода настройки перестраиваемых преобразований, имеют самостоятельное значение как средство мультимасштабного анализа сигналов, определенных на конечных интервалах.

8. Методы и алгоритмы регулярной реконфигурации нейронных сетей основаны на лингвистических моделях топологического уровня и позволяют сохранить регулярность топологических связей при варьировании структурных параметров, что дает возможность использовать однородные программные и аппаратные средства для реализации широкого класса многослойных нейронных сетей от полносвязанных до быстрых. Данные методы являются теоретической базой для разработки гибких реализаций нейронных сетей с варьируемыми уровнями интеллекта и вычислительной эффективности.

9. Унификация модельных представлений регулярных ядерных нейронных сетей и алгоритмов быстрых линейных преобразований объединяет оба направления цифровой обработки данных и позволяет использовать однотипные средства для их реализации.

10.В результате выполненных исследований решена крупная научно-техническая проблема, имеющая важная народнохозяйственное значение, заключающаяся в создании методологической базы, моделей, методов, и алгоритмов системного проектирования быстродействующих нейронных сетей больших масштабов, удовлетворяющих требованиям технической реализуемости для широкого класса современных вычислительных платформ.

11. Результаты работы целесообразно использовать при техническом проектировании, создании инструментальных средств и моделировании интеллектуальных систем используемых в авиации, космонавтике, транспорте, судостроении, машиностроении, робототехнике. Теоретико–методологические, инструментальные и прикладные результаты работы могут быть включены в учебный процесс вузов страны при преподавании дисциплин по теории нейронных систем, методам принятия решений, методам анализа и проектирования модульных систем.

Основные публикации по теме диссертации

1. Дорогов А.Ю. Быстрые нейронные сети: Проектирование, настройка, приложения // Лекции по нейроинформатике Часть 1. Материалы школы семинара «Современные проблемы нейроинформатики», 6 Всерос. научн. техн. конф. «Нейроинформатика 2004».- М.: МИФИ, 2004.- С. 69-134.

2. Дорогов А.Ю. Пластичность многослойных модульных нейронных сетей // Новости искусственного интеллекта. - №3(57), 2003.- С.36-45.

3. Дорогов А.Ю. Реализация спектральных преобразований в классе быстрых нейронных сетей // Программирование, №4 , 2003.- С.13-26.

4. Dorogov A.Yu. Implementation of Spectral Transformation in the Class of Fast Neural Networks (Реализация спектральных преобразований в классе быстрых нейронных сетей) // Programming and Computer Software. Kluwer Academic / Plenum Publishers.- Vol. 29, No 4, 2003.- 13-26p.

5. Дорогов А.Ю., Алексеев А.А. Оценка степени пластичности многослойных нейронных сетей // Известия СПбГЭТУ “ЛЭТИ”: Информатика, управление и компьютерные технологии. СПб.: Издательство СПбГЭТУ.- №2.-2003.- С.34-40.

6. Дорогов А.Ю. Быстрые нейронные сети. СПб.: Изд-во С.Петерб. ун-та, 2002.- 80с.

7. Дорогов А.Ю. Порождающие грамматики быстрых нейронных сетей // Нейрокомпьютеры: разработка и применение. - №9-10, 2002.- С.10-25.

8. Дорогов А.Ю. Статическая настройка ядерной нейронной сети // Известия СПбГЭТУ “ЛЭТИ”: Информатика, управление и компьютерные технологии СПб.: Издательство СПбГЭТУ “ЛЭТИ”.- №3.-2002.- С.89-94.

9. Дорогов А.Ю., Краснова А.И., Яшин А.И. Байесовская фазификация вероятностных переменных в задаче распознавания вероятностных образов // Известия СПбГЭТУ “ЛЭТИ”: Информатика, управление и компьютерные технологии СПб.: Издательство СПбГЭТУ “ЛЭТИ”.- №3.-2002.- С.39-42.

10.Дорогов А.Ю. Предварительная настройка ядерной нейронной сети // Радiоелектронika Iнформатика Управлiння (Радиоэлектроника Информатика Управление).- 2001.- №1.- С.71-75.

11.Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 2. Ядерные нейронные сети // Кибернетика и системный анализ. - 2001.-№4.- С.13-20.

12.Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. II. Nuclear Neural Networks (Структурный синтез модульных слабосвязанных нейронных сетей. Ядерные нейронные сети) // Cybernetics and Systems Analysis. Kluwer Academic Publishers.- 37 (4): 470-477, July - August, 2001.

13.Дорогов А.Ю. Структурный синтез модульных слабосвязанных нейронных сетей. Часть 1. Методология структурного синтеза модульных нейронных сетей // Кибернетика и системный анализ.- №2, 2001.- С.34-42.

14.Dorogov A.Yu. Structural Synthesis of Modular Weakly Connected Neural Networks. I. Methodology of Structural Synthesis of Modular Neural Networks (Структурный синтез модульных слабосвязанных нейронных сетей. Методология структурного синтеза модульных нейронных сетей) // Cybernetics and Systems Analysis. Kluwer Academic Publishers.- 37 (2): 175-181, March - April, 2001.

15.Дорогов А.Ю. Структурный синтез двухслойных быстрых нейронных сетей // Кибернетика и системный анализ.- №4.- 2000.- С.47-57.

16.Алексеев А.А., Дорогов А.Ю. Пластичность многослойных слабосвязанных нейронных сетей // Нейрокомпьютеры: разработка и применение №11, 2001.- С.22-40.

17.Дорогов А.Ю. Системные категории модульных нейронных сетей // Нейрокомпьютеры: разработка и применение №11, 2001.- С.4-21.

18.Dorogov A.Yu. Structure Synthesis of Fast Neural Networks (Структурный синтез быстрых нейронных сетей) // Neurocomputers Design and Application. (New York).- Vol.1, Issue 1. 2000.- 1-18pp.

19.Dorogov A.Yu. Estimation of Multilayer Neural Network Plastisity (Оценка пластичности многослойных нейронных сетей) // In Preprints of Eleventh IFAC International Workshop Control application of optimization CAO’2000 july 3-6, 2000, Saint-Petersburg, 96-99 pp.

20.Дорогов А.Ю. Анализ параметрической пластичности многослойных нейронных сетей // Радiоелектронika Iнформатика Управлiння (Радиоэлектроника Информатика Управление).- №1, 2000.- С.66-71.

21.Дорогов А.Ю. Структурный синтез быстрых нейронных сетей // Нейрокомпютеры: разработка и применение.- №1 1999.- С.11-24.

22.Алексеев A.А. Дорогов А.Ю. Пластичность двухслойных быстрых нейронных сетей // Известия АН. Теория и системы управления.- №5, 1999.-С.121-126.

23.Алексеев А.А. Дорогов А.Ю. Обучение быстрых нейронных сетей // Известия ГЭТУ.- Сб. науч. тр.- Вып.514.- Информационные технологии в технических и организационных системах. С-Пб.1997.- С.68-75.

24.Дорогов А.Ю. Пластичность многослойных нейронных сетей // Известия вузов. Приборостроение.- Т.41, №4, 1998г.- С.36-41.

25.Дорогов А.Ю., Буторин Д.А. NEURO OFFICE - Технология проектирования нейронных сетей с ядерной организацией // Известия СПбГЭТУ “ЛЭТИ”, вып.1/98 серия: Управление, информатика и вычислительная техника. - С-Пб., 1998.- С.5-7.

26.Алексеев А.А., Дорогов А.Ю. Математические модели нейронных сетей с ансамблевой организацией // Известия СПбГЭТУ (ЛЭТИ) вып.1/98 серия: Управление, информатика и вычислительная техника.- С-Пб., 1998.- С.33-35.

27.Алексеев А.А., Дорогов А.Ю. Нейронные сети с ядерной организацией // Оборонная техника.- №7-8, 1998.- С.43-46.

28.Алексеев А.А., Дорогов А.Ю. Математические модели быстрых нейронных сетей // В сб. научн. Тр. СПбГЭТУ вып.490, серия: Системы управления и обработки информации, 1996. - С.79-84.

29.Dorogov A.Yu. Fast Neural Networks and Fast Spectral Transformations (Быстрые нейронные сети и быстрые спектральные преобразования) // In processing of Third International Conference on Neural Networks and Artificial Intellligence (ICNNAI-2003, Minsk, 12-14 November, 2003).- Minsk.-2003.-136-142pp.

30.Дорогов А.Ю. Нечеткий нейрон с контрастирующей функцией активации // Сб. тр. науч.-техн. конф. Нейроинформатика-2003 29-31 января 2003г., Москва. Изд. М.: - МИФИ, 2003, Ч.1.- С.55-60.

31.Дорогов А.Ю. Фракталы и нейронные сети // Проблемы нейрокибернетики (материалы Юбилейной междунар. конф. по нейрокибернетике посвященной 90-летию со дня рождения проф. А.Б.Когана 23-29 октября 2002г. Ростов-на-Дону). Том 2. Ростов-на-Дону.- 2002.- С.9-14.