Презентация на тему: "Нейрокомпьютер с программируемой архитектурой"

• 1 слайд

  
  Нейрокомпьютер с программируемой архитектурой
  

• 2 слайд

  Нейрокомпьютер "ЭМБРИОН"
  

• 3 слайд

  Общий вид нейрокомпьютера Synapse1
  Компания Siemens Nixdorf Informationssysteme (SNI) - дочернее предприятие концерна Siemens в сотрудничестве с Маннгеймским университетом создала нейрокомпьютер под названием "Синапс-1", который появился на рынке в середине 1994 г. Таким образом, SNI стала первой европейской фирмой, выпустившей нейрокомпьютеры. Сфера применения системы - распознавание речи, изображений, образов. В настоящее время на рынке представлена нейроплата Synapse3. Сложность моделирования на рабочей станции процесса самообучения для нейронных сетей до сих пор тормозило разработку нейронных применений, поскольку каждый шаг в обучении требует много времени. Что касается "Синапс", то за один час самообучения он достигает таких же результатов, что и нейронные сети в обычном компьютере за целый год. Эти машины обладают скалярной многопроцессорной архитектурой и наращиваемой памятью.
  

• 4 слайд

  Ученые Стэнфордского университета ведут работы по созданию нового нейрокомпьютера (нейрокомпьютер – компьютер, созданный на основе нейронных сетей) Neurogrid, который должен изменить устоявшиеся представления о работе обычных вычислительных машин. По расчетам Квабена Боэна, одного из разработчиков Neurogrid, если бы сегодня был создан компьютер с возможностями человеческого мозга, то его энергопотребление приблизительно составило бы 10 МВт. Такое количество электроэнергии способна выработать одна маленькая гидроэлектростанция. По замыслам разработчиков Neurogrid, энергопотребление нового нейрокомпьютера составит всего 20 Вт, а его возможности будут не сильно уступать возможностям человеческого мозга. Такая энергоэффективность подтверждается созданием модуля Neurocore с 65536 искусственными нейронами, где каждый нейрон состоит из 337 транзисторов. Модуль Neurocore легко помещается в обычный портфель и для своей работы требует несколько батарей типа D.
  

• 5 слайд

  В Neurogrid будет заложен принцип хаотичной работы человеческого мозга, а не классическая электроника, основанная на цифровой логике и совершающих точные действия транзисторах. От 30% до 90% времени активности нейронов сопровождается ошибками и распространением бесполезных сигналов, но мозг человека без особых проблем справляется с этим хаосом и легко выявляет полезные сигналы. Переход от точных вычислений к хаотичным, способен привести ученых к созданию систем, способных эмулировать работу человеческих органов. По предварительным планам Neurogrid будет состоять из 16 модулей Neurocore.
  Следующее поколение Neurogrid, выпуск которого готовится в 2011 году, будет состоять из 64 000 000 кремниевых нейронов, что приблизительно соответствует мозгу мыши. По мнению разработчиков, новый вид вычислительных систем не заменит существующие компьютеры, но, возможно, внесет весомый вклад в развитие систем искусственного интеллекта.
  

• 6 слайд

  Общие принципы построения нейронных сетей были заложены в начале второй половины 20 века в работах таких ученых, как: Д. Хебб, М. Минский, Ф. Розенблат. Первые нейросети состояли из одного слоя искусственных нейронов-персептронов. М. Минским были строго доказаны ряд теорем определяющих принципы функционирования нейронных сетей.
  
  

• 7 слайд

• 8 слайд

  1942 год — Норберт Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.
  1943 год — Маккалок и Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.
  1949 год — Хебб предлагает первый алгоритм обучения
  В 1958 году Розенблаттом изобретен персептрон (математическая и компьютерная модель восприятия информации мозгом (кибернетическая модель мозга)). Персептрон обретает популярность — его используют для распознавания образов, прогнозирования погоды и т. д. Казалось, что построение полноценного искусственного интеллекта уже не за горами.
  В 1960 году Уидроу (Widrow) совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу начал использоваться для задач предсказания и адаптивного управления. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.
  В 1961 году под руководством М. М. Бонгарда разработана программа «Кора»: «…задача Коры — поиск разделяющего правила после того, как найдены операторы, дающие достаточно четкие (коротко кодируемые) характеристики объекта или его частей». Программа Кора нашла применение, в частности, для распознавания нефтеносных пластов.
  
  

• 9 слайд

  Схема строения нейрона
  

• 10 слайд

  В 1969 году Минский публикует формальное доказательство ограниченности персептрона и показывает, что он неспособен решать некоторые задачи (Проблема "четности" и "один в блоке"), связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.
  1974 год — Пол Дж. Вербос и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных персептронов. Изобретение не привлекло особого внимания.
  1975 год — Фукушима представляет Когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания практически всех состояний образа.
  1982 год — после длительного упадка, интерес к нейросетям вновь возрастает. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлена модель сети, решающей задачу кластеризации и обучающейся без учителя — самоорганизующаяся карта Кохонена.
  1986 год — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.
  
  

• 11 слайд

• 12 слайд

  Теория нейросетей не внесла революционных новшеств в алгоритмы адаптации и оптимального управления. Самообучающиеся системы известны давно, теория адаптивных регуляторов также хорошо разработана, они широко применяются в технике. Теория нейросетей осваивает разработанные ранее методы и пытается их приспособить для создания все более эффективных нейронных систем. Особую важность использование нейроструктур приобретает с точки зрения производительности ЭВМ.
  Согласно гипотезе Минского: реальная производительность типовой параллельной вычислительной системы из n процессоров растет как log(n) (то есть производительность системы из 100 процессоров всего вдвое выше, чем производительность 10-процессорной системы - процессоры дольше ждут своей очереди, чем вычисляют). Однако если использовать для решения задачи нейронную сеть, то параллелизм может быть использован практически полностью - и производительность растет "почти пропорционально" n.
  

• 13 слайд

• 14 слайд

  Одна из наиболее привлекательных для пользователя сторон нейросетевой технологии, обеспечившая ей нынешнюю всеобщую популярность - отсутствие необходимости в детальном программировании процесса решения задачи; возможность решения даже тех задач, для которых отсутствуют алгоритмы решения; возможность адаптации к условиям функционирования, обучения и переобучения. Главное достоинство нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его характеристик. Соединяя их в сеть пользователь с одной стороны получает возможность широкого изменения ее характеристик, а с другой - может особенно не задумываться над процессами, происходящими в этой сети. Им гарантирована целенаправленность и оптимальность, приводящая в конечном итоге к достаточно приемлемому результату. По сути нейросеть является разновидностью языка программирования высокого уровня, освобождающего пользователя от необходимости вникать в детали производимых операций. Появление нейросетей укладывается в общую для всей информационной индустрии тенденцию - переход от деталей к крупноблочному строительству (Case-системам, объектно-ориентированным технологиям и т.п.).
  

• 15 слайд

  Огромным достоинством любой нейросети является ее обучаемость. Созданная нейросеть не требует программирования, поскольку сама обучается решению задач. Другое ее большое достоинство  -  толерантность по отношению к ошибкам. Ошибка не приводит к отказу нейросети, а лишь снижает качество обработки информации. Однако тут не следует забывать: чему научишь, то и получишь. Поэтому вопрос обучения нейросети для любого аспекта ее использования имеет определяющее значение.
  

• 16 слайд

• 17 слайд

• 18 слайд

  Следовательно, основные преимущества нейрокомпьютеров связаны с массовым параллелизмом обработки, что обуславливает высокое быстродействие, низкими требованиями к стабильности и точности параметров элементарных узлов, устойчивостью к помехам и разрушениям при большой пространственной размерности системы. Причём устойчивые и надёжные нейросистемы могут создаваться из низконадёжных элементов, имеющих большой разброс параметров.
  

• 19 слайд

  Для того чтобы нейронная сеть работала - ее надо обучить. От качества обучения зависит способность сети решать поставленные перед ней проблемы. На этапе обучения кроме параметра качества подбора весовых коэффициентов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса. Обучение НС может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы НС формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.
  

• 20 слайд

  Однослойный персептрон
  

• 21 слайд

  Двухслойный персептрон
  

• 22 слайд

  Схема однослойного персептрона.
  Схема многослойного персептрона для оценки категории качества воды по обилию групп зообентоса
  Многослойный Персептрон
  

• 23 слайд

  Схема обобщенного двухслойного персептрона.
  Структурная схема двухслойного персептрона.
  

• 24 слайд

  Двухслойный персептрон, полученный из персептрона рисунка 3 путем добавления второго слоя, состоящего из двух нейронов. При этом нелинейность активационной функции имеет конкретный смысл: так как, если бы она не обладала данным свойством или не входила в алгоритм работы каждого нейрона, результат функционирования любой p-слойной НС с весовыми матрицами W(i), i=1,2,...p для каждого слоя i сводился бы к перемножению входного вектора сигналов X на матрицу W()=W(1)..W(2) Ч...ЧW(p) , то есть фактически такая p-слойная НС эквивалентна однослойной НС с весовой матрицей единственного слоя W(): Y=XW()
  Существует великое множество различных алгоритмов обучения, которые делятся на два больших класса: детерминированные и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором - она производится на основе действий, подчиняющихся некоторому случайному процессу.
  

• 25 слайд

  Диаграмма сигналов в сети при обучении по алгоритму обратного распространения
  

• 26 слайд

  Обучение искусственных нейронных сетей
  
  Способность к обучению является фундаментальным свойством мозга. В контексте ИНС процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения специальной задачи. Обычно нейронная сеть должна настроить веса связей по имеющейся обучающей выборке. Функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами.
  Для конструирования процесса обучения, прежде всего, необходимо иметь модель внешней среды, в которой функционирует нейронная сеть - знать доступную для сети информацию. Эта модель определяет парадигму обучения. Во-вторых, необходимо понять, как модифицировать весовые параметры сети - какие правила обучения управляют процессом настройки. Алгоритм обучения означает процедуру, в которой используются правила обучения для настройки весов.
  

• 27 слайд

  Итеративный процесс обучения сети в системе STATISTICA Neural Networks сопровождается автоматическим отображением текущей ошибки обучения и вычисляемой независимо от нее ошибки на проверочном множестве, при этом показывается и график суммарной ошибки. Вы можете прервать обучение в любой момент, просто нажав кнопку. Кроме того, имеется возможность задать условия остановки, при выполнении которых обучение будет прервано;
  таким условием может быть, например, достижение определенного уровня ошибки, или стабильный рост проверочной ошибки на протяжении заданного числа проходов - "эпох" (что свидетельствует о так называемом переобучении сети). Если переобучение имеет место, это не должно заботить пользователя: STATISTICA Neural Networks автоматически запоминает экземпляр наилучшей сети, полученной в процессе обучения, и к этому варианту сети всегда можно обратиться, нажав соответствующую кнопку. После того, как обучение сети завершено, Вы можете проверить качество ее работы на отдельном тестовом множестве.
  В пакете STATISTICA Neural Networks реализован также целый ряд алгоритмов обучения для других сетей других архитектур. Параметры радиальных сплайнов и коэффициенты сглаживания у сетей на радиальной базисной функции и обобщенно-регрессионных сетей могут выбираться по таким алгоритмам, как: обучение Кохонена, подвыборка, метод K-средних, методы изотропии и ближайших соседей. Нейроны линейного выходного слоя у сетей на радиальной базисной функции, как и у линейных сетей, полностью оптимизируются методом сингулярного разложения (SVD).
  

• 28 слайд

  Существуют три парадигмы обучения: "с учителем", "без учителя" (самообучение) и смешанная. В первом случае нейронная сеть располагает правильными ответами (выходами сети) на каждый входной пример. Веса настраиваются так, чтобы сеть производила ответы как можно более близкие к известным правильным ответам. Усиленный вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.
  Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению. Слишком малое число примеров может вызвать "переобученность" сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо - на тестовых примерах, подчиненных тому же статистическому распределению. Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования.
  
  

• 29 слайд

  Преимущества нейрокомпьютеров.
  По сравнению с обычными компьютерами нейрокомпьютеры обладают рядом преимуществ.
  Во-первых — высокое быстродействие, связанное с тем, что алгоритмы нейроинформатики обладают высокой степенью параллельности.
  Во вторых — нейрокомпьютер может решать задачи, алгоритм которых не известен или не существует.
  В третьих — нейросистемы делаются очень устойчивыми к помехам и разрушениям.
  В четвертых - устойчивые и надежные нейросистемы могут создаваться из ненадежных элементов, имеющих значительный разброс параметров.
  Недостатки нейрокомпьютеров.
  1. Они создаются специально для решения конкретных задач, связанных с нелинейной логикой и теорией самоорганизации. Решение таких задач на обычных компьютерах возможно только численными методами.
  2. В силу своей уникальности эти устройства достаточно дорогостоящи.
  
  

• 30 слайд

  Силиконовый мозг
  

• 31 слайд

• 32 слайд

• 33 слайд

  Нейронная сеть человеческого мозга.
  Учеными неоднократно предпринимались попытки напрямую соединить нервные клетки мозга человека с электронными устройствами.
  Интернет меняет нейронные связи в мозгу.
  

• 34 слайд

  Фундаментальная теорема А. Н. Колмогорова обобщена на произвольные ограниченные биортонормированные системы, определенные на измеримом пространстве.
  

• 35 слайд

  Академик Колмогоров оставил человечеству огромное наследство. Память о великих людях увековечивают, присваивая их имена улицам городов, кораблям, научным институтам. Однако истинное бессмертие человек обретает, сливаясь с идеями, которые он открыл миру. Имя Пифагора навеки связано с теоремой, имя Колмогорова – с фундаментальными результатами современной математики. В теории вероятностей и математической статистике есть неравенство Колмогорова, уравнения Колмогорова–Чепмена, критерий Колмогорова–Смирнова.
  

• 36 слайд

  Как следует из названия, эта нейросеть состоит из трех слоев, изображенных на рис. 3. Собственно нейроны располагаются во втором (скрытом) и в третьем (выходном) слое. Первый слой только передает входные сигналы ко всем H нейронам второго слоя (здесь H = 4). Каждый нейрон второго слоя имеет n входов, которым приписаны веса wi1, wi2, …, win (для нейрона с номером i). Получив входные сигналы, нейрон суммирует их с соответствующими весами, затем применяет к этой сумме передаточную функцию и пересылает результат на один из входов нейрона третьего слоя. В свою очередь, нейрон выходного слоя суммирует полученные от второго слоя сигналы с некоторыми весами vi. Для определенности будем предполагать, что передаточные функции в скрытом слое являются сигмоидными, а в выходном слое используется функция p(x) = x, т. е. взвешенная сумма выходов второго слоя и будет ответом нейросети. Итак, подавая на входы персептрона любые числа x1, x2, …, xn, мы получим на выходе значение некоторой функции F(x1, x2, …, xn), которое является ответом (реакцией) нейросети. Очевидно, что ответ нейросети зависит как от входного сигнала, так и от значений ее внутренних параметров — весов нейронов. Выпишем точный вид этой функции:
  
  
  
  Как видно из этого равенства, такой персептрон реализует только функции определенного вида, а именно суммы значений сигмоидных функций, где в качестве аргументов подставляются линейные комбинации входных сигналов. Например, функцию F(x1, x2) = x1x2 не удается с ходу представить в таком виде. Естествен вопрос: а может ли персептрон реализовать достаточно сложную функцию? Этот вопрос по сути чисто математический — о представимости одних функций посредством других. Так как задача очень просто сформулирована, неудивительно, что и занимались ею ученые достаточно давно. Удивительно то, что ответ на нее был получен сравнительно недавно — в 1989 г.
  

• 37 слайд

  Нейронная сеть
  Нейронная сеть (нейросеть) — это набор нейронов, определенным образом связанных между собой. В качестве основного примера рассмотрим нейросеть, которая достаточно проста по структуре и в то же время широко используется для решения прикладных задач — трехслойный перcептрон с n входами и одним выходом.
  

• 38 слайд

  Теорема Колмогорова:
  Любая непрерывная функция от n переменных F(x1, x2, …, xn) может быть представлена в виде
  
  
  где gj и hij — непрерывные функции, причем hij не зависят от функции F. Эта теорема означает, что для реализации функций многих переменных достаточно операций суммирования и композиции функций одной переменной. Удивительно, что в этом представлении лишь функции gj зависят от представляемой функции F, а функции hij универсальны. Заметим, что формула (**) очень похожа на формулу (*). Если перевести эту теорему на язык нейросетей, то она будет звучать так :
  «Если известны функции hij, то любую непрерывную функцию от n переменных можно точно реализовать с помощью простой нейросети на основе трехслойного перцептрона. Для этого достаточно подобрать 2n+1 передаточных функций gj нейронов скрытого слоя».
  Эта нейросеть не будет персептроном в строгом смысле, так как на входах второго слоя к сигналам необходимо применить функции hij, а не просто умножить их на веса. К сожалению, при всей своей математической красоте, теорема Колмогорова малоприменима на практике. Это связано с тем, что функции hij — негладкие и трудно вычислимые; также неясно, каким образом можно подбирать функции gj для данной функции F. Роль этой теоремы состоит в том, что она показала принципиальную возможность реализации сколь угодно сложных зависимостей с помощью относительно простых автоматов типа нейросетей.
  

• 39 слайд

  Аппроксимация нейросетями
  Чтобы получить более значимые для практики результаты в этом направлении, приходится ослабить наши требования. Во-первых, для нас непринципиально найти точное представление данной функции — достаточно иметь приближенное. Во-вторых, мы можем по необходимости увеличивать число нейронов в скрытом слое нейросети, насколько это требуется. Новый вариант теоремы Колмогорова, обладающий этими особенностями, был открыт только в 1989 г., зато одновременно несколькими авторами. Для определенности сформулируем теорему в том виде, в каком она приведена во второй из названных работ. Пусть F(x1, x2, …, xn) — любая непрерывная функция, определенная на ограниченном множестве, и e > 0 — любое сколь угодно малое число, означающее точность аппроксимации. Через «сигму» мы обозначаем сигмоидную функцию, определенную выше.
  Теорема. Существуют такое число H, набор чисел wij, ui и набор чисел vi, что функция
  
  
  
  приближает данную функцию F(x1, x2, …, xn) с погрешностью не более e на всей области определения.
  Читатель легко заметит, что эта формула полностью совпадает с выражением (*) для функции, реализуемой персептроном. В терминах теории нейросетей эта теорема формулируется так. Любую непрерывную функцию нескольких переменных можно с любой точностью реализовать с помощью обычного трехслойного персептрона с достаточным количеством нейронов в скрытом слое.