Выходные данные автора на ресурсе ВАЛИНФО.РУ: Onclehak
НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ
МОСКОВСКИЙ ИНЖЕНЕРНО- ФИЗИЧЕСКИЙ ИНСТИТУТ
Факультет Автоматики и Электроники Кафедра Микро- и наноэлектроники Курс «Компьютерный Практикум-13» Основы искусственных ней-ронных сетей
Выполнил: Эль-Хажж Х.М. А4-09 Преподаватель: доц. Лапшинский В. А.Москва 2013
Москва 2013 Оглавление Аннотация 4 Глоссарий 4 Введение 5 Основной текст 6 Заключение 12 Список литературы 12 Для заметок 13
Аннотация В данном конспекте рассмотрены основы искусственных нейронных сетей, их фундаментальная структура и свойства. Большое внимание уделено варьирующему многообразию активационных функций, а также их сравнительным свойствам и характеристикам.
Глоссарий Вектор X – совокупность входных сигналов Вектор W – совокупность множества весов NET – взвешенные входы, создающие выход (сигнал) OUT – выходной нейронный сигнал (преобразованный с помощью активационной функции сигнал NET)
Введение В данной статье освещены идеи и первичные шаги к реализации искусственных нейронных систем. Искусственные нейронные сети предложены для задач, простирающихся от управления боем до присмотра за ребенком. Потенциальными приложениями являются те, где человеческий интеллект малоэффективен, а обычные вычисления трудоемки или неадекватны. Этот класс приложений, во всяком случае, не меньше класса, обслуживаемого обычными вычислениями, и можно предполагать, что искусственные нейронные сети займут свое место наряду с обычными вычислениями в качестве дополнения такого же объема и важности.
От биологии к электронике Нервная система человека, построенная из элементов, называемых нейронами, имеет ошеломляющую сложность. Около 1011 нейронов участвуют в пример-но 1015 передающих связях, имеющих длину метр и более. Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.
Рис. 1 Биологический нейрон
На рис. 1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам. У этой основной функциональной схемы много усложнений и исключений, тем не менее большинство искусственных нейронных сетей моделируют лишь эти простые свойства. Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, аналогичный синоптической силе, и все произведения суммируются, определяя уровень активации нейрона. На рис. 2 представлена модель, реализующая эту идею.
Рис. 2 Искусственный нейрон
Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта конфигурация. Здесь множество входных сигналов, обозначенных x1, x2,…, xn, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес w1, w2,…, wn, и поступает на суммирующий блок, обозначенный Σ. Каждый вес со-ответствует «силе» одной биологической синаптической связи. (Множество весов в совокупности обозначается вектором W.) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход, который мы будем называть NET. В векторных обозначениях это может быть компактно записано следующим образом: NET = XW Сигнал NET далее, как правило, преобразуется активационной функцией F и дает выходной нейронный сигнал OUT.
Активационные функции Активационная функция может быть обычной линейной функцией
OUT = K(NET),
где К – постоянная, пороговой функции
OUT = 1, если NET > T, OUT = 0 в остальных случаях,
где Т – некоторая постоянная пороговая величина, или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.
Рис. 3 Искусственный нейрон с активационной функцией
На рис. 3 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто используется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис. 4. Эта функция математически выражается как F(x) = 1/(1 + е-x).
Таким образом: OUT=1/(1+exp[-NET])=F(NET).
Рис. 4. Сигмоидальная логистическая функция
Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сход-на с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом:
OUT = th(x).
Рис. 5 Функция гиперболического тангенса
Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 5). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей.
Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что в модели верно схвачены важнейшие черты биологического нейрона.
Заключение В заключение можно сказать, что искусственные нейронные сети – сложнейшая и перспективнейшая ветвь развития электроники и физики в целом. Применение искусственных нейронных сетей практически в любой сфере, связанной с автоматизацией и оптимизацией сложных физических процессов, в значительной степе-ни упростит любую поставленную задачу.
Список литературы 1. Справочник по нейросетям, http://www.forekc.ru/940/ 2. http://ru.wikipedia.org – статья о нейронных сетях 3. Большой энциклопедический словарь, 2000
