Для новичков,Хотите поговорить быстро, начиная с,《глубокое обучениеизматематика》глубокое обучениеначинаябольшинствоизкниги,Ни один. Легко понять,В книге много иллюстраций.

1. Интуитивно понятная графика и текст

Вперемежку с 235 иллюстрациями и большим количеством конкретных примеров для объяснения, повторяются типичные ошибки и ключевые моменты, что упрощает понимание.

2. В сочетании с практикой Excel

В книге используется Excel для теоретической проверки.,Читатели могут загрузить образец файла Excel, прилагаемый к книге.,Испачкать руки,Интуитивно испытайте более глубокое обучение.

3. Требуются только базовые математические знания.

Подходит для людей со слабыми знаниями по математике. обучение Читать могут новички, а читатели с определенным фундаментом также могут углубить свое понимание развязать посредством этой книги.

1. Что такое нейронная сеть?

Нейронные единицы — это модели нейронов. Итак, поскольку мозг представляет собой сеть нейронов, если мы имитируем сеть, создающую нейронные единицы, можем ли мы также производить некий «интеллект»? Это естественно ожидаемо. Как мы все знаем, ожидания людей не были обмануты, и сети, состоящие из нейронных блоков, добились плодотворных результатов в области искусственного интеллекта.

Прежде чем перейти к теме нейронных сетей, давайте сначала рассмотрим функции нейронных модулей, рассмотренных в предыдущем разделе.

• Объедините несколько входов в нейронный блок

Собраны во взвешенные входные данные

。

в

это вес,

это предвзятость,

это количество входов.

• Нейронный блок передает функцию активации

, согласно взвешенному входу

выход

。

Соединение таких нейронных блоков в сетевую форму образует нейронную сеть.

Существуют различные способы соединения сетей. В этой книге в основном будут рассмотрены базовая иерархическая нейронная сеть и разработанная на ее основе сверточная нейронная сеть.

Примечание. Чтобы отличить ее от нейронных сетей, которые представляют нервные системы в биологии, в некоторой литературе используется термин «искусственная нейронная сеть». В этой книге слово «искусственный» для простоты опущено.

Обязанности каждого слоя нейронной сети

Как показано на рисунке ниже, иерархическая нейронная сеть делит нейронные блоки по слоям, обрабатывает сигналы через эти нейронные блоки и получает результаты от выходного слоя, как показано на рисунке ниже.

Слои, составляющие эту сеть, называются входным слоем, скрытым слоем и выходным слоем, а скрытый слой также называется средним слоем.

Каждый уровень выполняет определенные операции обработки сигналов.

Входной слой отвечает за чтение информации, передаваемой нейронной сети. Нейронные блоки, принадлежащие этому слою, не имеют стрелок ввода, это простые нейронные блоки, которые просто выводят значения, полученные из данных, такими, какие они есть.

Нейронные блоки скрытого слоя выполняют операции обработки (1) и (2), рассмотренные ранее. В нейронной сети это та часть, которая фактически обрабатывает информацию.

Выходной слой выполняет те же операции обработки информации (1) и (2), что и скрытый слой, и отображает результат, рассчитанный нейронной сетью, который является выходом всей нейронной сети.

глубокое обучение

глубокое Обучение, как следует из названия, накладывается на множество слоев нервов. Существуют различные методы наложения, знаменитая сверточная нейронная сеть (глава 1) 5 глава).

Изучите конкретные примеры

Пример. Создайте нейронную сеть для распознавания рукописных цифр 0 и 1, считанных из изображения размером 4×3 пикселя. Данные обучения представляют собой 64 изображения, где пиксели представляют собой монохроматические двоичные значения.

развязать　Давайте продемонстрируем, как ответить на этот примерразвязать.

Этот ответ на развязать демонстрирует, как на самом деле функционирует нейронная сеть на простейшем примере нейронной сети, но этого достаточно для теоретической сути развязать. Эта идея применима и к сложным ситуациям.

Характеристика этой простой нейронной сети заключается в том, что нейронные единицы предыдущего слоя соединены стрелками со всеми нейронными единицами следующего слоя. Такая структура слоя называется полностью связным слоем. Эту форму очень легко вычислить на компьютере.

Давайте кратко рассмотрим значение каждого слоя.

Ответьте на значение входного слоя в примере.

Входной слой состоит из 12 нейронная единица композиции, по которой сразу можно понять развязать, ведь нейронную сеть в целом нужно прочитать 4×3 = 12 информация о пикселях.

Входные и выходные данные нейронных блоков входного слоя одинаковы. Должна быть введена функция активации

Если это так, вы можете использовать функцию идентификации (

) действовать.

Ответьте на значение выходного слоя в примере.

Выходной слой состоит из двух нейронных блоков. Это связано с тем, что нашей задачей является распознавание двух рукописных цифр 0 и 1. Нам нужен нейронный модуль, который выводит большее значение (т. е. имеет больший отклик) при чтении рукописной цифры 0, и Нейронный блок, который выводит большее значение при чтении рукописной цифры 1.

Например, используйте сигмовидную функцию в качестве функции активации. В этом случае при чтении изображения числа 0 выходное значение нейронного блока выше выходного слоя больше, чем выходное значение нейронного блока ниже, а при чтении изображения числа 1 выходное значение; нейронный блок ниже выходного слоя. Это значение больше, чем выходное значение нейронного блока выше, как показано на рисунке ниже. Таким образом, вся нейронная сеть оценивается на основе размера выходного сигнала нейронного блока выходного слоя.

Ответьте на вопрос о значении скрытого слоя в примере.

Скрытый слой имеет функцию извлечения особенностей входного изображения. Однако,Почему скрытый слой может извлекать особенности входного изображения? Это не простая тема. кроме того,В этом развязать пример ответа,Почему скрытые слои имеют 1 слой, а не 2 слоя? Что такое скрытые слои? У читателей наверняка возникнет много вопросов. Чтобы решить эти вопросы,Вам необходимо понять структуру развязать, упомянутую в следующем разделе.

2. Используйте демонов, чтобы объяснить структуру нейронных сетей

В предыдущем разделе мы дали обзор нейронных сетей, но не рассмотрели в них самые сложные скрытые слои. Это связано с тем, что скрытый слой несет важную ответственность за извлечение признаков и требует подробного введения. В этом разделе мы подробнее рассмотрим скрытый слой.

важный скрытый слой

Как было рассмотрено в предыдущем разделе, нейронные сети формируются путем развертывания нейронных модулей в сети. Однако бессистемное соединение нейронных модулей не приводит к созданию полезной нейронной сети, поэтому требуется прогноз дизайнера, и этот прогноз особенно важен для скрытых слоев. Потому что именно этот скрытый слой поддерживает работу всей нейросети. Давайте воспользуемся примерами, рассмотренными в предыдущем разделе, чтобы постепенно расширить конкретную тему скрытых слоев.

Пример. Создайте нейронную сеть для распознавания рукописных цифр 0 и 1, считанных из изображения размером 4×3 пикселя. Данные обучения представляют собой 64 изображения, где пиксели представляют собой монохроматические двоичные значения.

Уже упоминалось ранее,Сложность распознавания образов в том, что ответы не стандартны.,Этот пример также воплощает эту особенность. Даже если да всего один 4×3 Двоичное изображение пикселей, прочитанные рукописные цифры 0 и 1 Пиксельные режимы также разнообразны. Например, следующее изображение можно рассматривать как чтение рукописных цифр. 0。

Для такого числа 0, даже если людям удастся его идентифицировать, компьютерам очень трудно судить.

Идея: Ответ даёт сила связи между нейронными единицами.

Стандартного ответа на такого рода проблемы не существует, и его сложно определить.,Как лучше всего принять решение? Идея в том, чтобы «судить по сети». На первый взгляд этот метод может показаться невероятным.,Но логика совсем не сложная,Мы можем использовать метафору демонической организации из информационной сети. Хотя эта метафора не точна,Но да могу выделить его суть.

Предположим, существует демоническая организация, как показано на рисунке ниже, в скрытом слое которой живут люди. 3 скрытый дьявол A, B, C, выходной слой живет 2 выходной демон 0 и 1. Входной слой имеет 12 Подчиненные ①～⑫ — скрытые демоны. A、B、C Служить.

Примечание. Здесь работа ячеек выделения признаков в биологии абстрагируется на трех демонов A, B и C.

12 миньонов нижнего слоя (входного слоя) живут в каждом пикселе изображения размером 4×3. Их задача — спать, если сигнал пикселя выключен (значение равно 0, если сигнал пикселя включен (значение 1); ) ) возбуждаются и передают информацию о возбуждении своим хозяевам, скрытым демонам A, B и C.

Примечание. Даже если дело не в черно-белых двоичных пикселях, метод обработки тот же.

Жизнь в скрытом слое 3 скрытый дьявол, из нижнего слоя (входного слоя) из 12 Получите волнующую информацию от одного из ваших подчиненных. Затем он интегрирует полученную информацию и в соответствии с ее значением возбуждается и передает этот уровень возбуждения выходному демону, живущему на верхнем уровне.

Однако Скрытые Демоны A, B и C имеют разные предпочтения. Им нравятся модели режима A, режима B и режима C соответственно, как показано ниже. Это свойство влияет на свойства нейронных сетей. (Ясно видеть их разные «предпочтения» — это оценка дизайнера, о которой мы упоминали изначально.)

Жизнь на верхнем этаже 2 выходной демон тоже да из жизни на нижнем этаже из 3 скрытый Получите информацию о волнении от дьявола. так скрытым Подобно дьяволу, они интегрируют волнующую информацию и возбуждаются в соответствии с ее ценностью. Затем этот выход дьявола из волнения становится целой дьявольской организацией из намерений. Если выход дьявол 0 Уровень возбуждения выше, чем у выходного демона 1 Уровень волнения большой, нейросеть определяет, что номер изображения равен 0, в противном случае оно оценивается как 1。

Видно, что межличностные отношения существуют и в мире демонов.

Скрытые демоны A, B и C имеют свои предпочтения в отношении режимов и разные отношения с 12 миньонами. Скрытый Демон А предпочитает предыдущий Режим А, поэтому у него тот же темперамент, что и у ④ и ⑦. Поскольку пиксель № 4 и пиксель № 7 шаблона A включены, естественно, что они имеют тот же темперамент, что и соответствующие смотрители ④ и ⑦.

Точно так же подчиненные ⑤ и ⑧ имеют схожие темпераменты со Скрытым Демоном B, а подчиненные ⑥ и ⑨ имеют схожие темпераменты со Скрытым Демоном C, поэтому канал передачи возбуждения между ними также стал толще (рисунок ниже).

Жизнь в скрытом слое Скрытый демон A、B、C с теми, кто живет на верхних этажах 2 выходной у демона тоже есть отношения. Из-за какой-то связи дьявол 0 со скрытым дьяволом A、C Близкий по духу темперамент, но выход дьявола 1 со скрытым дьяволом B Конгениальный темперамент.

Выше перечислены все межличностные отношения в организации демонов. За исключением того, что скрытые демоны A, B и C имеют разные предпочтения, это простая организация, которая может существовать повсюду в человеческом обществе.

Итак, вот прочитаем рукописную цифру 0.

Ю да, как пиксельный страж из подчиненного④、⑦и Подчиненный⑥、⑨Я очень обрадовался, когда увидел это изображение (изображение ниже).

В это время возбужденные подчиненные ④ и ⑦ передают информацию о сильном возбуждении скрытому дьяволу А, имеющему аналогичный темперамент, а возбужденные подчиненные ⑥ и ⑨ также передают информацию о сильном возбуждении скрытому дьяволу C, имеющему аналогичный темперамент. Напротив, немногие из миньонов передают информацию о возбуждении Скрытому Демону Б (изображение ниже).

Что произойдет со скрытыми демонами, которые получат волнующую информацию от своих приспешников? Скрытый дьявол, получивший сильное волнительное сообщение A и Скрытый демон C Естественно, я воодушевился. С другой стороны, скрытый дьявол B Как это стало? Поскольку от подчиненных он почти не получал волнующей информации, то сохранял спокойствие.

Жизнь на верхнем этажвыход Что сталось с дьяволом? выход Дьявол 0 Благодаря скрытому дьяволу с волнением A、C Отношения близки, поэтому я получаю более сильную информацию о волнении, поэтому я тоже испытываю волнение. Напротив, демон вывода 1 со скрытым дьяволом A、C Скрытые демоны, с которыми мы отчуждены, но близки B Всегда сохраняйте спокойствие, так что выводите дьявола 1 Никакой информации о возбуждении не получено, поэтому сохраняйте спокойствие.

Таким образом, чтение рукописных цифр 0 После изображения, согласно цепочке отношений между демонами, мы наконец получили «выходной демон». 0 Взволнованный, выведи дьявола 1 Результат «Спокойствие». Согласно предыдущей статье «Если на выходе черт 0 Уровень возбуждения выше, чем у выходного демона 1 Уровень волнения большой, нейросеть определяет, что номер изображения равен 0", получено из Сети Дьявола 0 этотразвязатьотвечать。

Предвзятость сердца дьявола

В этой демонической организации возбуждение с нижних уровней в той или иной степени передается на верхние уровни. Однако помимо информации о возбуждении, передаваемой между слоями с близкими отношениями, отсутствует небольшой объем информации, представляющий собой «шум». Если эти шумы овладеют разумом дьявола, информация о возбуждении не будет передана правильно. Следовательно, для этого необходимы возможности снижения шума. В случае с демоническими организациями назовем эту функцию «предвзятостью сердца»! В частности, сердце дьявола склоняется к игнорированию небольшого количества шума. Эта «предвзятость сердца» является внутренней ценностью (то есть личностью) каждого демона.

Получайте информацию из отношений

как выше,Дьявольская организация реализовала рукописные цифры и распознавание образов. Нам следует сосредоточиться на,Отношения между демонами (также известными как дружба) и каждой личностью дьявола (также известной как предвзятость) работают вместе, чтобы найти ответ. То есть, да,сеть вынесла решение в целом.

вопрос　Покажите, как читать числа на картинке. 1 Когда был нарисован образ демонической организации 1 Это развязать ответ на весь процесс.

развязать　в этом случае,О числе да1 на изображении можно также судить по взаимосвязи между демоном верхнего уровня и демоном нижнего уровня. На картинке ниже поясняется даразвязать. Следуйте толстой линии на рисунке ниже.,выход Демон 1 Развлекайся,Определите число да1 на изображении.

3. Перевести работу дьявола на язык нейронных сетей

В предыдущем разделе мы говорили о нейронной структуре через дьявола. В этом разделе мы опишем работу демонов на нейронном языке.

«Дружба» между демонами указывает на вес

В предыдущем разделе рассматривалась способность демонической организации обнаруживать рукописные цифры 0, 1 из структуры. Заменив эту организацию нейронными единицами, мы сможем понять структуру нейронных единиц, которые хорошо работают как команда для распознавания образов.

Во-первых, представьте себе демонов как нейронные единицы. Скрытый слой живет 3 скрытый дьявол A, B, C можно интерпретировать как наличие скрытого слоя. 3 нейронная единица А, Б, С. Выходной слой живет 2 выходной демон 0, 1, что можно интерпретировать как наличие выходного слоя. 2 нейронная единица 0, 1. Кроме того, входной слой содержит 12 дьяволиз можно интерпретировать как входной слой. 12 нейронная единица（Изображение ниже）。

Далее рассмотрим «дружбу» демона как вес нейронного блока. Скрытый Демон А имеет тот же темперамент, что и его подчиненные ④ и ⑦. Это соотношение можно рассматривать как вес стрелок, указывающих от нейронных блоков входного слоя ④ и ⑦ к нейронным блокам скрытого слоя A. Точно так же скрытый демон B имеет такой же темперамент, как и его подчиненные ⑤ и ⑧, что можно рассматривать как стрелки, указывающие от нейронных блоков входного слоя ⑤ и ⑧ к нейронным блокам скрытого слоя B, имеют больший вес. Скрытый Демон C имеет тот же темперамент, что и его подчиненные ⑥ и ⑨, поэтому можно считать, что стрелки, указывающие от нейронных блоков входного слоя ⑥ и ⑨ к нейронным блокам скрытого слоя C, имеют больший вес.

Скрытые демоны A и C имеют тот же темперамент, что и выходной демон 0 верхнего слоя. Это соотношение означает, что вес стрелок, указывающих от нейронных блоков A и C скрытого слоя к нейронному блоку 0 выходного слоя, больше. Аналогично, скрытый демон B близок выходному демону 1, и это соотношение означает, что стрелка, указывающая от нейрона B скрытого слоя к нейрону 1 выходного слоя, имеет больший вес.

такразвязатьвыпускатьизразговаривать,Нейронная сеть считывает рукописные цифры 0 Когда нейронный блок A и C Выходное значение больше, и нейронный блок выходного слоя 0 Выходное значение больше. Таким образом, на основе общей взаимосвязи нейронной сети окончательно определяется число. 0。

Когда предыдущий слой и следующий слой полностью связаны, как эта нейронная сеть, когда на вход вводится изображение 0, нейронный блок B скрытого слоя и нейронный блок 1 выходного слоя, которые, как ожидается, не будут отвечать, также имеют передачу сигнала, поэтому он необходима функция запрета подобных сигналов и прояснения их — предвзятость, проявляющаяся в демонических организациях как «предвзятость сердца».

Как упоминалось выше, веса, смещения и z работают вместе, чтобы сделать возможным распознавание изображений. В этом заключается идея «получить ответ из взаимоотношений между нервами».

модель рациональности

как упоминалось выше,Мы переводим работу, которую мы рассмотрели в предыдущем разделе, в нейронные сети с учетом весов и смещений.,Но не думайте, что все будет хорошо. Даже если демоническую активность преобразовать в нейронную сеть,Нет никакой гарантии, что можно обнаружить работу дьявола, его веса и предубеждения. И если бы на этой идее можно было реально построить нейронную сеть,И уметь полностью объяснить данные изданные,Вы можете убедиться в разумности приведенных выше тем. Для этого нужна математика,Лингвистические описания должны быть преобразованы в математические выражения. с этой целью,Мы будем на 2 Проделайте некоторую подготовительную работу и начните с главы. 3 Глава начинается с реальных расчетов.

количество демонов

жить ввыходслойизвыходколичество демоновда 2 люди. Чтобы определить, являются ли числа на изображении 0 все еще 1,2 Человек подходящий.

Жизнь в скрытом слоескрыватьколичество демоновда 3 люди. почему 3 Где люди? Как упоминалось в начале этого раздела, это связано с некоторой оценкой, как показано на рисунке ниже.

Цифры можно оценить по рисунку 0 Содержит узор на рисунке. A и С, номер 1 Содержит шаблон Б. Так что будьте готовы к шаблону выше A、B、C Отвечающий нейронный блок может определить, является ли число на изображении 0 все еще 1. этот 3 нейронная единицатолькода Скрытый демон A、B、C истинное лицо.

В предыдущем разделе мы установили характеристики скрытых демонов A, B и C, соответствующие режимам A, B и C соответственно. Это также по этой причине.

Причины. Правильность этой оценки можно подтвердить, если нерв действительно прочитает изображение и сделает убедительный вывод.

Аналогия между нейронными сетями и биологией

Давайте посмотрим на нейронные сети с биологической точки зрения.

Представьте себе существо, смотрящее на что-то. Можно считать, что нейронные единицы входного слоя эквивалентны зрительным клеткам, нейронные единицы скрытого слоя эквивалентны клеткам зрительных нервов, а нейронные единицы выходного слоя эквивалентны группе нервных клеток головного мозга, ответственных за суждение.

но,Существуют ли на самом деле эквиваленты нейронных единиц скрытого слоя и клеток зрительного нерва? Например,Первыйнейронная единица по сравнению с шаблоном из на предыдущей картинке A Существуют ли такие клетки зрительного нерва, которые реагируют?

На самом деле, 1958 год. Американский физиолог Дэвид Дэвид Хубер Hunter Хьюбель) и Тостан· Торстен Визель обнаружил существование таких ячеек, которые были названы клетками выделения признаков. Клетки зрительного нерва, которые сильно реагируют на определенные закономерности, способствуют распознаванию образов животными. Интересно подумать, что «демон», рассматриваемый в этом разделе, действительно существует в мозгу.

Примечание. Несколько всплеск исследований в области искусственного интеллекта.

Исследования искусственного интеллекта начались примерно в 1950-х годах. История его развития совпадает с историей развития компьютеров и может быть разделена на следующие три волны.

4. Сетевая самообучающаяся нейронная сеть.

спереди 1 - 5 Фестиваль 1 - 6 Фестиваль,Используем характер дьявола,Был рассмотрен механизм идентификации входных изображений. Конкретно,Просто судите по взаимоотношениям в организации демонов. но,Прежде чем говорить о развязать, размер гири предполагался заранее.,Другими словами, оно предполагает межличностные отношения между демонами на всех уровнях. Так,Как этот вес (дьявол в отношениях) определяет? Одним из наиболее важных моментов в нейронной сети является использование алгоритма самообучения для определения веса.

Обучение нейронной сети с математической точки зрения

Метод определения параметров нейронной сети делится на обучение с учителем и обучение без учителя. Эта книга знакомит только с контролируемым обучением. Обучение под наблюдением да относится к,Определить смещение весов и смещений нейронной сети,Дайте заранее данные,Эти данные называются данными обучения. Определите веса и смещения в соответствии с данными обучения.,Это называется обучением.

Примечание. Данные обучения также называются данными обучения.

Так,Как учится нейронная сеть? Идея чрезвычайно проста: рассчитать нейронную сеть, чтобы получить прогнозируемое значение и положительную ошибку связи.,Определите общую ошибку для достижения минимального веса и смещения. Математически это называется оптимизацией модели (ниже).

О суммарной ошибке прогнозируемого значения и положительном развязать,Существуют различные определения из. В этой книге принято самое классическое определение изда: для всех данных обучения.,Вычислите прогнозируемое значение с положительной развязать ошибку в квадрате (называемую квадратичной ошибкой).,Затем добавьте их. Эта ошибка называется функцией стоимости (функция стоимости), используя символ

означает (T — первая буква Total).

Метод использования квадратичных ошибок для определения параметров называется в математике методом наименьших квадратов и является обычным средством регрессионного анализа в статистике.

Мы возьмем регрессионный анализ в качестве примера, чтобы конкретно изучить, что такое метод наименьших квадратов в разделе 2-12.

Кроме того, в этой книге в качестве примера для иллюстрации используется распознавание образов рукописных цифр. Следовательно, данные обучения представляют собой данные изображения, а экземпляры обучения являются экземплярами изображения.

Следует отметить, что отрицательные числа допускаются в весах нейронных сетей, но отрицательные числа не появятся при использовании биологических аналогий, а отрицательные числа сложно использовать в качестве количества нейротрансмиттеров. Видно, что нейронные сети вдохновлены биологией и переходят в другой мир, отличный от биологического мира.