Раздел 6.1. Зимы и весны ИИ: Трагедия Перцептрона (1958 — 2010)

Мы вступаем в финальный модуль. Это история о том, как человечество пыталось создать разум. Это не прямая линия прогресса. Это драма в двух актах с перерывом в 20 лет, полная надежд, предательства, академической травли и упрямства одного человека, который отказался сдаваться.

Раздел 6.1. Зимы и весны ИИ: Трагедия Перцептрона (1958 — 2010)

В середине XX века, когда компьютеры еще занимали целые комнаты, ученые разделились на два непримиримых лагеря в вопросе создания искусственного интеллекта.

Символисты (Symbolic AI) / «Логики»: Они считали, что мозг — это просто компьютер, обрабатывающий символы. Разум — это набор правил. Если мы напишем достаточно правил IF-THEN («Если есть клюв и крылья, то это птица»), машина станет разумной. Их базой был MIT.
Коннекционисты (Connectionists) / «Биологи»: Они считали, что нужно моделировать физическую структуру мозга. Не нужно программировать правила. Нужно создать сеть из искусственных нейронов и дать ей обучиться самой, как учится ребенок. Их базой был Корнельский университет.

Первый раунд этой битвы закончился одной из самых жестоких расправ в истории науки.

А. Фрэнк Розенблатт и обещание Бога

Сюжет: «Эмбрион» в шкафу

1958 год. Лаборатория аэронавтики в Буффало (Корнельский университет). Молодой, харизматичный психолог и инженер Фрэнк Розенблатт приглашает журналистов на демонстрацию. Он показывает им устройство Perceptron Mark I.

Это не программа. Это физический шкаф размером с холодильник, набитый клубами проводов.

Глаз: Матрица из 400 фотоэлементов (20x20 пикселей).
Мозг: Сотни кабелей, соединяющих «глаз» с исполнительными механизмами.
Обучение: Вместо изменения кода, моторы с жужжанием крутили потенциометры (резисторы), меняя напряжение в цепях.

Розенблатт показывал камере карточки с квадратами и треугольниками. Машина жужжала, лампочки мигали, и она выдавала ответ. Если ответ был неверным, оператор нажимал кнопку, и машина «перекручивала» свои настройки. Через 50 попыток она начинала безошибочно отличать фигуры. Это было чудо. Машину никто не программировал определять квадрат (никто не писал формулу "4 угла"). Она поняла это сама.

Хайп века

Впечатленная пресса сошла с ума. 8 июля 1958 года газета New York Times вышла с заголовком, который сегодня назвали бы кликбейтом века:

«ВМС США представили эмбрион электронного компьютера, который, как ожидается, сможет ходить, говорить, видеть, писать, воспроизводить сам себя и осознавать свое существование».

Розенблатт, окрыленный успехом и грантами от ВМС США (Office of Naval Research), начал давать смелые обещания. Он говорил, что скоро перцептроны будут переводить языки на лету и управлять космическими кораблями. Он стал рок-звездой науки.

Убийство идеи (1969): Школьные друзья и враги

В Массачусетском технологическом институте (MIT) за этим наблюдали два гиганта «символьного ИИ» — Марвин Минский и Сеймур Пейперт. Минский был гением и старым школьным другом Розенблатта (они учились в одной научной школе Бронкса). Но в науке они стали врагами. Минский считал подход Розенблатта опасным шарлатанством. «Зачем имитировать мозг, если мы не понимаем, как он работает? Нужно заниматься логикой!». Перцептроны оттягивали на себя финансирование, которое Минский хотел получить для своей лаборатории.

В 1969 году Минский и Пейперт публикуют книгу с безобидным названием «Perceptrons». Это была не дискуссия. Это была математическая казнь. В книге они с холодной точностью доказали, что однослойный перцептрон Розенблатта имеет фундаментальное ограничение. Он не способен решить даже простейшую логическую задачу — XOR (Исключающее ИЛИ).

Суть проблемы: Перцептрон может провести прямую линию, разделяющую черные и белые точки. Но задача XOR (когда точки расположены крест-накрест) требует кривой линии. Перцептрон физически не мог этого сделать.

Они также (ошибочно) намекнули, что даже если добавить слои нейронов, обучить такую сеть будет невозможно, так как вычислительная сложность растет экспоненциально.

Драма и Зима

Книга произвела эффект разорвавшейся бомбы. Авторитет Минского (будущего лауреата Тьюринга) был непререкаем. Военные и научные фонды (DARPA) прочитали книгу, увидели математическое доказательство бесполезности перцептронов и закрыли чековые книжки.

Результат: Финансирование нейросетей было заморожено полностью. Наступила «Первая зима ИИ».
Человеческая трагедия: Ученых, которые заикались о нейросетях, называли маргиналами. Им отказывали в публикациях. Их аспиранты не могли найти работу.

Фрэнк Розенблатт пытался спорить, но его звезда закатилась. В 1971 году, в день своего 43-летия, он погиб во время прогулки на яхте в Чесапикском заливе. Казалось, идея нейросетей утонула вместе с ним. Победил «Символьный ИИ» (экспертные системы).

Б. Джеффри Хинтон: Еретик в подвале

Прошло 15 лет. В 70-е и 80-е годы миром правили Экспертные системы. Врачи пытались формализовать диагностику в виде тысяч правил IF-THEN. Это работало плохо: мир слишком сложен для жестких правил. (Как описать кошку правилами? Уши треугольные, но если она прижала их? Хвост есть, но если это бобтейл?).

В это время в холодной Канаде (Университет Торонто) работал британский когнитивный психолог и информатик Джеффри Хинтон. Он был потомком Джорджа Буля (того самого, кто придумал булеву алгебру), но сам он был бунтарем. Хинтон верил, что мозг не работает на правилах. Он верил в нейросети. Его считали чудаком. На научных конференциях, когда начиналась (редкая) секция нейросетей, люди демонстративно выходили из зала. Хинтон работал практически в подполье.

Личная деталь: Хинтон страдал от хронической проблемы со спиной. Он не мог сидеть. Большую часть жизни он работал стоя или лежа. Он даже ел стоя. Это добавляло ему образ «мученика науки».

Технический прорыв (1986): Backpropagation

Главная проблема, на которую указал Минский: «Даже если вы построите многослойную сеть (Deep Network), вы не сможете её обучить». Представьте сеть как огромный микшерный пульт с миллионом ручек (весов).

Вы подаете на вход картинку кошки. Сеть говорит: «Собака».
Вы знаете, что она ошиблась. Но какую из миллиона ручек нужно подкрутить? И в какую сторону? Первую? Последнюю? Все сразу?

В 1986 году Хинтон (вместе с Дэвидом Румельхартом и Рональдом Уильямсом) публикует статью в Nature, популяризирующую алгоритм Backpropagation (Обратное распространение ошибки).

Суть метода (на пальцах):

Прямой проход: Сеть делает предсказание («Собака»).
Ошибка: Мы вычисляем разницу между ответом сети и правдой.
Обратный проход: Это магия. Мы идем от конца сети к началу. Используя цепное правило дифференцирования (матан 1-го курса, который забыл Минский), мы вычисляем точный вклад каждого нейрона в общую ошибку.
- «Ты, нейрон №543 в третьем слое, ты виноват на 0.05%. Уменьши свой вес».
Коррекция: Мы чуть-чуть подкручиваем веса («градиентный спуск»).

Это было решение! Хинтон доказал: многослойные сети (Deep Learning) обучаемы. Они могут решить проблему XOR и задачи гораздо сложнее. Минский ошибся.

Фальстарт и Вторая Зима

Казалось, победа близка. В конце 80-х начался короткий ренессанс. Почта США (USPS) даже внедрила сверточные нейросети (созданные Яном Лекуном, учеником Хинтона) для автоматического чтения рукописных индексов на конвертах.

Но потом наступили 90-е. И нейросети снова проиграли. Почему?

Слабое железо: Компьютеры были слишком медленными. Обучение сети из 3 слоев занимало недели. Добавить 4-й слой было невозможно.
Мало данных: Интернета в современном виде еще не было. Негде было взять миллион размеченных картинок с кошками для обучения. Сети переобучались на малых данных.
Конкуренты: Появились более элегантные математические методы (SVM — Support Vector Machines). Они работали быстрее, требовали меньше данных и имели под собой красивую математическую базу.

Наступила «Вторая зима ИИ». Инвесторы сказали: «Мы уже слышали эти обещания в 60-х. Хватит». Хинтон, Ян Лекун (будущий глава AI в Facebook) и Йошуа Бенжио снова оказались в изоляции. Они называли себя «Заговорщиками глубокого обучения». Им пришлось ждать еще 20 лет, пока мир подготовит для них топливо — Большие данные и, что неожиданно, Видеокарты для игр.

Итог раздела 6.1

История Перцептрона — это великий урок смирения.

Авторитет (Минский) может убить инновацию на десятилетия, просто потому что она не вписывается в его картину мира.
Упорство (Хинтон) — это главное качество ученого. Хинтон продолжал работать над нейросетями 30 лет, когда все считали это тупиком.

В 2018 году Хинтон, Лекун и Бенжио получили Премию Тьюринга (Нобелевка в IT). Они победили. Но в 90-х они были изгоями. В следующем разделе мы узнаем, как помощь пришла с самой неожиданной стороны — от подростков, которые просто хотели стрелять в монстров в Call of Duty с хорошей графикой. Речь пойдет о компании NVIDIA.