В отличие от разработанного в 1997 году компанией «Ай-би-эм» компьютера и одноименной программы Deep Blue, которая в 1997 году одержала сенсационную победу в шахматной партии против самого Гарри Каспарова, «агент» может обучаться в буквальном смысле с нуля.

«Создавая Deep Blue, инженеры и программисты заложили в программу необходимые знания, — пояснил основатель Deep Mind Демис Хассабис, добавив, что разработанные его командой алгоритмы позволяют „агенту“ учиться на своих ошибках и обучаться самостоятельно, не обладая никакими начальными знаниями.

»Это первый шаг, доказывающий, что программы могут обучаться самостоятельно, — заявил Хассабис.

Помимо развлечений, создатели алгоритма видят его применение и во вполне серьезных сферах — например, при создании автономных автомобилей, передвигающихся без участия водителя.

И хотя в нынешнем виде «агент» не способен накапливать большой массив данных и принимать долгосрочные стратегические решения, он вполне может быть доработан, уверены исследователи. Сейчас в Deep Mind работают над созданием «памяти» программы и надеются, что это поможет ей освоиться с прохождением более современных трехмерных игр.

источник: img.gazeta.ru
Школа для Терминатора
Искусственный интеллект успешно осваивает старые компьютерные игры

Искусственный интеллект научился играть в старые игры, вышедшие на игровой приставке Atari в 1980-х годах, лучше человека. Об этом рассказали представители подразделения DeepMind компании Google. Посвященное этому феномену исследование они опубликовали в журнале Nature. В 29 играх из 46 искусственный интеллект Deep Q оказался лучше человека, а в игре в пинбол он превзошел людей в 26 раз.

Суть эксперимента заключалась не в том, чтобы заставить компьютер играть с самим собой. Для имитации ИИ (искусственного интеллекта) часто разрабатывают довольно сложные сценарии поведения компьютерного игрока для конкретных игровых ситуаций и условий.

Однако в данном случае программа ничего «не знала» об играх, которым обучалась, и смогла выработать успешный опыт для достижения цели игры в большинстве случаев. В отдельных случаях компьютер предложил такую стратегию поведения, которую не могли спрогнозировать сами ученые.

Более того, разработчики добились того, чтобы одна копия программы могла обучать другую. Коллеги специалистов из Google DeepMind, не участвовавшие в проекте, отметили, что это впечатляющее достижение в области развития искусственного интеллекта, и это только начало.

Игры 80-х – это всего лишь забавный «полигон» для обучения «общей системы машинного самообучения».

Подобные исследования помогут создать интеллектуальных роботов, способных адаптироваться к неожиданным ситуациям в сложных условиях. Есть и более обыденное применение – тренировка персонального помощника для человека. Такой помощник сможет изучить предпочтения хозяина и мгновенно запланировать маршрут путешествия с учетом мест, которые захотел бы посетить человек, покупки, которые могут ему понравиться, забронировать соответствующие ситуации вид транспорта и отель.

Исполнительный директор и сооснователь компании Nevosoft Павел Ряйкконен считает, что в данном контексте игру стоит рассмотреть не как развлекательный сервис или продукт, а как некую сложную систему со своими правилами и допущениями.

«Зачастую в играх в зависимости от жанра отражаются некие элементы из реальной жизни. Так что использование игр для обучения как машинных алгоритмов, так и людей вполне имеет перспективу», — считает Ряйкконен.

Google DeepMind не первыми начали тренировать искусственный интеллект на старых играх. В январе 2015 года на ежегодном соревновании, организованном Ассоциацией продвинутого искусственного интеллекта (AAAI), конкурсанты представили компьютерную среду на основе известной игры о водопроводчике Марио. Игрок мог управлять Марио при помощи голосовых команд без использования контроллера, при этом у героя была система обучения, ощущений и мотивации. Он мог накапливать знания и воспроизводить синтезированным голосом свои ощущения. Как и в случае Deep Q, разные герои (Марио и Луиджи) могли обмениваться опытом, разговаривая друг с другом.



Однако многих волнует столь быстрое развитие искусственного интеллекта.

Так, основатель Tesla Motors, известный серийный предприниматель Элон Маск очень обеспокоен этим и предупреждает, что разработка компьютерного разума может таить опасность для человечества, и требует ответственного подхода с соблюдением необходимых мер безопасности.

Он направил $10 млн в фонд общественной организации Future of Life Institute, цель которой – снижение рисков, грозящих человечеству в будущем.

Однако пока что опасения Маска не подтверждаются. Deep Q преуспел не во всех играх. В частности, в Pacman детище Google DeepMind играет плохо. Дело в том, что уклонение от встречи с медузами, врагами главного героя игры, требует планирования действий на более длительную перспективу, чем в других играх, и система самообучения пока что с этим не справляется. Однако разработчики не собираются останавливаться на достигнутом и намерены обучить Deep Q играть в существенно более сложные игры, например в стратегию «Цивилизация», в которой нужно развивать общество, города и технологии, а также воевать. На результат в такой игре влияет очень много факторов.

По мнению Павла Ряйкконена, искусственный интеллект может нести потенциальную опасность людям, но это дело достаточно отдаленного будущего. «Большую опасность для человечества представляют уже существующие и гораздо более простые технологии», — резюмировал эксперт.

ИИ от Google самостоятельно освоил 49 старых игр Atari

Компания Google создала систему искусственного интеллекта, которая играет лучше человека во многие аркадные игры. Программа научилась играть, не зная правил и не имея доступа к коду, а просто наблюдая за картинкой на экране.

Эта разработка не такая легкомысленная, как может показаться. Универсальная самообучаемая система когда-нибудь может найти применение, например, в автономных автомобилях и других проектах, где нужно анализировать состояние окружающих объектов и принимать решения. Скажем, при установке в автономный автомобиль ИИ методом проб и ошибок определит, на какой сигнал светофора лучше проезжать перекрёсток. Если без шуток, то программа способна находить решение для широкого спектра задач, независимо от правил и начальных условий.

Интересно ещё и то, что в 20 играх ИИ не смог превзойти человека. Например, он серьёзно облажался в игре Pac-Man, так и не научившись планировать свои действия на несколько секунд вперёд. Он также не понял, что съев определённые волшебные шарики можно пожирать призраков. В итоге, программа сумела набрать всего 13% от рекорда, поставленного лучшим профессиональным игроком.

Тренировку нейросети под названием DQN осуществило лондонское подразделение Google DeepMind. Искусственному интеллекту не сообщали правила игры. Нейросеть сама анализировала состояние и искала способ, каким образом набрать максимальное количество очков. При обучении и принятии решения она учитывала только четыре последних кадра.

В результате DQN смогла в 22 из 49 игр превзойти лучший результат людей-игроков и в 43 из 49 игр победить любой другой специализированный компьютерный алгоритм.

Это действительно первый в мире алгоритм, который соответствует человеческому уровню на большом разнообразии сложных задач», — говорит Демис Хассабис (Demis Hassabis), сооснователь DeepMind.

Результаты исследования опубликованы в журнале Nature.



Обучаемые нейросети часто используют в системах распознавания образов, а DeepMind использовала метод обучения с подкреплением, когда ИИ получает «вознаграждение» за выполнение определённых действий — и самостоятельно улучшает результат по мере накопления опыта.

Программа лучше всего проявила себя в простых играх вроде пинбола (2439% от результата человека), бокса (1607%) и в игре Breakout (1227%), где нужно отбивать мячик, расчищая блоки на экране. Она даже освоили трюк профессиональных игроков, когда в массиве блоков пробивается туннель и шарик запускается в верхнюю часть экрана!

«Это очень удивило нас, — сказал Хассабис. — Такая стратегия полностью вытекает из лежащей в основе игровой механики».

Компьютеры давно используются для управления игровым процессом, но современные системы ИИ вышли на новый уровень. Самообучение DQN предполагало анализ информации на экране в реальном времени, то есть обработку примерно 2 млн пикселей в секунду. Такими темпами ИИ в будущем сможет научиться анализировать окружающую действительность настоящего мира в реальном времени, снимая всё вокруг себя с помощью видеокамер. Это открывает для него совершенно новые области применения.