Система OpenAI Five обыграла команду игроков в Dota 2


Команда OG сразилась в шоу-матче против ботов OpenAI Five

Чемпионы The International 2020 уступили в поединке против ботов OpenAI Five.

В двухматчевом противостоянии обученные роботы не оставили шансов коллективу OG. Вторую карту команда из Европы проиграла за 20 минут.

Поединок между людьми и искусственным интеллектом проходит не впервые в рамках турниров по Dota 2. Первое появление бота ознаменовано 2020 годом, когда на чемпионате The International робот обыграл Данила Dendi Ишутина в режиме mid only. В 2020 году на очередном TI команда из пяти ИИ уступила сборной китайских дотеров и клубу paiN Gaming.

Искусственный интеллект OpenAI обыграл почти всех живых игроков в Dota 2

На минувшей неделе, с вечера 18 апреля и до 21 апреля, некоммерческая организация OpenAI временно открыла доступ к своим ИИ-ботам, позволяя всем желающим сыграть с ними в Dota 2. Это были те самые боты, которые ранее одержали победу над командой чемпионов мира по этой игре.

Как сообщается, искусственный интеллект обыграл людей с разгромным счётом. Было сыграно 7215 матчей в режиме Competitive (против игроков-людей), в которых ИИ одерживал победы в 99,4 % случаев. В 4075 случаях победа ИИ была безоговорочной, в 3140 — люди сдались сами. И только 42 матча увенчались победой живых игроков.

При этом лишь одна команда игроков смогла победить в 10 матчах. Ещё три команды смогли одержать по 3 победы подряд. Всего же за минувшие дни было сыграно свыше 35 тысяч матчей, в них участвовала почти 31 тысяча игроков. А общая продолжительность их составила 10,7 лет. Речь идёт о матчах в режимах Competitive и Cooperative. Отметим, что во втором случае живые и кибернетические игроки находились в одной команде. Это позволило использовать сильные стороны тех и других.

При этом было заявлено, что эта демонстрация OpenAI Five была последней. В будущем OpenAI планирует и дальше развивать проекты, связанные с искусственным интеллектом, однако они будут другими. Впрочем, наработки OpenAI Five и достигнутый опыт лягут в основу этих проектов.

Также было отмечено, что сложные стратегические игры, наконец, покорились ИИ, что является важной вехой в развитии будущих ИИ-технологий. Ведь долгое время считалось, что подобные игры слишком сложны для машинного интеллекта. Впрочем, то же самое говорили о шахматах и го.

OpenAI закончила открытые матчи с 99,4% винрейтом.

С 18 по 21 апреля любой желающий мог собрать команду и сразиться с OpenAI Five. Из 7257 матчей команды людей смогли выиграть только 42.

Dota 2 представляет собой многопользовательскую игру в жанре MOBA («многопользовательская онлайновая боевая арена»), в которой сражаются две команды по пять игроков. В игре участвуют две команды по пять человек. Одна команда играет за светлую сторону (англ. The Radiant), другая — за тёмную (англ. The Dire). Конечная цель каждого матча — уничтожить вражескую «крепость» (англ. Ancient), особый объект, принадлежащий противнику, и защитить собственную крепость. Подобно Defense of the Ancients, Dota 2 использует управление с помощью мыши и клавиатуры, схожее с управлением в стратегиях в реальном времени, и вид с расстояния, имитирующий изометрическую проекцию

Каждый матч проходит на квадратной карте специального вида, где крепости обеих команд находятся в противоположных углах, а игроки рассредотачиваются по соединяющим эти крепости путям — «линиям» (англ. Lane) [. Помимо самих игроков, в игре принимают управляемые компьютером существа-«крипы» (англ. Creeps) и неподвижные строения-«башни» (англ. Towers), свои с каждой стороны; они также участвуют в сражении, атакуя вражеских героев, крипов и башни противника и тем самым помогая «своей» команде. Туман войны, покрывающий большую часть карты, не позволяет игрокам следить за передвижениями противника.


Искусственный интеллект OpenAI обыграл почти всех живых игроков в Dota 2

На минувшей неделе, с вечера 18 апреля и до 21 апреля, некоммерческая организация OpenAI временно открыла доступ к своим ИИ-ботам, позволяя всем желающим сыграть с ними в Dota 2. Это были те самые боты, которые ранее одержали победу над командой чемпионов мира по этой игре.

Как сообщается, искусственный интеллект обыграл людей с разгромным счётом. Было сыграно 7215 матчей в режиме Competitive (против игроков-людей), в которых ИИ одерживал победы в 99,4 % случаев. В 4075 случаях победа ИИ была безоговорочной, в 3140 — люди сдались сами. И только 42 матча увенчались победой живых игроков.

При этом лишь одна команда игроков смогла победить в 10 матчах. Ещё три команды смогли одержать по 3 победы подряд. Всего же за минувшие дни было сыграно свыше 35 тысяч матчей, в них участвовала почти 31 тысяча игроков. А общая продолжительность их составила 10,7 лет. Речь идёт о матчах в режимах Competitive и Cooperative. Отметим, что во втором случае живые и кибернетические игроки находились в одной команде. Это позволило использовать сильные стороны тех и других.

При этом было заявлено, что эта демонстрация OpenAI Five была последней. В будущем OpenAI планирует и дальше развивать проекты, связанные с искусственным интеллектом, однако они будут другими. Впрочем, наработки OpenAI Five и достигнутый опыт лягут в основу этих проектов.

Мастер Йода рекомендует:  Полезные приёмы и хитрости C++

Также было отмечено, что сложные стратегические игры, наконец, покорились ИИ, что является важной вехой в развитии будущих ИИ-технологий. Ведь долгое время считалось, что подобные игры слишком сложны для машинного интеллекта. Впрочем, то же самое говорили о шахматах и го.

Шоу-матч. Боты OpenAI обыграли OG со счетом 2:0

Команда искусственного интеллекта от OpenAI Five обыграла OG на шоу-матче со счетом 2:0. Во втором матче между миксами ботов и комментаторов победила команда Radiant.

Формат и правила проведения матчей будут такими же, как были во время The International 2020, за исключением того, что курьер будет 1 на команду, а не по курьеру на игрока.

Русская трансляция

Английская трансляция

На выбор есть 17 героев.
Пик и сторона определяются при помощи монетки.
Запрещены: Divine Rapier, Bottle, иллюзии, саммоны и сканирование.

Состав OG


Йохан «N0tail» Сандштейн
Анатан «ana» Фам
Себастьян «Ceb» Дебс
Топиас «Topson» Таавитсайнен
Ессе «JerAx» Вайникка

Составы комментаторов

Состав Radiant

Уильям «Blitz» Ли
Йорин «Sheever» ван дер Хейден
3 бота OpenAI

Состав Dire
Остин «Capitalist» Уолш
Оуэн «ODPixel» Дэйвис
3 бота OpenAI

Команда ботов OpenAI Five обыграла OG

В области залива Сан-Франциско прошел шоу-матч между OG и командой ботов OpenAI. Действующие чемпионы мира уступили искусственному интеллекту.

Общая информация

  • Captain’s Draft (17 героев)
  • Best-of-3
  • Без иллюзий, призывных юнитов и сканирования
  • Bottle и Divine Rapier запрещены
  • Трансляция на русском и английском языках

OG

OpenAI 1
OpenAI 2
OpenAI 3
OpenAI 4
OpenAI 5


OpenAI

Карта 1

OG

Длительность: 38:18
Итоговый счет: 29:52
← Dire | Radiant →

OpenAI

Карта 2

OG

Длительность: 20:51
Итоговый счет: 6:46
← Dire | Radiant →

OpenAI

На The International 2020 боты OpenAI сражались с командами paiN Gaming и Big God, но в обоих матчах искусственный интеллект потерпел поражение.


5 августа 2020 команда ботов обыграла бывших профессиональных игроков со счетом 2:1.

В рамках The International 2020 искусственный интеллект обыграл Данила ‘Dendi‘ Ишутина со счетом 2:0 в режиме 1v1.

Боты OpenAI обыграли чемпионов мира по Dota 2. Теперь проиграть алгоритму смогут все желающие

Команда OG — чемпионы The International 2020 — проиграли искусственному интеллекту OpenAI со счётом 0:2, пишет The Verge.

Соревнование OpenAI Five Finals, в котором ИИ-система превзошла команду из 5 профессиональных игроков, проходило 13 апреля в Сан-Франциско. Обе команды были ограничены в героях и могли выбирать из 17 (всего в игре более 100 персонажей). Также было запрещено использовать призыв существ и иллюзии, которым ИИ не был обучен. В остальном правила и цели остались прежними. В первой игре команда OG продержалась более 40 минут, а вторая длилась меньше 20 минут.

Кроме того, компания решила провести открытые игры OpenAI Five Arena, в которых с её ботами — против них или на одной стороне — могут сыграть все желающие. Разработчикам интересно узнать, какие пользовательские шаги и стратегии алгоритм не сможет обойти, а результаты будут открыто публиковаться. Система будет доступна с 18:00 в четверг 18 апреля (04:00 в пятницу по минскому времени) и до вечера воскресенья (утра понедельника). OpenAI просит желающих зарегистрироваться заранее, так как компании необходимо зарезервировать нужные вычислительные мощности.

Для тренировки ботов OpenAI применяет глубокое обучение с подкреплением, а контролируются они независимо разными слоями системы. ИИ учится играть сам с собой в виртуальной среде. За 10 месяцев система накопила 45 тысяч лет игрового опыта.

В прошлом августе ИИ компании смог одержать победу над полупрофессиональной командой по Dota 2, но позже потерпел поражение от профессионалов.

Победить профессионалов в этой сложной стратегической игре не было самоцелью: для разработчиков это была возможность продемонстрировать достижения своих технологий. OpenAI планирует охватить другие сферы, помимо игровой, — например робототехнику. Компания стремится построить так называемый «общий искусственный интеллект», способный выполнять любые человеческие задачи, и внедрять его в реальный мир.

Другие показательные матчи с участием своих ботов Dota 2 компания проводить не планирует: сейчас идёт работа над программами, которые позволят человеку работать совместно с ИИ-агентами OpenAI Five в реальном времени, играть на одной стороне с ботами и учиться их стратегиям и приёмам. По мнению СЕО OpenAI Сэма Альтмана, сегодня не существует видеоигр, в которых ИИ рано или поздно не превзошёл бы способности людей.

Нейросеть OpenAI обыграла чемпионов Dota 2 — простые игроки устроят реванш

Создатели искусственного интеллекта OpenAI Five открыли свободную регистрацию для всех желающих на тест продвинутого искусственного интеллекта в Dota 2, который недавно обыграл чемпионов The International 8. Простые игроки смогут сыграть в режимах 5-на-5, одиночном кооперативе или же с друзьями, сообщает The Verge.

Обычные игроки Dota 2 смогут узнать каково играть в одной команде или против программы, которая фактически обучалась игре 45 000 часов. Для этого OpenAI запустила плфторму Arena, которая проработает всего три дня, начиная с 5:00 по Москве 19 апреля. Пользователям необходимо оставить заявку на официальном сайте
arena.openai.com посредством Steam, указать электронную почту, регион и выбрать один или несколько режимов игры — так команда OpenAI сможет заранее узнать сколько вычислительных мощностей потребуется на первом публичном тесте алгоритмов.


Ранее, 13 апреля, OpenAI устроила показательный матч искусственного интеллекта OpenAI Five против чемпионов The International 8. Нейросеть победила команду OG, действующих чемпионов мира по Dota 2, с разгромным счётом 2:0. Теперь коллектив разработчиков OpenAI хочет изучить поведение алгоритма против обычных игроков, не скованных турнирными правилами.

DotA 2 | Боты OpenAI разгромили команду людей

Команда ботов OpenAI всухую обыграла команду бывших профессиональных игроков и аналитиков, матч завершился со счетом 2:0 в «одну калитку».

Состав команды людей(Team Human):

За людей болел Илон Маск:

По ходу матча искусственный интеллект прогнозировал вероятность собственной победы: если в начале шансы были «всего» 95%, то после нескольких ключевых драк, боты были уверены уже на 99%. Боты также использовали фразы из колеса чата и подшучивали над противником.

Первая карта противостояния

Бот на всегда успевал прервать инициацию , превращая его в лягушку:

Итогом стала разгромная победа ботов OpenAI со счетом 39-8

Боты снова расправились с людьми менее чем за 25 минут, они грамотно комбинировали «дизейблы», не позволяя противникам выходить из стана:

Очередная победа ботов OpenAI со счетом 41-12, люди, вы хотя бы стараетесь?

Третья карта (ничего не решала, зрители выбирали героев для OpenAI)

Боты сразу оценили шансы на свою победу в 2,9%, они не уступали в начале игры, однако люди смогли набрать преимущество и победить:


OpenAI дает возможность побороться с OpenAI Five в Dota 2

В четверг OpenAI на три дня откроет доступ к платформе для игры в Dota 2 против OpenAI Five, который на прошлых выходных победил профессиональную киберспортивную команду OG. Исследователи отмечают, что успех модели обеспечило время обучения. На текущий момент модель обучается более 10 месяцев практически непрерывно. Итоговая версия бота обыгрывает прошлую в 99.9% случаев.

То, как модель воспринимает среду игры. В Dota количество параметров составляло 20,000

Что находится внутри бота

В основе OpenAI Five лежит Rapid — reinforcement learning система, разработанная в OpenAI, которая оптимизирует PPO (Proximal Policy Optimization). OpenAI предложили PPO алгоритм в 2020 году как более эффективную альтернативу существующим методам оптимизации. PPO отвечает за обновление параметры модели и выигрывает за счет упрощенной формулировки. Согласно исследователям, модель, в основе которой лежит PPO, сходится быстрее в сравнении с policy gradient алгоритмами. Однако детали экспериментов не раскрываются.

В архитектуре Rapid системы выделяются две основные части:

  • rollout workers, в которых происходит обучение модели;
  • оптимизационная часть, которая отвечает за обновление параметров модели.

Параметры модели записываются в отдельную базу.

Другим направлением экспериментов была попытка научить модель играть более чем 5 игроками (до 25 игроками). Исследователи заявляют, что модель с такими настройками не успела обучиться до профессионального уровня к чемпионату.

Опыт vs. Более сложная архитектура

Текущая версия модели получила опыт более 45,000 часов индивидуальной игры в Dota (в 3,5 раза больше, чем предыдущая версия). Исследователи отмечают, что именно опыт в большей степени помог алгоритму победить в соревнованиях. Чтобы этого достичь, ученые непрерывно обучали модель, несмотря на периодические изменения в архитектуре. Каждый раз после обновления архитектуры модель начинала обучаться на параметрах модели с прошлого шага.

Игровая Арена

В четверг 18 апреля OpenAI запускает OpenAI Five Arena, а закроется в воскресенье 21 апреля. Это открытый эксперимент, в котором может поучаствовать любой желающий. Пользователям будет позволено поиграть либо вместе с моделью, либо против нее. Чтобы успеть поучаствовать, необходимо зарегистрироваться по ссылке.


Следующие шаги

Компания планирует раскрыть детали реализации модели более подробно после запуска Арены. В OpenAI считают, что следующей задачей в deep reinforcement learning будет сокращение требуемой информации для успешного обучения модели.

Боты выносят людей в доту. OpenAI представила командный ИИ

Будущее уже здесь. OpenAI поделилась новыми подробностями о своей работе над ботами, играющими в Dota 2. И если год назад на The International 7 компания представила ИИ , который выносил лучших игроков планеты 1 на 1, то теперь она готова показать целую команду, способную соревноваться с профессиональными киберспортсменами. В блоге создатели OpenAI Five рассказали о том, что уже умеет пятерка компьютерных игроков, как она этому научилась и почему это намного сложнее, чем заставить ботов играть в шахматы или го.

Видео можно посмотреть на YouTube-канале OpenAI.

Что уже умеют OpenAI Five

Боты умеют драться. OpenAI Five оценивает положение каждого юнита в драке, мгновенно инициирует и не дает противнику реализовать свой потенциал. Боты могут загонять людей на свой хайграунд для эффективной защиты и рассчитывать использование способностей, чтобы зажать человека в конкретной области. А еще они могут убить вас, даже если не видят.

Они предсказывают ценность действий и байтят. После убийства одного или двух героев они понимают, что можно искать следующую цель и даже ловят «на живца».

OpenAI Five ищет соперников в лесу. От них сложно укрыться.

Они умеют ганкать. Боты тоже могут выйти на мид из-за куста и убить мидера-человека. Они готовят ловушки, как только человеческая команда предоставляет им необходимое пространство для маневра.

Они умеют фокусироваться на нужном сопернике. Боты способны по достоинству оценить важность вражеского героя и не пожалеть на него несколько ценных способностей, если это будет необходимо для победы. Например, в видео они использовали ультимейты для убийства Sniper, благодаря чему победили.

Боты могут преследовать даже без обзора. И не просто догонять соперника с низким уровнем здоровья, а с неплохой вероятностью предсказать его перемещения и убить его.

Боты могут жертвовать собой. OpenAI Five способна оценить ценность героев и действий, чтобы отдать сопернику на растерзание одного героя ради более ценной награды. Например, в ролике саппорт пожертвовал собой, отводя человека от его базы и позволяя своим тиммейтам-ботам забрать последний барак.


OpenAI знает, когда можно пожертвовать одной из линий. Например, они неоднократно отдавали сопернику свою собственную легкую линию, чтобы захватить контроль над сэйф-лейном противника, заставляя оппонентов драться в невыгодном положении. Уильям Blitz Ли рассказал, что он узнал об этой детали стратегии только через 8 лет на профессиональной сцене.

Боты быстрее переходят от ранней к средней стадии игры. Все потому что они эффективнее ганкают и быстрее соображают, чтобы собраться впятером и забрать первые вышки. Противники не успевают откликнуться и обороняться.

Боты умеют отклоняться от заданной стратеги. Если это будет необходимо, то они начнут отдавать фарм и опыт саппортам. Главная цель ботов — просто быстрее достигнуть своего пика урона и захватить преимущество.

Правда, пока умеют играть только ограниченным количеством героев. Пока что в их арсенале есть Necrophos, Sniper, Viper, Crystal Maiden и Lich. Они играют матчи против зеркального пика. Потому что не все сразу.

OpenAI Five использует не все возможности Dota 2. Пока что боты не умеют вардить, не знают о Рошане и не пользуются невидимостью или сканом. Им запрещено покупать Divine Rapier, Bottle, Quelling Blade, Boots of Travel, Tome of Knowledge, Infused Raindrop.

Как устроен OpenAI и как ИИ проходил обучение

180 лет — именно столько игр проводит по времени OpenAI Five каждый день. Таким массивом данных не обладает ни один из профессиональных игроков на планете. В основе OpenAI Five лежит расширенная версия Proximal Policy Optimization (подробнее читайте тут). Вся эта система работает на 256 графических картах и 128 тыс. процессоров.

Для каждого героя (бота) используется раздельная LSTM-сеть. LSTM (long short-term memory) — долгая краткосрочная память. Она является разновидностью архитектуры рекуррентных нейронных сетей (РНС). Проще говоря, создатели OpenAI Five используют модель обучения, в которой нейроны обмениваются информацией между собой. В результате обмена не только новых, но и предыдущих состояний в сети создается «память». Чтобы лучше понять устройство LSTM-сетей, советуем прочитать вот этот текст на GitHub.

Каждая LSTM-сеть анализирует окружающую среду. То есть ландшафт, постройки, героев и многое другое. Однако не так давно боты не реагировали на некоторые способности. Например, они не обращали внимания на «шрапнель» Sniper, потому что «не видели» ее. Теперь они научились избегать и обходить ее.

OpenAI Five накапливает опыт следующим образом: каждый «агент» проводит 80% игр против своей нынешней версии и 20% против прошлой. Так разработчики постарались избежать проблем со стратегиями команды. Если в первом матче герои бесцельно шастали по карте, то после нескольких часов обучения у них возникали такие понятия, как стадия лайнинга, фарм и борьба за мид. Через несколько дней они использовали базовые стратегии игроков: попробовать украсть баунти руну у соперника, дойти до первой вышки, чтобы пофармить, и перемещаться по карте, чтобы получить преимущество на стадии лайнинга. Постепенно ИИ учился более сложным стратегиям, как пуш всей командой.

В распоряжении OpenAI Five было пять типов людей-соперников.

1. Команда сотрудников OpenAI (в среднем 2,5k MMR)
2. Лучшие зрители, которые следили за матчем сотрудников OpenAI (4-6k MMR игроки, которые не выступали в команде. Среди них англоязычный комментатор и бывший про-игрок Blitz)
3. Команда сотрудников Valve (2-4k MMR)
4. Любительская команда (4.2k MMR)
5. Полупрофессиональная команда (5,5k MMR)

15 мая OpenAI была сравнима с первым соперником, выиграв одну карту и проиграв вторую. 6 июня улучшенная версия ботов без проблем обыграла 1-3 команды. Затем создатели OpenAI попробовали провести тренировочные матчи с действующими командами. Они ожидали поражения, но выиграли две из трех игр в каждой серии.


28 июня разработчики проведут показательный матч против топовых игроков. Игру можно будет посмотреть на Twitch.

Сюрпризы, на которые наткнулись создатели в процессе разработки

Боты учились медленнее, когда наградой была победа или поражение, а не убийство крипов, как в первоначальной версии для режима 1 на 1.

Любителей можно обыгрывать, даже если в системе есть ошибки. Разработчики постоянно работают над их исправлением. Но пока это критически не сказывается на функционировании всей системы.

Научиться блокировать крипов можно и без чужой помощи. Один из разработчиков оставил ботов играть 2 на 2, а сам уехал в отпуск. Он хотел посмотреть, как продолжительная тренировка повысит их мастерство. В итоге боты научились самостоятельно блокировать крипов.

Это намного сложнее, чем шахматы или го

Dota 2 предполагает расчет огромного количества действий. Если партия в шахматы обычно заканчивается в среднем за 40 ходов (в го — до 150 ходов), то в Dota 2 нужно принять в среднем 20 тыс. решений. OpenAI анализирует каждый четвертый фрейм в игре.

В шахматах и го перед игроками находится вся игровая площадка, которую можно оценить в любой момент времени. В Dota 2 большая часть карты покрыта туманом войны, так что решения приходится принимать на основе частичных данных, просто моделируя возможные действия соперников.

Система OpenAI дискретизирует 170 тыс. различных действий для каждого героя, а в течение одного тика она оценивает около 1000 возможных действий. В шахматах требуется оценить 35 действий, а в го — 250.

Кроме того, Dota 2 — это комплексная игра, которая развивалась в течение более чем 10 лет. К тому же, каждый две недели в ней выходят обновления, к которым OpenAI также нужно подстраиваться наравне с игроками-людьми.

OpenAI Five быстрее человека

Во-первых, OpenAi имеет мгновенный доступ ко всей доступной информации на карте. Пока человеку вручную нужно проверить количество здоровья и маны, компьютер уже получил и проанализировал эту информацию.

В минуту OpenAI совершает по 150-170 действий в минуту (и это еще не его максимум). Чтобы идеально попасть в тайминги, игроку-человеку нужна тренировка, а машина эта уже умеет и считает нормой. В среднем OpenAI Five реагирует за 80 мс, что быстрее человеческой реакции.

Надеемся, что в конечном итоге эти роботы не поймут, что самый верный способ победить человека в доту — это не пустить его за компьютер.

Мастер Йода рекомендует:  Обучение ИИ на примере Sonic the Hedgehog алгоритм NEAT
Добавить комментарий
ana
Topson
7Mad
JerAx
N0tail
ШОУ-МАТЧ
best-of-3

0:2
ana (топ)
Topson (мид)
7Mad (бот)
JerAx (бот)
N0tail (топ)
OpenAI 1 (топ)
OpenAI 2 (бот)
OpenAI 3 (бот)
OpenAI 4 (мид)
OpenAI 5 (топ)
ana (топ)
Topson (мид)
7Mad (бот)
JerAx (бот)
N0tail (топ)
OpenAI 1 (бот)
OpenAI 2 (бот)
OpenAI 3 (топ)
OpenAI 4 (топ)
OpenAI 5 (мид)