Unity представила новую версию ML-Agents


Unity представила новую версию ML-Agents

Нажимая кнопку «Зарегистрироваться с помощью ВК», «Зарегистрироваться с помощью ТГ» или «Зарегистрироваться», вы соглашаетесь с правилами и требованиями пользовательского соглашения.

Вход в сервис

Нажимая кнопку «Войти с помощью ВК», «Войти с помощью ТГ» или «Войти», вы соглашаетесь с правилами и требованиями пользовательского соглашения.

Наш паблик ВКонтакте

Подпишись на наш паблик ВКонтакте, чтобы самым первым получать свежие новости, узнавать об акциях и скидках.
Ну и просто быть умничкой :3

Телеграм канал ‘GameDEV’
  • Общая статистика
  • Детальная статистика
  • Эффективность размещения
  • Instagram ADS
  • Графики динамики
  • Аналитика аудитории
  • Youtube-размещения

1’356 подписчиков
0 просмотров на пост

Канал о разработке игр.

Новости игровой индустрии, полезные статьи, обучение разработке и многое другое.

По всем вопросам — @qween13

Детальная рекламная статистика будет доступна после прохождения простой процедуры регистрации

  • Детальная аналитика 70’046 каналов
  • Доступ к 28’004’146 рекламных постов
  • Поиск по 112’332’059 постам
  • Отдача с каждой купленной рекламы
  • Графики динамики изменения показателей канала
  • Где и как размещался канал
  • Детальная статистика по подпискам и отпискам

Найдено 235 постов

​​Оригинальную Shadow Warrior отдают бесплатно

Магазин GOG.com в качестве очередного подарка посетителям выбрал классический фантастический шутер Shadow Warrior, вышедший в 1997 году. В издание Shadow Warrior Classic Complete помимо оригинальной игры вошли два дополнения, Wanton Destruction и Twin Dragon, а также руководство и саундтрек. Русский язык игра не поддерживает.

EZ Camera Shake

В этой статье я опишу работу с плагином EZ Camera Shake.

Его можно использовать для создания множества эффектов, начиная от коротких, таких как взрывы, до продолжительных, таких как землетрясения.

Разработчик The End is Nigh использовал статистику «ачивок», чтобы получить данные о продажах игры

На днях представитель Valve заявил, что компания была недовольна точностью предоставляемых данных о количестве владельцев игр и сейчас обдумывает создание нового инструмента для получения данных о продажах. Оказалось, что не только Valve не устраивают получаемые из Steam числа — один из разработчиков The End is Nigh Тайлер Глэйел поделился кодом, который улучшит точность получаемых данных о количество покупателей разных игр в Steam.

​​СМИ: Джим Керри исполнит роль доктора Эггмана в экранизации «Соника»

Издание Deadline сообщает, что Джим Керри исполнит роль в экранизации франшизы Sonic the Hedgehog. Комику достанется амплуа главного злодея всей серии — человека по имени Robotnik, он же Dr. Eggman.

Unity подвела итоги конкурса 3D-игр Proxi Art Challenge

19 марта Gallium Artists запустили Proxi Art Challenge на Unity Connect с намерением найти талантливого 3D-артиста, чтобы присоединиться к их команде. Менее чем за 3 месяца участникам конкурса требовалось превратить три личных воспоминания в 3D-игры.

Команда из Gallium Artists и всей судейской коллегии была ошеломлена качеством и талантом, который живет в сообществе Unity. Просмотреть все проекты-победители вы можете в этой статье.

#news #unity #challenge

30 дней спустя: инфографика и итоги выпуска игры в Steam

28 мая разработчики независимой студии GameLiberty, выпустили свой дебютный проект. Это цифровая настольная игра под названием Fated Kingdom, основная особенность которой заключается в отсутствии строго-запрограммированного игрового процесса.

В этой статье они описывают свой опыт продивжения игры в Steam, продажи игры, работу с прессой и многое другое.

DevGAMM 2020: Большой зарплатный опрос

Компания VALUES VALUE провела второй по счету зарплатный опрос русскоязычного геймдева, в котором любой желающий может анонимно указать свою должность и заработную плату. Ознакомится с результами этого опроса, а также узнать сколько получают работники игровой индустрии вы можете посмотрев видео ниже.

Лучшие игровые движки 2020: плюсы и минусы

Прежде, чем приступить к разработке игры, делаете ли вы ее на профессиональном уровне, или же решили попробовать в первый раз, один из важнейших вопросов, который встает перед вами — это выбор движка. На данный момент в мире существует огромное количество игровых движков. Среди них Unreal Engine, Unity, CryEngine, Godot и множество других. Мы остановимся на спецификациях, пожалуй, самых популярных — это Unreal Engine и Unity.

Мы не будем утомлять вас чересчур подробными техническими деталями, а скорее предлагаем краткий экскурс в мир движков, на которых в наше время собирается большая часть игр. Если вы новичок в геймдеве — этот материал подойдет вам идеально.

​​В Dark Souls 3 мог появиться режим «Королевской битвы»

Датамайнер Лэнс Макдональд хорошенько покапался в файлах Dark Souls 3 и обнаружил добрую порцию невыпущенного контента для мультиплеера. По всей видимости, на определенном этапе разработки у From Software была идея создать отдельные игровые локации для масштабных PVP-баталий. На это указывает найденный в файлах игры предмет «Церемониальный меч тьмы». В описании значилось, что с помощью него происходила «церемония лунного света», которая погружала мир в мрачную атмосферу, схожую с Темным Анор Лондо в первой части игры. Также в файлах был найден «Меч огня», который позволял бы игрокам вторгаться в созданный темный мир. На примере одной из первых локаций — «Высокой стены Лотрика», Лэнс Макдональд демонстрирует как бы выглядела обстановка для массовых PVP.

Однако самой интересной находкой стал «Церемониальный меч затмения королевской битвы». Изначально предмет должен был появится в японской версии игры. Вероятно, разработчики планировали использовать темный мир, как отдельную локацию, где игроки смогли бы без ограничений убивать друг друга.

Русскоязычные книги по Unity

Если вы новичок и не знали с чего начать или ищите хорошие материалы для поднятия своего скила, то книга это отличный вариант.

В этой статье представлены все русскоязычные книги по Unity, начиная с основ разработки и доходя до таких тем как Шейдеры и VR.

Бесплатные выходные Destiny 2

На PlayStation 4 стартуют бесплатные выходные. Весь контент игры будет доступен владельцам консоли с 29 июня по 2 июля.

Fallout 76 рассказывает о пользе ядерных боеголовок

В Fallout 76 у игроков будет возможность раздобыть коды от ядерных ракет, которыми затем можно превратить чье-нибудь поселение в выжженный радиацией кратер, кишащий всевозможными формами агрессивно настроенной жизни.

Игра появится на персональных компьютерах, PS4 и Xbox One 14 ноября этого года.

​​Unity: Введение в Entity Component System и C# Job System

В этом посте речь пойде о недавно вышедших видеоуроках от Unity на их официальном канале. К сожалению они не выложили тестовый проект, который рассматривался в их видео, поэтому предлагаю вам свою реализацию.


Для начала, что же такое ECS?
ECS предоставляет способ написания программного кода, сосредоточенный на решаемых вами фактических проблемах: данных и поведении, составляющих вашу игру.

Помимо лучшего подхода к игровому программированию по соображениям дизайна, использование ECS ставит вас в идеальное положение для использования системы задач Unity C# и компилятора Burst Compiler, позволяя вам воспользоваться всем преимуществом современных многоядерных процессоров.

#news #unity #example

Новые подробности The Elder Scrolls VI

Несколько дней назад Тодд Говард сообщил, что знает примерную дату выхода The Elder Scrolls VI.

Что ж, теперь творческий руководитель Bethesda Game Studios пошёл чуть дальше и сообщил (вполне ожидаемо), что разработчики знают и место действия игры. Да и все фанаты могут и сами легко вычислить местность, уверен продавец «Скайрима».

При этом когда Говарда спросили, а не Хаммерфелл ли это, он предпочёл воздержаться от ответа.

Unity представила новую версию ML-Agents

Разработчики Unity объявили о выходе обновления инструмента ML-Agents v0.4, которое позволяет проводить обучение напрямую из окна редактора. Также стал доступен более широкий спектр условий и алгоритмов, благодаря чему агенты теперь могут изучать ранее не доступные задачи. Все нововведения представлены в git-репозитории проекта.

Игровые разработчики рассказали о своих ошибках на работе

Иногда в твиттере появляются по-настоящему замечательные треды. На сей раз речь пойдет об ошибках на работе, потому что, в конце концов, никто от них не защищен.

Тред запустил бывший сотрудник Firaxis и Zenimax Ден Перри. Он рассказал о том, как в первый день работы над своей второй ААА обрушил тестовый сервер компании сломанным файлом. Коллеги поддержали его и поделились своими историями.

Как сделать музыку для игры

В этой статье будут рассмотрены принципы создания музыки, а также основы работы с FL Studio

FL Studio — это один из инструментов, с помощью которого вы можете создавать невероятные саундтреки для своих игр. Представляя более чем 20-летнюю инновационную разработку, у нее есть все, что вам нужно, в одном пакете, чтобы составлять, организовывать, записывать, редактировать, смешивать и осваивать музыку профессионального качества.

Новым героем Overwatch стал. хомяк?

Последнюю неделю Blizzard тизерила нового героя Overwatch на практически статичном фоне со стеной — однако время намёков, похоже, прошло, и разработчики представили нового героя командного шутера. Им стал милый хомяк, управляющий шарообразным роботом.
Не стоит, правда, исключать, что американская компания продолжает дразнить поклонников. Всё-таки анонс персонажа оказался сумбурным — всего лишь 10-секундный ролик и описание «Чемпион прибыл». Пока Blizzard напрямую не сообщает, что это действительно новый герой Overwatch.

Создание следов от выстрелов на персонажах в Unreal Engine 4

Том Луман из Epic Games в своём блоге рассказал, как сделать так, чтобы на персонажах в Unreal Engine 4 оставались следы от выстрелов. Метод накладывает некоторые ограничения, зато не использует много ресурсов системы. Мы выбрали главное из руководства.

Количество активных игроков в Pokemon Go в мае достигло максимума за два года

Больше пользователей было только после запуска игры летом 2020-го.
По данным аналитической фирмы SuperData, число активных игроков в мобильную Pokemon Go в мае 2020 года достигло рекордного значения с лета 2020-го, когда игра была официально запущена.

Страница поста от канала IT Новости

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме

Пожаловаться

Обращаем внимание, что мы не несем ответственности за содержимое(content) того или иного канала размещенный на нашем сайте так как не мы являемся авторами этой информации и на сайте она размещается в автоматическом режиме

Machine Learning Agents.

Машинное обучение агентов в Unity.

Эта статья об агентах машинного обучения в Unity написана Майклом Лэнхемом — техническим новатором, активным разработчиком под Unity, консультантом, менеджером и автором многих игр на движке Unity, графических проектов и книг.

Мастер Йода рекомендует:  Интерфейс PHP

Разработчики Unity внедрили поддержку машинного обучения и в частности глубинного обучения с подкреплением ради создания SDK глубинного обучения с подкреплением (deep reinforcement learning, DRL) для разработчиков игр и симуляций. К счастью, команда Unity под руководством Дэнни Лэнджа успешно реализована надёжный и современный движок DRL, способный показывать впечатляющие результаты. В качестве основы движка DRL Unity использует модель proximal policy optimization (PPO); эта модель значительно сложнее и в некоторых аспектах может отличаться.

В этой статье я познакомлю вас с инструментами и SDK для создания агентов DRL в играх и симуляциях. Несмотря на новизну и мощь этого инструмента, его легко использовать и он имеет вспомогательные инструменты, позволяющие осваивать концепции машинного обучения на ходу. Для работы с туториалом необходимо установить движок Unity.

Установка ML-Agents

В этом разделе я вкратце расскажу о тех шагах, которые необходимо сделать для установки ML-Agents SDK. Этот материал пока находится в состоянии беты и может меняться от версии к версии. Выполните следующие шаги:

1 Установите на компьютер Git; он работает из командной строки. Git — это очень популярная система управления исходным кодом, и в Интернете есть множество ресурсов об установке и использовании Git на разных платформах. После установки Git, убедитесь, что она работает, создав клон любого репозитория.

2. Откройте командную строку или обычную оболочку. Пользователи Windows могут открыть окно Anaconda.

3. Перейдите в рабочую папку, в которую вы хотите поместить свой новый код, и введите следующую команду (пользователи Windows могут выбрать C:\ML-Agents):

4. Так вы клонируете репозиторий ml-agents на свой компьютер и создадите новую папку с тем же именем. Можно также добавить к названию папки номер версии. Unity, как и почти весь мир искусственного интеллекта, постоянно меняется, по крайней мере, сейчас. Это означает, что постоянно появляются новые изменения. На момент написания статьи мы клонируем репозиторий в папку ml-agents.6:

5. Создайте новую виртуальную среду для ml-agents и укажите версию 3.6, вот так:

#Windows
conda create -n ml-agents python=3.6

#Mac
Use the documentation for your preferred environment

6. Активируйте среду снова с помощью Anaconda:

7. Установите TensorFlow. В Anaconda это можно сделать следующей командой:

pip install tensorflow==1.7.1

8. Установите пакеты Python. В Anaconda введите следующее:

cd ML-Agents #from root folder
cd ml-agents or cd ml-agents.6 #for example
cd ml-agents
pip install -e . or pip3 install -e.

9. Так вы установите все необходимые для Agents SDK пакеты; это может занять несколько минут. Не закрывайте окно, скоро оно нам пригодится.

Так мы выполнили установку и настройку Unity Python SDK для ML-Agents. В следующем разделе мы узнаем, как настроить и обучить одну из множества сред, предоставляемых Unity.

Обучение агента

Теперь мы можем сразу приступить к делу и изучить примеры, в которых применяется глубинное обучение с подкреплением (DRL). К счастью, в составе тулкита нового агента есть несколько примеров для демонстрации мощи движка. Откройте Unity или Unity Hub, и выполните следующие действия:

1 Нажмите на кнопку Open project в верхней части диалогового окна Project.

2. Найдите и откройте папку проекта UnitySDK, как показано на скриншоте:

3. Дождитесь загрузки проекта, а затем откройте окно Project в нижней части редактора. Если откроется окно с запросом обновления проекта, то выберите yes или continue. На данный момент весь код агента имеет обратную совместимость.

4. Найдите и откройте сцену GridWorld, как показано на скриншоте:

5. Выберите в окне Hierarchy объект GridAcademy.

6. Перейдите к окну Inspector и рядом с полем Brains нажмите на значок, чтобы открыть диалоговое окно выбора Brain:

7. Выберите «мозг» GridWorldPlayer. Этот мозг принадлежит игроку, то есть игрок (вы) может управлять игрой.

8. Нажмите кнопку Play в верхней части редактора и понаблюдайте за средой. Так как игра сейчас настроена на управление игроком, вы можете использовать клавиши WASD для перемещения куба. Задача заключается в перемещении синего куба к зелёному символу +, избегая при этом красного X.

Освойтесь в игре. Заметьте, что игра работает только определённый промежуток времени и не является пошаговой. В следующем разделе мы узнаем, как запустить этот пример с агентом DRL.

Что в мозгу?

Один из потрясающих аспектов платформы ML-Agents заключается в возможности быстро и без проблем переключаться от управления игроком к управлению ИИ/агентом. Для этого Unity использует концепцию «мозга» (brain). Мозг может управляться или игроком, или агентом (обучающийся мозг). Самое потрясающее в том, что вы можете собрать игру и протестировать её как игрок, а затем отдать её под управление RL-агента. Благодаря этому любую написанную игру ценой небольших усилий можно заставить управляться с помощью ИИ.

Процесс настройки и запуска обучения RL-агента в Unity довольно прост. Для построения модели обучающегося мозга Unity использует внешний Python. Использование Python имеет огромный смысл, потому что уже существует несколько построенных на его основе библиотек глубинного обучения (DL). Для обучения агента среде GridWorld выполните следующие шаги:

1.Снова выберите GridAcademy и выберите в поле Brains вместо GridWorldPlayer мозг GridWorldLearning:

2. Поставьте справа флажок Control. Этот простой параметр сообщает, что мозг может контролироваться снаружи. Эта опция обязательно должна быть включена.

3. Выберите в окне Hierarchy объект trueAgent, а затем в окне Inspector измените свойство Brain в компоненте Grid Agent на мозг GridWorldLearning:

4. В этом примере нам нужно, чтобы и Academy, и Agent использовали одинаковый мозг GridWorldLearning. Переключитесь на окно Anaconda или Python и выберите папку ML-Agents/ml-agents.


5. Выполните в окне Anaconda или Python следующую команду, воспользовавшись виртуальной средой ml-agents:

mlagents-learn config/trainer_config.yaml — run- >

6. Так вы запустите модель обучения Unity PPO и пример агента с указанной конфигурацией. На определённом этапе окно командной строки попросит запустить редактор Unity с загруженной средой.

7. Нажмите Play в редакторе Unity, чтобы запустить среду GridWorld. Вскоре после этого вы должны будете увидеть обучение агента и вывод результатов в окно скрипта Python:

8. Заметьте, что скрипт mlagents-learn — это код на Python, который строит RL-модель для запуска агента. Как вы видите из выходных данных скрипта, существует несколько параметров (гиперпараметров), которые нужно сконфигурировать.

9. Позвольте агенту поучиться несколько тысяч итераций и заметьте, насколько быстро он обучается. Используемая здесь внутренняя модель под названием PPO проявила себя как очень эффективная для множества разных задач модель обучения, и она очень хорошо подходит для разработки игр. При достаточно мощном оборудовании агент может идеально обучиться менее чем за час.

Позвольте агенту обучаться дальше и изучите другие способы отслеживания процесса обучения агента, представленные в следующем разделе.

Мониторинг обучения с помощью TensorBoard

Обучение агента при помощи модели RL или любой модели DL часто является непростой задачей и требует внимания к деталям. К счастью, в TensorFlow есть набор инструментов построения графиков под названием TensorBoard, который можно использовать для мониторинга процесса обучения. Для запуска TensorBoard выполните следующие действия:

1 Откройте окно Anaconda или Python. Активируйте виртуальную среду ml-agents. Не закрывайте окно, в котором запущена модель обучения; нам нужно, чтобы оно продолжалось.

2. Перейдите в папку ML-Agents/ml-agents и выполните следующую команду:

3. Так мы запустим TensorBoard на собственном встроенном веб-сервере. Вы можете загрузить страницу при помощи URL, который показан после предыдущей команды.

4. Введите URL для TensorBoard, как показано в окне, или введите в браузере localhost:6006 или machinename:6006. Спустя примерно час вы должны увидеть нечто подобное:

5. В предыдущем скриншоте показаны графики, каждый из которых отображает отдельный аспект обучения. Чтобы понять, как обучается наш агент, нужно разобраться с каждым из этих графиков, поэтому мы проанализируем выходные данные из каждого раздела:

  • Environment: в этом разделе показано, как агент проявляется себя в среде в целом. Ниже показан более подробный вид графиков с предпочтительным трендом:

6. Оставьте агента выполнять до завершения и не закрывайте TensorBoard.
7. Вернитесь в окно Anaconda/Python, которое обучало мозг, и выполните такую команду:

mlagents-learn config/trainer_config.yaml —run- >

8. Вас снова попросят нажать Play в редакторе; так и сделайте. Позвольте агенту начать обучение и провести несколько сессий. В процессе этого следите за окном TensorBoard и замечайте, как отображается на графиках secondRun. Можете позволить этому агенту выполняться до завершения, но при желании можно его и остановить.

В предыдущих версиях ML-Agents нужно было сначала собрать исполняемый файл Unity как среду обучения игры, а затем запустить его. Внешний мозг Python должен был работать так же. Этот способ очень усложнял отладку проблем в коде или в игре. В новой методике все эти сложности были устранены.

Теперь, когда мы увидели, как легко настроить и обучить агента, перейдём к следующему разделу, в котором узнаем, как можно запустить агента без внешнего мозга Python и выполнять его напрямую в Unity.

Запуск агента

Обучение Python проходит отлично, но в реальной игре его использовать нельзя. В идеале мы бы хотели построить график TensorFlow и использовать его в Unity. К счастью, была создана библиотека TensorFlowSharp, позволяющая .NET использовать графики TensorFlow. Это позволяет нам строить офлайновые модели TFModels, а позже инъектировать их в игру. К сожалению, мы можем использовать только обученные модели, но не обучать их таким образом, по крайней мере, пока.

Давайте посмотрим, как это работает, на примере графика, который мы только что обучили для среды GridWorld; используем его как внутренний мозг в Unity. Выполните действия из следующего раздела для настройки и использования внутреннего мозга:

1 Скачайте плагин TFSharp отсюда

2. В меню редактора выберите Assets | Import Package | Custom Package…

3. Найдите только что скачанный пакет ассета и используйте диалоговые окна импорта для загрузки плагина в проект.

4. В меню выберите Edit | Project Settings. Откроется окно Settings (появилось в версии 2020.3)

5. Найдите в Player options символы Scripting Define Symbols и измените текст на ENABLE_TENSORFLOW, а также включите Allow Unsafe Code, как показано на скриншоте:

6. Найдите объект GridWorldAcademy в окне Hierarchy и убедитесь, что он использует Brains | GridWorldLearning. Отключите в разделе Brains скрипта Grid Academy опцию Control.

7. Найдите мозг GridWorldLearning в папке Assets/Examples/GridWorld/Brains и убедитесь, что параметр Model в окне Inspector задан, как показано на скриншоте:

8. В качестве модели уже должна быть задана GridWorldLearning. В этом примере мы используем TFModel, поставляемую с примером GridWorld.

9. Нажмите Play, чтобы запустить редактор и посмотреть, как агент управляет кубом.

Сейчас мы запускаем среду с заранее обученным мозгом Unity. В следующем разделе мы узнаем, как использовать мозг, который мы обучили в предыдущем разделе.

Загрузка обученного мозга

Во всех примерах Unity есть заранее обученные мозги, которые можно использовать для исследования примеров. Разумеется, мы хотим иметь возможность загружать собственные графы TF в Unity и запускать их. Для загрузки обученного графа выполните следующие действия:

1 Перейдите в папку ML-Agents/ml-agents/models/firstRun-0. Внутри этой папки есть файл GridWorldLearning.bytes. Перетащите этот файл в папку Project/Assets/ML-Agents/Examples/GridWorld/TFModels внутри редактора Unity:

2. Так мы импортируем граф в проект Unity как ресурс и переименуем его в GridWorldLearning 1. Движок делает это, потому что модель по умолчанию уже имеет такое же имя.

Мастер Йода рекомендует:  12 основных плагинов для разработчиков WordPress

3. Найдите в папке с мозгами GridWorldLearning, выберите его в окне Inspector и перетащите новую модель GridWorldLearning 1 в поле Model параметров Brain Parameters:

4. На этом этапе нам не нужно менять никаких других параметров, но уделите особое внимание тому, как сконфигурирован мозг. Пока нам подойдут стандартные настройки.

5. Нажмите Play в редакторе Unity и посмотрите, как агент успешно движется по игре.

6. Успешность агента в игре зависит от времени его обучения. Если вы позволите ему завершить обучение, то агент будет аналогичен к полностью обученному агенту Unity.

Unity ML Agents — простая логика «и» пример ворот «- эпизод не был завершен

Я пытаюсь создать действительно простой пример, когда я тренирую агента с «и» значениями затвора, т.е.

Я знаю, что это действительно странный тестовый проект, но мне нужно проверить, что я могу использовать ML для оценки данных, не требуя игровых объектов.

Я следил за примером «Basic», включенным в этот проект, но я не могу заставить его работать. Я разместил свой код ниже. Любая помощь приветствуется.

ОБНОВЛЕНИЕ Извините, что забыл упомянуть, я следил за руководством по установке на странице ml gitHub на моем маке и устанавливал файл python, поэтому я просто запускаю «mlagents-learn config/trainer_config.yaml —run- >

В окне терминала я получаю обратную связь в процессе обучения, сначала все работает нормально, так как я получаю распечатку с вознаграждением, но затем на следующей распечатке говорится, что «нет эпизода с момента последнего резюме», но у меня есть не знаю, что это значит или в чем проблема.

У меня есть мозг и академия на сцене по мере необходимости, поскольку я следовал примеру «Basic» в проекте ml ml, но по какой-то причине он не работает, но все примеры делают это, я предполагаю, что это что-то в моем коде, а не моя конфигурация, но я не могу понять, что.

В Unity представили игру для обучения искусственного интеллекта

Компания Unity анонсировала выход новой игры, которая предназначена не для людей. Она называется Obstacle Tower и создана для оценки «ума» ИИ-агентов. В игре все уровни генерируются процедурным методом, что создаёт каждый раз новые препятствия для системы. Это не позволит искусственному интеллекту просто запомнить прохождение.

Новая система будет вынуждать ИИ каждый раз создавать иную стратегию прохождения, что должно улучшить машинное обучение. Также в компании объявили о призе в 100 тысяч долларов, что должно мотивировать исследователей в области ИИ на эксперименты с игрой.

Система будет официально запущена с 11 февраля. Для работы предлагается Unity ML-Agent Toolkit. При этом отметим, что уже многие игры используются для обучения и тренировки ИИ. Ранее разработчики использовали GTA 5, чтобы научить нейросеть самостоятельно управлять автомобилем. А недавно ИИ сумел победить профессиональных игроков в StarCraft 2, так что популярную стратегию также можно считать уже освоенной.

В целом, использование игр считается отличным полигоном для обучения и тестирования ИИ, поскольку зачастую машине приходится самой разбираться с правилами виртуального мира. И хотя зачастую они непохожи на реальность, всё же принцип исследования схож.шаблоны для dle 11.2

Unity представила новую версию ML-Agents

Детали обновления

Пользователям стали доступны две новые среды обучения. Первая, под названием Walker, основана на физике человекоподобных кукол со множеством степеней свободы. Цель обучения заключается во взятии полного контроля над конечностями объекта и его беспрепятственном передвижении по прямой.

Задача агента в среде обучения Pyramids — добраться до золотых блоков на вершинах пирамид. Кирпич можно получить только при разрушении построек, но для их появления на поле нужно активировать случайно расположенную кнопку. После выполнения задания агент получает награду.

Кроме этого, разработчики внедрили дополнение для PPO-алгоритма, благодаря которому агенты могут награждать себя, опираясь на результат проделанной работы. По словам создателей, это нововведение является аналогом любознательности.

Также специалисты сделали возможным запуск процесса обучения прямо в редакторе Unity. Для старта достаточно активировать скрипт learn.py и начать работу. Это дополнение позволяет не тратить время на создание исполняемых файлов.

Кроме того, плагин TensorFlowSharp был обновлён до версии 1.7.1, благодаря чему теперь можно импортировать модели напрямую в Unity и использовать их в ML-Agents.

Обучающая программа

Совместно с Udacity компания запустила курс Deep Reinforcement Learning, который должен помочь начинающим разработчикам погрузиться во все тонкости машинного обучения. Программа курса включает в себя изучение математики, алгоритмов, подходов к обучению и основ работы с ML-Agents.

Как активировать лицензию Unity?


Подскажите, как активировать долбанную лицензию у Unity в Unity Hub?
Активация лицензии не проходит, постоянно отправляет на переактивацию.
Что пробовал:
1. Сносил все, удалял все папки в C:/Users, C:/ProgramData, C:/Program Files, чистил реестр — не помогло
2. Удалял отдельно файл лицензии из C:/ProgramData/Unity — не помогло
3. Сносил все, удалял папки, чистил реестр, пытался сделать ручную активацию, с отключением интернета и активацией через сайт https://license.unity3d.com/manual — не помогло, файл лицензии не загружался, выдавая ошибку «License file was not loaded».
4. Пробовал менять время, часовой пояс, автоматическую установку времени и даты (где-то на форумах находил такой вариант) — не помогло

Может кто знает, какие еще способы для активации есть?

  • Вопрос задан 01 мая
  • 2626 просмотров

ошибку, которую выдает, приведите.

И убедитесь в админке профиля на сайте юнити что ключ еще не активирован.

на чистовую все нормально активировалось, если не пробовать до этого кряки и фаилики не трогать.

а после кряков (на любую другую старую версию в том числе) — приходилось чистить и ставить юнити с нуля.

хотя не исключаю что накосячили в хабе что-то) бывает у разрабов юнити.

просто из любопытсва, вы качали хаб и из него ставили юнити?))
или вы качали Юнити, а потом оказалось что надо бы хаб поставить?))
скорее всего второй вариант дает сбой.

Getting started with ML agents in Unity [Tutorial]

In this tutorial, we will introduce you to Machine learning agents in Unity that helps with AI game development. ML agents help in training intelligent agents within the game in a fun and informative way.

The ML-Agents SDK is useful in transforming games and simulations created using the Unity Editor into environments for training intelligent agents. These ML agents are trained using deep Reinforcement Learning, imitation learning, neuroevolution, or other machine learning methods via Python APIs.

Machine learning has a huge role to play in the development of AI games. From self-driving cars, playing Go and Chess, to computers being able to beat humans at >

So, let’s get started!

Machine Learning in gaming

Games and simulations are no stranger to AI technologies and there are numerous assets available to the Unity developer in order to provide simulated machine intelligence. These technologies include content like Behavior Trees, Finite State Machine, navigation meshes, A* , and other heuristic ways game developers use to simulate intelligence. So, why Machine Learning and why now?

The reason is due in large part to the OpenAI initiative, an initiative that encourages research across academia and the industry to share ideas and research on AI and ML. This has resulted in an explosion of growth in new ideas, methods, and areas for research. This means for games and simulations that we no longer have to fake or simulate intelligence. Now, we can build agents that learn from their environment and even learn to beat their human builders.

ML-Agents in Unity

ML-Agents platform in Unity helps to build ML models that we can learn to play and simulate in various environments. Before we do that, let’s first pull down the ML-Agents package from GitHub using git. Jump on your computer and open up a command prompt or shell window and follow along:

  1. Navigate to your work or root folder (on Windows, we will assume that this is C:\):
  1. Execute the following command:
  1. This will create the folder ML-Agents . Now, execute the following:
  1. This uses git to pull down the required files for ML-Agents into a new folder called ml-agents. git will show the files as they are getting pulled into the folder. You can verify that the files have been pulled down successfully by changing to the new folder and executing:
  1. Right now, we are doing this to make sure that there are any files here. We will get to the specifics later.

Good—that should have been fairly painless. If you had issues pulling the code down, you can always visit the ML-Agents page on GitHub and manually pull the code down. Of course, we will be using more of git to manage and pull files, so you should resolve any problems you may have encountered.

Now that we have ML-Agents installed, we will take a look at one of Unity’s sample projects that ship with a toolkit in the next section.

Running a sample

Unity ships the ML-Agents package with a number of prepared samples that demonstrate various aspects of learning and training scenarios. Let’s open up Unity and load up a sample project and get a feel for how the ML-Agents run by following this exercise:

  1. Open the Unity editor and go to the starting Project dialog.
  1. Click the Open button at the top of the dialog and navigate to and select the ML-Agents/ml-agents/unity-environment folder, as shown in the following screenshot:
  1. This will load the unity-environment project into the Unity editor. Depending on the Unity version you are using, you may get a warning that the version needs to be upgraded. As long as you are using a recent version of Unity, you can just click Continue. If you do experience problems, try upgrading or downgrading your version of Unity.
  2. Locate the Scene file in the Assets/ML-Agents/Examples/3DBall folder of the Project window, as shown in the following screenshot:
  1. Double-click the 3DBall scene file to open the scene in the editor.
  2. Press the Play button at the top center of the editor to run the scene. You will see that the scene starts running and that balls are being dropped, but the balls just fall off the platforms. This is because the scene starts up in Player mode, which means you can control the platforms with keyboard input. Try to balance the balls on the platform using the arrow keys on the keyboard.
  3. When you are done running the scene, click the Play button again to stop the scene.

Setting the agent Brain

As you witnessed, the scene is currently set for the Player control, but obviously, we want to see how some of this ML-Agents stuff works. In order to do that, we need to change the Brain type that the agent is using. Follow along to switch the Brain type in the 3D Ball agent:

  1. Locate the Ball3DAcademy object in the Hierarchy window and expand it to reveal the Ball3DBrain object.
  2. Select the Ball3DBrain object and then look to the Inspector window, as shown in the following screenshot:
  1. Switch the Brain component, as shown in the preceding excerpt, to the Heuristic setting. The Heuristic brain setting is for ML-Agents that are internally coded within Unity scripts in a heuristic manner. Heuristic programming is nothing more than selecting a simpler quicker solution when a >You may need to adjust the Rotation Speed property, up or down, on the Ball 3D Decision (Script) . Try a value of .5 for a rotation speed if the Heuristics brain seems unable to effectively balance the balls. The Rotation Speed is hidden in the preceding screen excerpt.
  1. Click the Gear icon bes >Ball 3D Decision (Script) , and from the context menu, select Edit Script , as shown in the following screenshot:
  1. Take a look at the Decide method in the script as follows:
  1. Now, look at how simple the code is. This is the heuristic brain that is balancing the balls on the platform, which is fairly impressive when you see the code. The question that may just hit you is: why are we bothering with ML programming, then? The simple answer is that the 3D ball problem is deceptively simple and can be easily modeled with eight states. Take a look at the code again and you can see that only eight states are used ( 0 to 7 ), with each state representing the direction the ball is moving in. As you can see, this works well for this problem but when we get to more complex examples, we may have millions upon billions of states – hardly anything we could easily solve using heuristic methods.
Мастер Йода рекомендует:  6 простых советов по написанию чистого кода

Heuristic brains should not be confused with Internal brains. While you could replace the heuristic code in the 3D ball example with an ML algorithm, that is not the best practice for running an advanced ML such as Deep Learning algorithms.

We looked at the basics of machine learning in gaming and ML agents in Unity. This included shipping the ML-Agents package with a prepared sample that demonstrates various aspects of learning and training scenarios. We also looked at how to set up an agent brain.

If you found this post useful, be sure to check out the book ‘Learn Unity ML-Agents – Fundamentals of Unity Machine Learning’ to learn more other concepts such as creating an environment in Unity and Academy, Agent, and Brain objects in ML agents.

Deep Reinforcement Learning using Unity ml-agents

Last week I was doing some experimentations with two of my colleagues, Pedro Quintas, and Pedro Caldeira, using Unity ml-agents and I decided that this was a great moment to share our results with the community and show you how you can expand your knowledge of reinforcement learning.

If you don’t know what Unity ml-agents is, let me give you a brief introduction. Unity ml-agents is an “ open-source Unity plugin that enables games and simulations to serve as environments for training intelligent agents”. In my opinion, it’s a great framework to start learning about deep learning and reinforcement learning because it’s possible to actually see what’s happening instead of just seeing numbers and letters in a terminal.

Before I start showing our little project, let me show some of the scenarios already created by the framework.

Alright, now that you know what this tool does and how it looks, let’s talk about the project!

We used one of the agents created by Unity ml-agents. It is basically a spider but with only 4 legs. Then we created a platform for the little “spider” to move around.

That was just Unity building, let’s talk about reinforcement learning! In the beginning, as normal, the spider (agent) knew nothing beyond its position and direction on the platform. Since our goal was to have two spiders fighting each other (without telling them what to do), he had to somehow teach them. That’s when reinforcement learning comes into action. I’m going to assume if you are reading this article, you know the basic theory behind reinforcement learning. If you are new, here is a beginners guide!

So, like any normal “dumb agent”, we had to “teach” it. We taught our agents by giving good rewards when they had good behaviors and bad rewards when they had bad behaviors. After some trial and error, the agents finally knew how to stand up and walk! Basically, we gave bad rewards every time they touched with their body on the ground. Because if they have their body on the ground, it means that they don’t have their 4 legs on the ground or they are not making enough force on their legs. (Which they should do to be standing up). And by giving a bad reward, we were telling them that those behaviors weren’t good and they should avoid them.

Let’s recapitulate what we’ve so far:
— We created a Unity environment using ml-agents.
— We taught our spider to stand up, equilibrate on its foot and to walk.

The next step was to teach them to fight! To change the behavior of the spiders in order for them to fight, we had to change their rewards. So, if one of the spiders went out of the platform, or touched with the body on the ground it would receive a very bad reward.

Once again, if we didn’t give a good reward when they act as we wanted, they wouldn’t keep repeating those behaviors. So we gave them good rewards when one spider was facing the other and even a better reward when the spider was going in the direction of the other spider. This made the two spiders go in the direction of the other one and at some point, one of them would throw the other one out of the platform. (that’s just a simple example to demonstrate my point)

In addition, they learned by themselves that by punching the other one against the ground would make it win. So at the same point, they started “wrestling” each other. Which was an observation quite interesting.

In addition, we also tested our agents with a moving platform to create a more difficult environment:

If you want to replicate my results, here is more information about my observable vectors and reward function:

Observable Vectors

Information of the agent regarding itself:
— Agent’s information about its joints
— Agent’s up and forward vectors of body
— Agent’s position in the platform

Information regarding the opponent:
— Up andforward vectors of the opponent’s body
— Opponent’s position in the platform

Reward Function

  • Agents should be penalized for not being able to stand and should be rewarded for forcing their opponent to fall, this is the main objective of the agents.
  • Agents should be penalized for falling off the platform, but not rewarded. We want the agents to learn ways of fighting that do not involve knocking down the platform in specific ways for the opponent to drop slightly earlier.
  • Agents should be rewarded for going and pushing the opponent and should be penalized for pulling away or for letting themselves be pushed. This rewards an active fighting style and penalizes more evasive styles that involve running away from the opponent.

Based on the previous points, we create the following rearward:

  • If the agent is on the floor: -1.0 points
  • If the opponent is on the ground: +1.0 points.
  • If the agent is not on the platform: -1.0 points
  • 0.003(normalized_velocity( opponent_position — agent_position)) + 0.001 (forward_normalized(opponent_position — agent_position))

In the end, we tried to go even further and by using humanoids as agents. The difficulty grew exponentially because while the spider has 8 joints and the walker has 12. Which increases the total number of possible combinations of the movements. So, we ended up not having amazing results but it was pretty fun to watch:

Concluding, Unity ml-agents allows you to build some interesting thing very easily. I think it is a great way to start learning this subject. Feel free to share your questions and results with me!

As a next project in this area, I would like to create an environment for drone simulations and autonomous driving. If you have some ideas, hit me up!

Unity объявила о выходе обновления инструмента ML-Agents v0.4, которое позволяет проводить обучение напрямую из окна редактора

Разработчики Unity объявили о выходе обновления инструмента ML-Agents v0.4, которое позволяет проводить обучение напрямую из окна редактора. Также стал доступен более широкий спектр условий и алгоритмов, благодаря чему агенты теперь могут изучать ранее не доступные задачи. Все нововведения представлены в git-репозитории проекта.

Детали обновления

Пользователям стали доступны две новые среды обучения. Первая, под названием Walker, основана на физике человекоподобных кукол со множеством степеней свободы. Цель обучения заключается во взятии полного контроля над конечностями объекта и его беспрепятственном передвижении по прямой.

Задача агента в среде обучения Pyramids — добраться до золотых блоков на вершинах пирамид. Кирпич можно получить только при разрушении построек, но для их появления на поле нужно активировать случайно расположенную кнопку. После выполнения задания агент получает награду.

Кроме этого, разработчики внедрили дополнение для PPO-алгоритма, благодаря которому агенты могут награждать себя, опираясь на результат проделанной работы. По словам создателей, это нововведение является аналогом любознательности.

Также специалисты сделали возможным запуск процесса обучения прямо в редакторе Unity. Для старта достаточно активировать скрипт learn.py и начать работу. Это дополнение позволяет не тратить время на создание исполняемых файлов.

Кроме того, плагин TensorFlowSharp был обновлён до версии 1.7.1, благодаря чему теперь можно импортировать модели напрямую в Unity и использовать их в ML-Agents.

Обучающая программа

Совместно с Udacity компания запустила курс Deep Reinforcement Learning, который должен помочь начинающим разработчикам погрузиться во все тонкости машинного обучения. Программа курса включает в себя изучение математики, алгоритмов, подходов к обучению и основ работы с ML-Agents.

Unity вносит большой вклад не только в развитие игровой индустрии, но и во всю IT-отрасль. В марте 2020 года специалисты компании опубликовали исходный код своего игрового движка и редактора.

Добавить комментарий