MuZero - MuZero

MuZero Бұл компьютерлік бағдарлама әзірлеген жасанды интеллект зерттеу компаниясы DeepMind олардың ережелері туралы ештеңе білмей ойындарды меңгеру.[1][2][3] 2019 жылы алғашқы шығарылымында оның орындалуының эталондары болды жүр, шахмат, шоги, және стандартты люкс Атари ойындар. The алгоритм ұқсас тәсілді қолданады AlphaZero.Бұл AlphaZero-дің шахмат пен шоги бойынша көрсеткіштеріне сәйкес келді, оның көрсеткіштерін жақсартты Барыңыз (жаңа әлемдік рекорд орнату) және көрнекі-күрделі домен болып табылатын 57 Atari ойынының (Arcade Learning Environment) люкс жүйесін игерудегі заманауи жағдайды жақсартты.

MuZero өзін-өзі ойнау және AlphaZero-ға қарсы ойындар арқылы оқытылды, ережелер, кітаптар ашу немесе ойын үстелдеріне қол жеткізе алмады. Оқытылған алгоритмде AlphaZero сияқты конволюциялық және қалдық алгоритмдер қолданылған, бірақ іздеу ағашындағы бір түйінге есептеу қадамдары 20% -ға аз.[4]

Тарих

2019 жылдың 19 қарашасында DeepMind командасы а алдын ала басып шығару MuZero-ны енгізу.

AlphaZero-дан шығу

MuZero (MZ) - бұл AlphaZero (AZ) жоғары өнімді жоспарлауының жиынтығы алгоритм моделі жоқ арматураны оқыту тәсілдерімен. Комбинация Go сияқты классикалық жоспарлау режимдерінде тиімдірек оқуға мүмкіндік береді, сонымен бірге әр кезеңде визуалды видео ойындар сияқты әлдеқайда күрделі кірістермен домендерді басқарады.

MuZero тікелей AZ кодынан алынған және іздеуді орнату ережелерімен бөліседі гиперпараметрлер. Тәсілдер арасындағы айырмашылықтарға мыналар жатады:[5]

  • AZ жоспарлау процесінде симулятор (ойын ережелерін білетін және оны адам нақты бағдарламалаған болуы керек) және нейрондық желі (болашақ позицияның саясаты мен құндылығын болжайтын) қолданылады. Ойын ережелері туралы тамаша білім іздеу ағашындағы күй ауысуларын, әр түйінде болатын әрекеттерді және ағаш бұтағын тоқтатуды модельдеу кезінде қолданылады. MZ мінсіз ережелер жиынтығына қол жеткізе алмайды және оны жоғарыда аталған модельдеу үшін пайдаланылатын нейрондық желілермен алмастырады.
  • AZ ойынға арналған жалғыз модельге ие (тақта күйінен болжамға дейін); MZ үшін жеке модельдер бар өкілдік ағымдағы күй (басқарма күйінен оның ішкі енуіне дейін), динамика мемлекеттердің (іс-қимылдар басқарма мемлекеттерінің өкілдіктерін қалай өзгертеді) және болжау болашақ ұстанымның саясаты мен құндылығы (мемлекеттің өкілдігі берілген).
  • MZ-дің жасырын моделі күрделі болуы мүмкін және ол ондағы есептеуді кэштей алады; MZ-дің сәтті оқытылған үлгісіндегі жасырын модельдің бөлшектерін зерттеу болашақ зерттеуге арналған даңғыл жол болып табылады.
  • MZ жеңімпаздар барлығын қосатын екі ойыншы ойынын күтпейді. Ол арматураны үйренудің стандартты сценарийлерімен, соның ішінде үздіксіз аралық сыйақылармен, мүмкін ерікті мөлшермен және уақыт бойынша жеңілдіктермен бір агенттік орталармен жұмыс істейді. AZ тек жеңіске жетуге, тең түсуге немесе ұтылуға болатын екі ойыншыға арналған.

R2D2-мен салыстыру

Atari ойындарының сюитасын ойнауды үйренуге арналған арт-техниканың алдыңғы күйі R2D2 болған, Recurrent Replay Distributed DQN.[6]

MuZero ойындар жиынтығы бойынша R2D2 орташа және орташа өнімділігінен асып түсті, бірақ ол әр ойында жақсы бола алмады.

Оқыту және нәтижелер

MuZero 16 үшінші буынды қолданды тензорды өңдеу қондырғылары [TPUs] жаттығуға, және 1000 TPU-да өзін-өзі ойнауға арналған (үстел ойындары үшін, қадамына 800 симуляциясы бар) және 8 TPUs және өзін-өзі ойнауға арналған 32 TPU (Atari ойындарына, қадамына 50 симуляциясы бар).

AlphaZero жаттығу үшін 64 бірінші буындағы ТПУ-ны, ал өзін-өзі ойнату үшін 5000 екінші буын ТПУ-ын қолданды. TPU дизайны жақсарғандықтан (үшінші буын чиптері екінші буын чиптері сияқты 2 есе қуатты, әрі қарай өткізу қабілеттілігі алға жылжып, потоктағы чиптер бойынша желілер қосылады), бұл салыстырмалы түрде дайындық қондырғылары.

R2D2 5 күн ішінде 2М жаттығу кезеңдерінен өтті.

Алдын ала нәтижелер

MuZero AlphaZero-дің шахмат пен Шогидегі көрсеткіштерімен шамамен 1 миллион жаттығу қадамдарынан кейін сәйкес келді. Бұл 500 мың жаттығудан кейін AZ-дің Go-дегі көрсеткішіне сәйкес келді және оны 1 миллион сатыға озды. Бұл 500 мың жаттығу қадамдарынан кейін Atari ойындар жиынтығы бойынша R2D2 орташа және орташа өнімділігіне сәйкес келді және оны 1 миллион қадамға асырды; ол ешқашан сюитадағы 6 ойында жақсы нәтиже көрсеткен жоқ.[5]

Реакциялар және онымен байланысты жұмыс

MuZero AlphaZero-дан айтарлықтай алға басу ретінде қарастырылды,[7] және бақылаусыз оқыту техникасындағы алға жалпыланған қадам.[8][9] Бұл жұмыс таза машиналық дамудан гөрі жүйелік деңгейдегі кіші компоненттерден жүйелерді қалай құруға болатындығын түсіну ретінде қарастырылды.[10]

Әзірлеушілер тобы псевдокодты ғана шығарғанымен, Вернер Дювауд осыған негізделген ашық кодты іске асыруды жасады.[11]

MuZero басқа жұмыстарда анықтамалық енгізу ретінде пайдаланылды, мысалы, модельге негізделген мінез-құлықты қалыптастыру тәсілі ретінде.[12]

Сондай-ақ қараңыз

Әдебиеттер тізімі

  1. ^ Wiggers, Kyle. «DeepMind's MuZero өзін Atari, шахмат, шоги және Go-да қалай жеңуге болатынын үйретеді». VentureBeat. Алынған 22 шілде 2020.
  2. ^ Фридель, Фредерик. «MuZero шахматты, ережелерді және бәрін анықтайды». ChessBase GmbH. Алынған 22 шілде 2020.
  3. ^ Родригес, Иса. «DeepMind шахмат, шоги, атари және ережелерді білмей баруды меңгерген жаңа агент MuZero-ді ашады». KDnuggets. Алынған 22 шілде 2020.
  4. ^ Шриттвизер, Джулиан; Антоноглау, Иоаннис; Губерт, Томас; Симонян, Карен; Сифре, Лоран; Шмитт, Саймон; Гуез, Артур; Локхарт, Эдуард; Хассабис, Демис; Graepel, Thore; Лилликрап, Тимоти (2019-11-19). «Оқылған модельмен жоспарлау арқылы Атари, Го, Шахмат және Шогиді меңгеру». arXiv:1911.08265 [cs.LG ].
  5. ^ а б Күміс, Дэвид; Губерт, Томас; Шриттвизер, Джулиан; Антоноглау, Иоаннис; Лай, Матай; Гуез, Артур; Ланкот, Марк; Сифре, Лоран; Кумаран, Дхаршан; Graepel, Thore; Лилликрап, Тімөте; Симонян, Карен; Хассабис, Демис (5 желтоқсан 2017). «Жалпы күшейту алгоритмімен шахмат пен шогиді өздігінен ойнау арқылы меңгеру». arXiv:1712.01815 [cs.AI ].
  6. ^ Каптуровски, Стивен; Островский, Георгий; Куан, Джон; Мунос, Реми; Дабни, Уилл. БІРІКТІРІЛГЕН КҮШТІ ОҚЫТУ ҮШІН ЖАҢА ТӘЖІРИБЕГЕ ЖАУАП. ICLR 2019 - ашық шолу арқылы.
  7. ^ Қысқартыңыз, Коннор (2020-01-18). «AlphaGo-ның MuZero-ға эволюциясы». Орташа. Алынған 2020-06-07.
  8. ^ «[AN # 75]: Atari және Go ойындарын MIRI қызметкерінің ойын модельдерімен және ойларымен шешу - LessWrong 2.0». www.lesswrong.com. Алынған 2020-06-07.
  9. ^ Ву, маусым. «Арматуралық оқыту, терең оқытудың серіктесі». Forbes. Алынған 2020-07-15.
  10. ^ «Машиналық оқыту және робототехника: Менің (біржақты) 2019-дың күйі». cachestocaches.com. Алынған 2020-07-15.
  11. ^ Дюво, Вернер (2020-07-15), werner-duvaud / muzero-general, алынды 2020-07-15
  12. ^ ван Сейджен, зиян; Некой, Хади; Рака, Эван; Чандар, Сарат (2020-07-06). «LoCA өкініші: Арматуралық оқудағы модельге негізделген мінез-құлықты бағалаудың тұрақты өлшемі». arXiv:2007.03158 [cs.stat ].

Сыртқы сілтемелер