AlphaGo победила человечество в го
Го — одна из древнейших настольных игр. Вплоть до недавнего времени считалось, что компьютер не способен играть на равных с профессиональным игроком из-за высокого уровня абстракции и невозможности перебора всех доступных вариантов развития событий — точно число допустимых комбинаций в игре на стандартном гобане больше, чем число атомов в наблюдаемой Вселенной. Однако в 2015 году программа AlphaGo обыграла чемпиона Европы, а в марте 2016 года продемонстрировала высокий уровень игры, победив Ли Седоля, одного из сильнейших игроков в го в мире. Подробнее о том, как ИИ победил человечество в го, можно прочитать в материале N+1 «Го: речь поражения».
Кэ Цзе считается сильнейшим в мире игроком по данным независимого рейтинга Go Ratings. В го не существует официального чемпионата мира, поэтому невозможно стать чемпионом мира по го, однако учитывая победы игроков в разных турнирах можно с высокой точностью определить фактического сильнейшего игрока, которым на текущий момент и является Кэ Цзе.
Матч AlphaGo против Кэ Цзе проходит в рамках фестиваля го в китайском городе Вужень (провинция Чжэцзян). Во второй игре китайский профессионал играл белыми камнями и сначала делал ходы на уровне AlphaGo, однако затем программа взяла верх и Кэ Цзе сдался. «На протяжении первой сотни ходов мы видели самый высокий уровень игры против мастер-версии AlphaGo за все время», — заявили представители DeepMind на пресс-конференции после игры.
«Сегодня игра сильно отличалась от первой партии. AlphaGo сделала несколько ходов, которые, по-моему мнению, не выглядели как максимально выигрышные. Еще мне казалось, что в середине игры я был близок к победе, но, видимо, у AlphaGo были другие мысли на этот счет. Я немного расстроен, поскольку, как мне кажется, я играл очень хорошо», — прокомментировал Кэ Цзе вторую игру против ИИ.
Первую игру, которая прошла 23 мая, Кэ Цзе проиграл с отрывом в пол-очка (минимально возможное превосходство в го). Таким образом, в матче из трех игр ИИ выиграл в двух играх и официально превзошел сильнейшего игрока в го. Третья (заключительная) игра состоится 27 мая.
Го — не единственная игра, первенство в которой за последнее время машины отобрали у людей. В январе этого года программа Libratus, разработанная в Университете Карнеги — Меллона, победила в 20-дневном покерном турнире «Brains Vs. Artificial Intelligence: Upping the Ante». Компьютер выиграл у четырех профессиональных игроков фишек на сумму более 1,7 миллиона долларов. Подробнее об этом можно прочитать в материале N+1 «Время повысить ставки».
Кроме го в планах DeepMind покорение и других игр. Например, ранее DeepMind совместно с Blizzard объявили о создании платформы для разработки ИИ-систем для игры в StarCraft II. Стоит отметить что до сих пор компьютер все еще уступает человеку при игре в первую часть StarCraft. Однако и здесь компьютер в последнее время делает успехи — например, уже успешно освоил некоторые тактики, используемые опытными игроками.
ИИ AlphaGo от Deep Mind обыграл чемпиона мира по логической игре го
В сфере развития искусственного интеллекта произошло весьма значимое событие. Программа AlphaGo, разработанная подразделением Google, компанией DeepMind, одержала победу над мировым чемпионом в логическую настольную игру го, корейцем Ли Си Долом, в рамках первой из пяти исторических партий, которые пройдут в Сеуле. Первую партию Ли проиграл спустя три с половиной часа игры, в то время как на часах оставалось еще 28 минут и 28 секунд до конца.
Это первое в истории этой игры соревнование между профессиональным игроком в го 9-го, наивысшего дана и компьютером. Главным призом соревнования является 1 миллион долларов. Кто в конечном итоге заберет окончательную победу, мы сможем узнать через несколько дней.
«Я был крайне удивлен. Я не ожидал проигрыша. Я не думал, что AlphaGo будет играть в такой совершенной манере», — заявил чемпион мира в игру го.
Основатель компании DeepMind Дэмис Хассабис выразил свое «глубокое уважение Ли Си Долу и его невероятным навыкам», назвав также игру го «невероятно увлекательной» и «очень напряженной». Капитан команды AlphaGo Дэвид Сильвер отметил «удивительную сложность интересной игры го, которая заставила их детище AlphaGo работать практически на максимуме своих возможностей».
Для тех, кто не знает, го — это логическая настольная игра с очень глубоким стратегическим содержанием, возникшая еще в Древнем Китае по разным оценкам 2,5-5 тысяч лет назад. Она рассматривается как одно из самых серьезных испытаний для ИИ, так как в ней содержится огромное количество возможных комбинаций ходов. Несмотря на то, что компьютерные программы уже довольно неплохо освоили такие игры, как шахматы и шашки, и даже одерживали победы над чемпионами мира в этих дисциплинах, высокий уровень интуиции и стратегического мышления, которое требуется от игрока в го, делает ее гораздо сложнее вышеуказанных игр и очень трудной в освоении для компьютера.
Программа AlphaGo компании DeepMind является в настоящий момент наиболее продвинутой среди всех остальных и построена с использованием очень сложной и многоуровневой системы нейронных сетей, а также обладает способностью машинного обучения. Благодаря этому AlphaGo смогла победить европейского чемпиона в игру го Фань Хуэя в прошлом году. Поэтому своеобразным новым уровнем для нее является корейский игрок и мировой чемпион игры го Ли Си Дол.
«Я не жалею, что принял этот вызов», — говорит Ли.
«Но я в шоке, я действительно это признаю. Но что сделано, то сделано. Мне очень понравилось играть с компьютером, и я очень жду следующей игры. Мне кажется я проиграл потому, что в буквальном смысле сдал начало партии. Поэтому в следующий раз я обращу больше внимания на начало игры. Думаю, это увеличит мои шансы на победу».
Ли отмечает, что был глубоко удивлен тому, насколько мощно AlphaGo начала раунд и какие неожиданные для него шаги она совершала.
Следующая партия Ли и AlphaGo состоится завтра. Оставшиеся три пройдут в субботу, воскресенье и вторник. Как бы ни закончилась данная серия игр, сегодняшняя победа AlphaGo является огромным шагом в развитии ИИ. Однако Ли не терпится взять реванш.
«Сегодняшняя игра была очень плотная и напряженная», — говорит Хассабис.
«Когда подошло время начала первой партии, мы правда не знали, чем это все обернется. Да и сейчас не знаем. Ведь впереди еще четыре игры».
Компьютерная программа победила трехкратного чемпиона по игре в го
Компьютерная программа AlphaGo выиграла у трехкратного чемпиона Европы по игре в го Фань Хуэя в матче из пяти партий со счетом 5:0. Это первый случай, когда компьютер победил профессионального игрока в го без какой-либо форы. Матч состоялся еще в октябре, однако подробности стали известны только сейчас.
До этого AlphaGo победила другие программы по игре в го в 494 матчах из 495. Разработкой AlphaGo занималась компания Deep Mind, купленная Google в 2014 году. В марте AlphaGo встретится с корейцем Ли Седолем, который считается лучшим в мире игроком в го за последнее десятилетие.
Основной сложностью для компьютерных программ считается большое число вариантов ходов и комбинаций, что фактически исключает возможность механического перебора всех позиций и приводит к необходимости разработки алгоритмов самообучения. По мнению специалистов Google, достижение AlphaGo можно сравнить с шахматной победой компьютера Deep Blue компании IBM над Гарри Каспаровым в 1997 году.
Результат матча – 4:1 в пользу программы AlphaGo
Как же так получилось?
Один из сильнейших российских игроков, а также трехкратный чемпион Европы Илья Шикшин считает, что у обеих сторон были равные шансы в первой партии. По его мнению, очень большую роль в этой партии сыграла психология: Ли Седолю было сложно настроить себя на борьбу с компьютером, потому что раньше профессионалы его уровня побеждали программы, да еще и на нескольких камнях форы. Более того, игрок был недостаточно внимателен, и, возможно, даже не верил в то, что программа может находить наилучшие ходы.
— Все это привело к тому, что игроком были допущены ошибки, которые и привели к поражению в первых трех партиях, – говорит Илья.
Того же мнения и вице-президент Российской федерации Го Максим Александрович Подоляк:
— Очевидно, Ли Седоль испытывает огромный, невиданный ранее, груз ответственности, поскольку он сражается не только за себя, но и за многовековую историю самой сложной интеллектуальной игры. Это мешает в ситуации, когда надо полностью отрешиться от всего. Уверен, что и ожидания Ли Седоля, как и всех нас, по уровню игры AlphaGo были занижены по итогам матча против Фаня Хуэя. Конечно, это был сомнительный трюк со стороны Google – продемонстрировать игру одного алгоритма, а выставить другой. Но сейчас очевидно, что представленный алгоритм существенно сильнее, и для победы над ним даже сильнейшему игроку мира требуются огромные усилия.
По мнению президента Российской федерации Го Максима Аркадьевича Волкова, психологическое давление существенно сказалось на игре Ли Седоля:
— Ли Седоль представляет элиту Го-сообщества, он проверенный и опытный боец. Его проигрыш лично для меня был очень болезненным. Что уж говорить о внутренних переживаниях спортсмена, на которого смотрит многомиллионная аудитория, от которого все Го-сообщество ждет единственного результата. Мне показалось, что ближе к концу первой партии у него задрожали руки, но, может, мне это только показалось. В целом, напряжение было невероятно высоким, а игра протекала с переменным успехом.
На пресс-конференции после завершения первой партии Ли Седоль признал, что уровень игры программы гораздо выше того, который он видел в партиях AlphaGo с Фанем Хуэем, и у них равные шансы на победу в этой серии.
— К четвертой партии Ли Седоль пришел более подготовленным, возможно, он разобрал уже сыгранные партии, – добавляет Илья Шикшин. – Отсюда и результат – профессионал играл практически без ошибок, и партия закончилась в его пользу.
В середине четвертой партии Ли Седолю удалось обыграть программу, совершив неожиданный ход (№78). По словам разработчиков из лаборатории DeepMind, AlphaGo оценивала вероятность появления такого хода на доске как менее 1 к 10 000. По мнению семикратного чемпиона Европы Александра Динерштейна, этот ход Ли Седоля войдет в историю и учебники по Го.
Более того, по замечанию Ильи, в середине четвертой партии, когда уже стало понятно, что программа уступает, AlphaGo стала делать довольно странные ходы. Возможно, это был сбой, может, компьютер «понял», что проигрывает, оценив позицию, но, скорее всего, именно эти ходы и привели к окончательной победе человека, потому что он уже не допускал ошибок.
Четвертая партия стала своеобразным знаком надежды для всех поклонников игры – была создана даже петиция об организации еще двух игр. По мнению создателей петиции, программа Google находилась в более выгодном положении: у нее была возможность изучить стиль игры Ли Седоля и сыгранные им партии до матча, в то время как Ли никогда не играл против AlphaGo.
Пока неизвестно, как отреагируют на эту петицию обе стороны, но уже известно, что программе бросили вызов два игрока из Китая – Ке Цзе, 9 профессиональный дан, и Гу Ли, 9 профессиональный дан, оба играющие не слабее Ли Седоля, но в несколько ином стиле. В том, что, если данные матчи состоятся, они вызовут огромный, возможно, еще больший интерес, сомнений нет. Ведь мы знаем теперь, на каком уровне играет программа, и что она совершает достаточно человечные ходы, но непонятно, насколько человечна она в своих ошибках.
Илья Шикшин считает, что результат возможного матча между китайским профессионалом и AlphaGo во многом будет зависеть от того, когда он состоится:
— Чем больше времени проходит, тем сильнее становится программа – если матч состоится в самое ближайшее время, думаю, у Ке Цзе есть все шансы одолеть AlphaGo. Пока непонятно, есть ли какие-то лимиты совершенствования программы и повышения уровня ее игры, но вполне возможно, что через еще несколько месяцев она станет совершенно непобедимой для человека.
Как отмечает семикратный чемпион Европы Александр Динерштейн, было бы так же интересно посмотреть матч AlphaGo против японского мастера Такемии Масаки, 9 профессиональный дан. Этот игрок, бывший одним из сильнейших игроков мира в начале 1990-х годов, известен своей необычной манерой игры, предпочитая игру на влияние с построением территории в центре доски. Во время прошедших пяти партий профессионалы отметили, что программа тоже предпочитает подобный стиль, и было бы интересно посмотреть, как искусственный интеллект поведет себя в данном случае.
Президент Российской федерации Го М.А. Волков считает, что и европейские профессиональные игроки могут сразиться с AlphaGo и завершить матч в свою пользу:
— Уверен, что, если мы сможем организовать матч с AlphaGo на предстоящем 60-м Полиметалл Европейском Го конгрессе, который пройдет этим летом в Санкт-Петербурге, подобная игра вызовет большой интерес.
В общей оценке результата матча для всего мира эксперты сходятся: серьезный прорыв в области разработок искусственного интеллекта привлек внимание широкой общественности к игре Го. Заслуженный тренер России по Го, профессор, доктор технических наук Владимир Алексеевич Кузнецов добавляет:
— Значимость результата, полученного разработчиками программы, значительно больше: с одной стороны, это значит, что Го – самая удивительная игра, секрет которой почти разгадан человеком, поскольку совсем не обученный компьютер выбирает вполне человеческие ходы, а с другой стороны, победа компьютера означает торжество современных средств искусственного интеллекта. Потрясающе, что это произошло именно с игрой Го, в этом фантастическая уникальность Го, сравнимая с большой теоремой Ферма: она практически бесполезна, но в результате ее 250-летнего доказательства математика получила огромное развитие. Случилось так, что на ней сомкнулись два полюса: физиология мышления человека и новое представление о возможностях компьютера. Сомкнулись стремительно, без постепенного роста.
С данной точкой зрения согласен Илья Шикшин:
— Считаю, что уровень мастерства игроков только возрастет, если в общем доступе появится программа подобная AlphaGo, благодаря которой игроки смогут учиться Го до самого высокого уровня.
Александр Динерштейн считает, что теперь весь мир узнает много интересного и Го в общем:
— В Го существует задача, придуманная в 1713 году известным японским мастером Досетсу Инсеки. Расчет идет на двести ходов вперед. По ней изданы целые книги, но так никто и не смог ее решить. Существуют красивые решения, но они отличаются от изначально объявленного автором задания. Наконец-то мы узнаем, есть ли у этой задачи решение, или, может быть, ошибался сам Досетсу?
Гроссмейстер России по Го, президент Российской федерации Го в 1994-1997 годах Валерий Дмитриевич Соловьев считает, что главная интрига теперь – продолжит ли свои разработки подобного искусственного интеллекта компания Facebook. Напомним, что в начале года основатель Facebook Марк Цукерберг сообщил, что его лаборатория занимается разработкой программы, играющей в Го, и демонстрирует успехи в данном направлении.
— Часто сторона, которой не удалось стать первой, прекращает исследования. Но сейчас крайне интересно, если появятся два суперигрока, созданные разными коллективами. Это приведет к колоссальному прогрессу в игре Го, опять же по аналогии с шахматами. Сильнейшим игрокам есть чему научиться у компьютеров. Я слежу за шахматными турнирами на высшем уровне: нередко гроссмейстеры делают совершенно парадоксальные ходы, свойственные компьютерным программам, противоречащие всем базовым принципам шахмат, которым учат с детства, но которые в данной конкретной позиции оказываются правильными. В шахматах компьютеры раскрепостили мышление игроков, партии стали более интересными, насыщенными нестандартными идеями. Этого я жду и в Го.
«Матч века» несомненно станет началом новой эпохи в истории Го. Так же, как победа Deep Blue над Гарри Каспаровым в 1997 году задала новый этап развития шахмат. Возможно, он приведет к прорыву в теории и методике Го, в обучении Го, возможно даже, что она познает игру глубже человека. Но в любом случае, рост популярности игры гарантирован, что приведет и к росту популярности спортивных турниров и мероприятий, связанных с Го.
Компьютер победил чемпиона по игре в го
Компания Google разработала программу AlphaGo, которая обыграла европейского чемпиона по игре в го с разгромным счетом. Эта победа доказывает мощные возможности современных технологий искусственного интеллекта (ИИ), сообщает журнал Nature.
AlphaGo была создана подразделением DeepMind, которое отвечает в Google за ИИ. В отличие от шахмат, в го большое поле, что значительно увеличивает число вероятных ходов и комбинаций — и компьютерные программы ранее никогда не могли обыграть человека.
AlphaGo действует на основе двух нейронных сетей. Одна («сеть оценок») изучает текущую позицию на доске, а вторая («сеть решений») определяет правильный ход. AlphaGo обыграла трехкратного чемпиона Европы Фань Хуэя. Следующий этап — турнир с Ли Седолем, который считается лучшим в мире игроком в го за последнее десятилетие.
Го возникла в древнем Китае около трех тысяч лет назад. Играют двое: один получает черные камни, другой — белые. Цель соперников — отгородить на игровой доске камнями своего цвета большую территорию, чем противник.
Искусственный интеллект Google впервые в истории победил профессионального игрока в го
Компания DeepMind, которая с недавних пор является структурным подразделение Google и занимается разработкой систем искусственного интеллекта, достигла впечатляющего рубежа. Ее система под названием AlphaGo впервые в истории выиграла матч в го у трехкратного чемпиона Европы Фань Хуэя.
Сегодня уже никого не удивить новостью о том, что компьютер выиграл шахматную партию у профессионального игрока, поскольку эту «вершина» была взята еще в далеком 1996 году (поединок компьютера Deep Blue против Каспарова), но игра го до недавнего времени оставалась своего рода неприступной крепостью для компьютеров в мире логических игр.
Го – логическая настольная игра, зародившаяся в Древнем Китае, по разным оценкам, от 2 до 5 тысяч лет назад. В нее играют на доске со стандартной разлиновкой 19х19 линий. Игра рассчитана на двух игроков, один из которых получает черные камни, другой — белые (полный комплект для игры должен содержать 361 камень — 180 белых и 181 черный). Цель игры — отгородить на игровой доске камнями своего цвета большую территорию, чем противник.
Неисчислимое множество сценариев развития событий предопределяется огромным количеством возможных ходов. Этими и другими особенностями и обусловлена сложность обучения искусственного интеллекта игре в го. По вычислениям математика Джона Тромпа, количество возможных комбинаций в го измеряется числом, состоящим из 171 цифр, и превышает число атомов в наблюдаемой Вселенной. Надеемся, эти факты позволят лучше осознать важность этого события.
Система AlphaGo основана на поиске Монте-Карло, нейросетях и глубоком машинном обучении. Нейросети пропускают описание состояния доски го через 12 различных слоев из миллионов искусственных нейронов. Каждая сеть играет свою роль. Так, «сеть политики», выбирает следующий ход, а на «сеть ценности» возложена задача определения победителя.
Ранее мы уже писали о достижениях нейронных «мастеров» в искусстве, подробно описывая методику обучения нейронных сетей. Здесь процесс обучения проходил схожим образом. Только в качестве примера для обучения были выбраны люди. Как утверждается, система выучила 30 млн ходов партий реальных людей и научилась предсказывать результат следующего хода с рекордной точностью – 57%. До AlphaGo лучший результат составлял 44%. Само собой, весь процесс обучения требовал огромных вычислительных ресурсов, которые любезно были предоставлены облачной платформой Google Cloud Platform.
Матчу с Фанем предшествовала «разминка» с другими программами по игре в го – AlphaGo выиграла 494 матча из 495. Фань был сильно удивлен, узнав, что проиграл компьютеру в первой игре, и списал поражение на собственный неагрессивный стиль. Но последующие четыре партии, несмотря на более агрессивный стиль игры Фаня, остались за AlphaGo. Таким образом, алгоритм, для запуска которого потребовался вычислительный кластер из 170 видеокарт и 1200 процессоров, выиграл все пять матчей.
Наверное, не лишним будет сказать, что Фань является лучшим только в Европе, где уровень владения го не очень высок. Следующим большим испытанием станет матч в Сеуле в марте против легендарного корейского профессионала в го Ли Седоля — лучшего игрока в го за последнее десятилетие. Уровень игры этого человека в разы выше, так что впереди у команды разработчиков AlphaGo тяжелые рабочие будни.
Компания Google в свою очередь заявила, что это еще один шаг на пути к созданию полноценного ИИ.
В компании Марка Цукерберга, который недавно публично признал создание ИИ своей целью на 2016 год, также занимаются разработкой подобной системы. Если верить Цукербергу, сотрудники Facebook AI Research уже близки к цели. К слову, Марк лично в буквальном смысле пристально следит за процессом разработки, так как стол руководителя проекта расположен в шести метрах от стола исполнительного директора Facebook.
