- IT资讯综合网
加载中……
> 马斯克的OpenAI自主学习机器人完胜人类Dota玩家
马斯克的OpenAI自主学习机器人完胜人类Dota玩家
加载中……
（原标题：马斯克的OpenAI自主学习机器人完胜人类Dota玩家）
OpenAI的机器人刚刚在Dota2 1v1比赛中战胜了人类顶级职业玩家Dendi。以建设安全的通用人工智能为己任的OpenAI，通过“Self-Play”的方式，从零开始训练出了这个机器人。Dota2沦陷
继横扫顶级的人类国际象棋大师和围棋大师后，计算机如今在风靡全球的电子游戏Dota2中战胜了世界级的职业玩家。此前未被披露的此场对决发生于Valve奖金高达2400万美元的Dota2国际邀请赛“The International”。Dendi（图左）在赛前与OpenAI的团队交流。在这场一对一的对战中，OpenAI设计的一款机器人击败了职业玩家Danylo “Dendi” Ishutin，Dendi在此前的职业生涯中已赢得累计美元的奖金。OpenAI的机器人在首场对战中用时十分钟击败了Dendi，之后Dendi在第二局对战中退出并拒绝再战第三局。Dendi“请放过我吧，”赛间Dendi对机器人对手这样说道。Elon Musk发表推文称赞OpenAI的战绩，并称其为“在电子竞技领域首个击败人类顶级玩家的机器人”。OpenAI在电子竞技领域首度击败人类顶级玩家。这比国际象棋及围棋等游戏要复杂得多。OpenAI的CTO Greg Brockman在赛前介绍称这一款机器人通过数千次的加以指导的自我对决进行训练，并称该机器人已经击败了数个Dota 2的职业玩家。Brockman在博客中称：“过去几周内，我们的机器人已经战胜过包括SumaiL（世界顶级1v1选手）及Arteezy（世界顶级overall选手）等多个顶级玩家”。“自我对决”的理念是OpenAI研发的关键。这是一种AI系统学习解决极其复杂任务的有效方法：与太弱或太强的对手对战，它都无法从中学到东西，但自身反倒是有价值的对手。Brockman介绍道：“你可以看到AI从完全的随机状态一步步发展到如今的顶级水平”。AI公司惯常用电子竞技游戏来测试他们的技术，如谷歌的DeepMind攻克“星际2”，微软的AI团队今日则宣称他们在吃豆人游戏中获取高分。OpenAI并未打算就此停止征战的脚步。他们希望在明年的参与正式的五对五比赛。与此同时他们也对外发布了此机器人，所以任何人有兴趣均可与之对战。第一个击败此机器人的玩家则可获得Valve专设的赏金。我们创造了在Dota2 1v1比赛中能够击败世界顶尖职业选手的AI。其完全是用self-play的方式训练，没有使用模仿学习（imitation learning）或树搜索。这对构建在混乱、包含人类行为在内的复杂场景下能够完成well-defined goals的AI系统是重要一步。Dota 1v1是含有隐藏信息的复杂游戏。代理需要学习计划、进攻、花招以及误导对手。选手技巧和手速（每分钟动作）的关联不那么强烈，实际上，我们的AI“手速”只是一般人类选手的水平。想要在Dota中取胜，要求选手培养出对对手的直觉，并采取相应的策略。在上述视频中，你能看到，我们的机器人已经通过完全的self-play学会了预测其他选手的动作，并在不熟悉的场景下即兴发挥，以及如何作用于选手的单位。完全通过Self-Play的方式训练，从零达到世界顶级水平OpenAI的目标是建设安全的通用人工智能。对于AI来说，Dota是一个非常理想的试验场，竞争激烈，游戏复杂。如果想在这门游戏中获得成就，就必须推进现有技术，实现技术突破。我们现在开发了一个AI，能够在Dota的1v1比赛中击败顶尖职业选手。Dota的规则非常复杂，如果是用规则方法，那么构建出的AI一定是个蹩脚的player。所以，我们完全采用的是自我游戏（self-play）的训练方法。刚开始训练时，AI对于自己所处的世界全无认识，而只是和自己的copy比赛，这也就意味着它和它的对手永远是旗鼓相当的。它用这个方法一点点地提升，直到达到了世界上最优秀的职业运动员的水平。The International（TI）是Dota的世界锦标赛，吸引了世界各地20000名观众来观看职业运动员争夺2400万奖金。在TI上，我们派出AI和其中的多位高手进行了比赛，在比赛中，AI展现出了很强的鲁棒性和技巧，许多职业选手希望能持续和我们的AI比赛，并考虑要把它当做是一种训练手段。现在的这支研究团队。下一步研究将是5v5比赛，我们希望做出5个相互协作的AI，击败人类战队。另外，我们也期待尝试把AI和人类放在同一战队中，协作取得胜利。（本文首发于微信公众号“新智元”，澎湃新闻获授权转发。原标题：【攻陷Dota2】马斯克的OpenAI自学习机器人完虐人类最强玩家）
本站所发布的资讯大部份来自于网络收集整理！如侵犯到您的权益,请及时通知我们,我们会及时处理。
Copyright&2017 IT52（） 粤ICP备号-3热门搜索：
您的位置：
OpanAI公布Dota AI比赛细节，自我对局让它超越人类
原标题：OpanAI公布Dota AI比赛细节，自我对局让它超越人类在攻克了围棋以后，人工智能研究者们似乎不约而同地把电子竞技游戏作为了下一个练兵场。雷锋网上周报道，在Dota2国际邀请赛TI7上，OpenAI率先展示了自己的成果，在西雅图让AI在1v1比赛中击败了职业选手，又一次点燃了关于AI的讨论。雷锋网对比赛结果也进行了诸多分析，就目前的资料来看，其实1v1比赛可能较围棋来得简单，在1v1比赛中取胜，也不能说明在5v5的完整比赛中能战胜人类，人类还保有一定的尊严。经过约一周的时间，OpanAI最终公布了Dota AI的一些细节，不过它还是有所保留，没有说明技术细节。最后，他们还说到最终的目的就是在5v5比赛中战胜人类。上图是游戏AI的TrueSkill评级（类似于国际象棋中的ELO评级）分数变化，计算方式是模拟AI之间的游戏对局，并观察胜率。TrueSkill系统是基于贝叶斯推断的评分系统，由微软研究院开发，主要用于多人游戏匹配。这套评分系统考虑到了玩家水平的不确定性，综合考虑了玩家的胜率和可能的水平涨落，而不是简单的基于胜率的评分。图中显示的变化趋势是线性的，这意味着AI的提升水平呈指数级增长。OpenAI还具体介绍了项目的开发时间表。从某种角度看，15％的玩家低于1.5K MMR，58％的玩家低于3k，而99.99％低于7.5k。MMR是比赛匹配分级系统，全称是match making ranking，简单理解就是Dota中常说的天梯分。3月1日：在简单的Dota环境中得到了第一个经典强化学习下的结果，AI操作的黑暗游侠可以对付神牛了。5月8日：1.5k MMR水平的测试员说自己的速度比AI要快。6月初：击败1.5k MMR水平的测试者6月30日：在与3k MMR测试者的比赛中多数会赢7月8日：对战7.5K MMR水平的半专业测试者，终于赢了一次。8月7日：3-0击败Blitz（6.2k的前职业选手），2-1击败Pajkatt（8.5k的职业选手），3-0击败CC＆C（8.9k的职业选手），不过大家都认为，系统还是打不过顶尖选手Sumail。8月9日：10-0击败Arteezy（10k职业选手）10-0，但他还是认为系统搞不定Sumail。8月10日：6-0击败Sumail（8.3k职业选手，顶级1v1玩家），不过在与8月9日版的系统对战结果是2-1。8月11日：2-0击败Dendi（7.3k职业选手，前世界冠军）2-0。这个时候的系统对战前一天的版本，胜率是60％。AI与Sumail比赛完整的比赛是5v5版本的，不过1v1也出现在一些锦标赛中。OpenAI写到，系统是在标准比赛规则下对战的&，在1v1中没有为AI做特别的简化。系统的操作环境如下：观察：使用游戏的Bot API接口，功能集与视角和人类玩家的一样，会受英雄，小兵，信使和附近地形的影响。整个游戏对AI系统来说是部分可观察的。操作：也是调用Bot API，操作频率被限定在与人类水平相当，这包括移动到某个位置，攻击或使用某个物品的频率。反馈：系统在赢得比赛后会得到奖励，其它一些基本指标，如英雄的生命状态和最后一击等，也会影响奖励。系统还可以选择使用的几十个装备道具，选择后会有评估。OpenAI还用了传统的强化技术单独训练开局前的挡兵，这基本是1v1的标准操作。AI与Arteezy比赛OpenAI称，他们使用的方法结合了少量的“教练”式训练与自我对战，每天都能有很大的提升。比如在TI比赛的那段时间，周一晚上的时候Pajkatt还打赢了系统，当时他使用了一个不寻常的装备，即在早期购买了魔棒。后来OpenAI将这种操作加到了培训当中。星期三下午OpenAI再次测试了最新的系统。比赛中AI在第一波攻击中就掉了一大半血，正当研究人员觉得要把系统回复了原先版本的时候，他们注意到了惊人的发展，原来第一波攻击是在诱使对方采用更激进的攻击方式。系统进一步的自我对局逐渐解决了这个问题，并学会了抵制引诱策略。在与Arteezy的比赛之后，OpenAI更新了挡兵模型，让系统的TrueSkill分增加了一点。然后在与Sumail比赛之前又进行了进一步训练，把TrueSkill分增加了两点。Sumail比完后说，AI甚至学会了在敌方的视线之外压影炮，这样可以打断敌人在视野之外的回复。Arteezy还与OpenAI的7.5k评级半专业测试员打了一场比赛。Arteezy赢了比赛，但测试人员用了从AI系统那学的一招，着实让人吃惊。Arteezy后来说，这是他以前与Paparazi比赛时对方用过的招数，很少有人会用。这种情况在围棋中也曾出现过，当AlphaGo战胜李世石后，再到它与柯洁的比赛，人类棋手也越来越多地开始学习它的布局与下法。Sumail在对战后说，AI系统是“不可战胜的”，但它仍然会在与之前遇到过的状况非常不同的情况下不知混所措。在TI的比赛那段时间，OpenAI还设了一次局域网比赛让很多人参加进来，以各种方式与AI系统对战，总共收集了1000多次比赛数据。最终还是发现了不少系统的破绽，可以战胜它，主要有三类：引兵：当小兵进攻的时候，可以不断攻击它们吸引火力，让他们跟着你跑，这样可以导致AI一方的防卫塔被小兵消耗而亡。淬毒之珠+风灵之纹：买这两个装备可以在1级的时候带来很大的移动速度优势，这样可以快速拿AI的一血。有了这样好的开始战胜电脑就很容易了。1级影压：用这一条战胜电脑需要不少技巧，不过根据OpenAI的说法，有几个6-7k水平的玩家能够在较短时间内压3-5记影炮，在1级的时候就杀死AI系统。以上都是在1v1比赛中的小bug，很容易修复错误。但是对于5v5比赛来说，这样的问题根本就不是漏洞了，这时候需要的是一个可以处理突发且怪异情况的系统。最后，OpenAI表示还没有准备好对外公布开发的AI代理的具体构造，团队的重点是首先解决5v5比赛。如果说1v1比赛很复杂，那5v5比赛就是复杂的集合，而解决这一问题会进一步推动AI的进步。OpenAI认为，一个比较好的着手方式是行为克隆。Dota每天有大约一百万场公开赛，这些比赛的重播数据会被存储在Valve的服务器上两周。雷锋网了解到，自去年11月以来，OpenAI一直在下载每位专家级别玩家的重播数据，已经收集了580万局游戏的数据（每局都是10人参与的45分钟游戏）。OpenAI的Dota 2系统表明，如果有充分的计算，自我对局可以将机器学习系统的性能从远低于人类的水平提高到超越人类。在一个月的时间里，它们的系统就从比不上高水平玩家，发展到了击败顶级职业选手，而且还在继续提升。有监督深度学习系统只能与培训数据集一样好，但在自我对局系统中，随着代理越来越好，可用数据会自动提升。
声明: 91.com所发布的内容均来源于互联网，目的在于传递信息，但不代表本站赞同其观点及立场，版权归属原作者，如有侵权，请联系删除。
信息也是生产力，精简才是硬道理！情报猎手带你突破信息迷雾，每日独家为您锁定最有价值的IT行业新鲜事。打开微信，扫描关注，赢取每月粉丝奖！
苹果发布会iPhone X
小米MIX2小米发布会
三星Note8三星发布会
魅族Pro 7魅族发布会
微博和微信：91门户关注超级玩家
查看: 1175|回复: 17
说人打不过dotaAI的，我就打个比方好吧
, 积分 3296, 距离下一级还需 704 积分
主题帖子积分
?SG植树专家
, 积分 3296, 距离下一级还需 704 积分
金币7715 枚
荣誉3427 点
AI和人类就好比三体人和人类，技术操作碾压，但是思维里没有欺诈这个词，这个战术套路那么多的游戏，拼不过操作拼战术啊！
然后呢，一个水滴1V5+买活送，那么多战术有个卵用&
你对线都被人打爆了后面欺诈还有个屁用啊，开雾游走之类的很多成功都是因为人类的反应速度有限啊......&
欺诈可以有吧&
, 积分 8447, 距离下一级还需 553 积分
主题帖子积分
, 积分 8447, 距离下一级还需 553 积分
金币11575 枚
荣誉12139 点
然后呢，一个水滴1V5+买活送，那么多战术有个卵用
, 积分 2046, 距离下一级还需 754 积分
主题帖子积分
, 积分 2046, 距离下一级还需 754 积分
金币3230 枚
荣誉2135 点
MD我选5个人，小娜迦+光法+兽王+先知+DS，不把他屎带出来！
, 积分 3296, 距离下一级还需 704 积分
主题帖子积分
?SG植树专家
, 积分 3296, 距离下一级还需 704 积分
金币7715 枚
荣誉3427 点
我就这个想法
, 积分 17465, 距离下一级还需 7535 积分
主题帖子积分
, 积分 17465, 距离下一级还需 7535 积分
金币11736 枚
荣誉19485 点
AI用一个偏快速的体系，配合无敌的对线，把节奏掌握到他那边，下来凭借0失误的配合就能赢了。
最爱选手琴琴
最爱战队鸡窝
头像被屏蔽
主题帖子积分
?sg守墓人?黑之断章?末代伐皇
金币66746 枚
荣誉190123 点
提示: 作者被禁止或删除 内容自动屏蔽
, 积分 398, 距离下一级还需 2 积分
主题帖子积分
, 积分 398, 距离下一级还需 2 积分
金币597 枚
荣誉388 点
AI不会玩艺术，
, 积分 6250, 距离下一级还需 2750 积分
主题帖子积分
, 积分 6250, 距离下一级还需 2750 积分
金币416 枚
荣誉7422 点
zzq 发表于
AI用一个偏快速的体系，配合无敌的对线，把节奏掌握到他那边，下来凭借0失误的配合就能赢了。 ...
这个打法好像很适合AI啊！！但是我觉得bp上面人类会占到优势的，不可能给你选到这么舒服的阵容。
, 积分 833, 距离下一级还需 867 积分
主题帖子积分
, 积分 833, 距离下一级还需 867 积分
金币1316 枚
荣誉785 点
……dead游戏，并不值得电脑出手
, 积分 17465, 距离下一级还需 7535 积分
主题帖子积分
, 积分 17465, 距离下一级还需 7535 积分
金币11736 枚
荣誉19485 点
这个打法好像很适合AI啊！！但是我觉得bp上面人类会占到优势的，不可能给你选到这么舒服的阵容。 ...
bp上肯定是人类吃亏，最多打平的，大数据支持下的bp是纯数据层面的对战，怎么可能是电脑的对手。
, 积分 7891, 距离下一级还需 1109 积分
主题帖子积分
, 积分 7891, 距离下一级还需 1109 积分
金币283 枚
荣誉8579 点
加程序就能解决
, 积分 5983, 距离下一级还需 17 积分
主题帖子积分
, 积分 5983, 距离下一级还需 17 积分
金币8874 枚
荣誉7476 点
我跟你讲 给AI用MVP的套路 大概不是20投的节奏
, 积分 599, 距离下一级还需 201 积分
主题帖子积分
, 积分 599, 距离下一级还需 201 积分
金币1009 枚
荣誉470 点
讲道理，Dota是电脑游戏，AI优势太大，五个AI共享屏幕，还不用沟通，也不需要花时间移动鼠标
, 积分 1917, 距离下一级还需 883 积分
主题帖子积分
, 积分 1917, 距离下一级还需 883 积分
金币6362 枚
荣誉2263 点
确实没有欺诈，因为这就和你对小孩说，妈妈不要你了一样，人家早就看清了一切，你觉得是欺诈的人家都不认为有意义
, 积分 3117, 距离下一级还需 883 积分
主题帖子积分
, 积分 3117, 距离下一级还需 883 积分
金币4664 枚
荣誉3609 点
rat doto best doto
Invictus Gaming
Invictus Gaming
情人节绝版勋章
I Love You
优点就是小
制图馆阿狸神
制图馆阿狸神
吉尔伽美什
吉尔伽美什
珍小珍爱吃鱼
拒绝者军体拳
拒绝者军体拳
月之女祭司
月之女祭司
2015世萌萌王
2015世萌萌王
2013世萌萌王
2013世萌萌王
小小小红帽
小小小红帽
pic1386.gif
小木曾雪菜
Powered by马斯克的OpenAI单挑Dota世界冠军 人类10分钟惨败
责任编辑：卞海川
来源：爱范儿
Dendi 输了。如果你玩过 Dota 2，那你多少会对这个名字有点印象。这位出生于 1989 年的乌克兰男孩，是世界上最顶尖的电竞选手之一，曾随队在第一届 Dota 2 国际邀请赛上（The International DOTA2 Championships，简称 Ti）获得冠军，又在后面两届 Ti 斩获亚军。8 月 11 日，万众瞩目的 Ti7 当日正式比赛落下帷幕，之后上演的是一场表演赛。第一位登场的选手是 Dendi，而他的对手是一个 U 盘，里面装着由 OpenAI 开发的 Dota AI。Dota 选手 Dendi，图片来源：liquipediaOpenAI 是由特斯拉&CEO 埃隆·马斯克成立的一家非营利公司，旨在开发更安全的 AI 技术，预防人工智能带来的危害。目前，OpenAI 的全职员工已经超过 50 人。在赛前的宣传片里，OpenAI 开发的 Dota AI 已经打败了现役的 Arteezy、SumaiL 等世界冠军。人机大战一触即发黑人小哥手中的 U 盘就是参赛 AI规则不是常见的 5V5，而是 Solo 单挑。不能使用瓶子、凝魂之泪、灵魂之戒、神坛等道具，双方都使用影魔（Shadow Fiend）。通过制定这些规则，大大减少了战场的变量、计算量，更彰显出选手的操作硬实力。Dendi 曾经是最强的中单选手之一，但谁也没想到，短短 10 分钟，他就败下阵来。一开局，OpenAI 就展现出堪称完美的卡兵技巧。卡兵，是 Dota 中的一种技术手段，可以让游戏刷出的第一波兵更接近已方的防御塔，从而在对线期时可以获得更大的优势。等到双方开始交锋时，Dendi 与 OpenAI 的差距开始明显地显现出来。无论是补兵还是对点攻击，AI 对距离和时机都把握都更加准确，毫无迟疑。根据 OpenAI 官方给出的数据，AI 每分钟的操作次数（APM）仅仅是人类的平均水准，换言之，AI 的每次出手收益都比 Dendi 更高，无效操作更少。最让人讶异的是，AI 在比赛过程中居然做出了漏补刀的假动作，故意诱骗 Dendi 上前补刀，然后击杀他！以致于 Dendi 在比赛中无奈地抱怨：求不虐……第二局依旧是同样的结果，AI 完虐人类。比赛结束后，OpenAI 的老板马斯克还不忘在&Twitter&上嘚瑟一下：OpenAI 第一次在电竞上完胜世界顶级选手，这可比象棋围棋复杂多了。图片来源：Twitter尽管这场赛事存在诸多限制，1v1 的复杂性与 5v5 也不在一个量级，但 OpenAI 的胜利至少说明，在电竞领域，人工智能的进步比我们想象的还要快。与其他人工智能算法稍有不同的是，OpenAI 并没有通过模仿学习和树搜索策略来进行训练，而是完全通过‘自我对决’（Self-Play）的方式来提升自己的水平。在这个过程中，AI 从最早随机浑噩的状态逐渐进化到世界冠军级的单挑水准，仅仅花费了两周的时间。众所周知，一场完整的 Dota 比赛战况是复杂而又难以预料的。由两支队伍进行对决，共有 10 名选手，英雄数量多达上百名，装备更是数不胜数，玩家可以从中做出各种选择——而 OpenAI 的下一个目标，就是组建一支能够与世界冠军们匹敌的 AI 队伍。有了 AlphaGo 的先例，相信这个目标离我们不会太远。
Copyright (C) By .
ICP许可证号：[京 号-10号]
电信与信息服务业务经营许可证101190号