与AI打牌,人类能学到什么

扑克是一个典型的人类游戏。

扑克呼唤我们的原始智慧,它还需要更精细的技能,比如琢磨其他玩家,诈唬,用心理演绎法去实现你的目的。扑克结合了简单的数学和百分比与各种看似独特的人类感知技能。但也许AI能证明,那些感性精巧的人类技能可能并没有那么重要。

两三年前,扑克AI——Libratus和DeepStack都完成了一对一痛殴职业牌手的任务。显然,扑克AI能够担当起扑克界的GTO(游戏理论最优化的缩写)专家,作为一个超级策略数据库,单个人类想要战胜扑克AI并不现实。

然而扑克AI处理对弈的一些迥异于人类的方法,也许可以给予顶尖职业牌手更多的经验提示。

无情地专注策略

扑克AI并不考虑扑克高手奉之为圣经的牌桌心理学。AI可以完全忽略这一点,并且凭借于此粉碎高手的出招。AI只是从一系列可能的选择中,找到赢面最高的策略,并且毫无情绪地应用这个策略,一遍又一遍。

以Libratus为例,这个扑克AI的主打“技能”是“纳什均衡”。我们可以用更简洁的游戏来理解“纳什均衡”——石头剪刀布。每次出石头,对手出石头剪刀布的概率各是1/3。如果不管对手出什么,坚持每把都出石头,那么每把都拥有1/3的几率获胜,1/3的几率打成平局。也就是说,你拥有2/3不输的期待。

如果把“纳什均衡”放到扑克游戏中,如何不输的几率演算将变得更加复杂,AI的“不输”策略也更加层级严密。无论对手是谁,AI都采取相同的“不输”策略,不关心对手的牌,不关心对手的水平。

玩扑克的行家都喜欢说一句话,在牌桌上环顾四周,如果哪个对手你都看不懂,那么被看穿的可能就是你。人心叵测,在牌桌对弈中时刻风云变幻,任何人类牌手的心理状态都不能一直稳定地准确执行既定策略,然而AI可以。

所以扑克AI实际去做的,就是执行相同的策略,等待别人犯错。

与AI打牌最好不按常理出牌

在被大数据驱动的GTO理论盛行的今天,扑克AI基本验证了依靠GTO理论是击败全球顶级职业选手的最佳办法。

然而知名的德扑作家Ben Saxton却有着另外的解读,“我认为AI能否获胜,取决于对手是谁以及对手的级别。如果尝试偏离GTO理论中的最佳策略,那么就是真正精明的对手间的对抗,此刻,谁被谁利用才是好玩的地方。”

换一种简单的说法就是——与AI打牌最好不按常理出牌。

如果让以Libratus为代表的顶尖扑克AI,与水平一般,甚至是扑克新手对战,那么牌局就会呈现毫无章法的出牌现象。

Libratus是由机器学习驱动的,程序构成了自己的策略和游戏概念,而不是由人类来指导。它完全随机执行出牌策略,在游戏中执行自己的副本,通过数万亿次迭代,完成数万亿手牌的积累。在某些时候,练习过数万亿手牌的能力是机器的优势。

但人工智能并不完美,它没有计算出完美的纳什平衡。在游戏的执行树中,很多选项都是次优选项,这些“次优”正是人类可以利用的地方。

在研究人员、职业牌手与扑克AI的训练对战过程里,人类对手在过程中不断进行以下尝试:寻找Libratus的弱点,找到可以利用的地方。然而可以完成机器学习的扑克AI也在这一过程中不断审查自己被人类所利用的地方,重新修订策略,从而更接近纳什均衡。

这是一种好玩的状态,就像猫和老鼠的游戏。因为人类每天都会试图找到一个AI的弱点并利用它,并且在每天结束时,AI会在第二天的准备中解决这些弱点。

由此,我们可以获得利用扑克AI的有益之处,与扑克AI对弈,可以在很大程度上优化顶级牌手的策略。

向AI学习另类的下注方式

在人类牌桌上,牌手通常下注的数量只是底池的一小部分。如果底池里有300美元,那么人类下150美元很正常。当然也可以下300美元,偶尔有人会投入500美元。但是扑克AI在下注问题上与人类截然不同。

以Libratus为例,通常它自主下注时都不选择小额,而是底池的3倍、5倍、甚至是100倍。AI豪放的下注模式对人类牌手都是巨大的冲击。甚至令人沮丧,人类牌手会认为自己的对手握着极其强大的牌面。甚至有时AI在第二手牌就压出了重注。此时AI举动的幕后解读在人类看来无非是两个意思:要么我在诈唬,要么我的牌好死了。

相关图片

但扑克AI不按常理的压注方式会成为人类对手的阻碍,迫使人花费更多的时间去明确自己该如何应对。据研究人员反馈,当扑克AI祭出截然不同的押注方式时,人类通常需要差不多十分钟才能做出回应。

机器能够用来诈唬的办法就是出乎意料地下注来扰乱人类玩家。

研究人员们提醒各位玩家,一旦扑克AI积攒足够多的随机性下注后人类的回应样本,那么在未来,扑克AI的下注方式将会更加具有迷惑性和学习价值。


本文参考、整理编译于网络公开来源。并不代表AIPoker的官方观点。

参考整理来源:

https://towardsdatascience.com/playing-poker-on-mars-how-ai-mastered-the-game-52f66659f8f4