选择当地主来玩玩看，可以打开显示AI手牌功能，更容易观察AI决策过程。另外可以设置AI考虑时间，默认是3秒。

有时可以看到AI并不是简单的选择当前胜率最高的打法，而是有更全局的考虑。

斗地主对AI来说，很难

从博弈论的角度看，斗地主是“不完全信息博弈”。

围棋是所有棋子都摆在棋盘上，对弈双方都能看到的完全信息博弈。

而斗地主每个玩家都看不到其他人的手牌，对于AI来说更有挑战性。

在棋牌类游戏中，虽然斗地主的信息集的大小和数量不如麻将，但行动空间有10^4，与德州扑克相当，而大多数强化学习模型只能处理很小的行动空间。

斗地主的所有牌型总共有27472种可能。

像下图的手牌就有391种打法。

且斗地主的行动不容易被抽象化，使搜索的计算成本很高，像Deep Q-Learning和A3C等强化学习模型都只有不到20%的胜率。

另外作为不对称游戏，几个农民要在沟通手段有限的情况下合作并与地主对抗。

像扑克游戏中最流行的“反事实后悔最小化”(Counterfactual Regret Minimization)算法，就不擅长对这种竞争和合作建模。

全局、农民和地主网络并行学习

首先将手牌状态编码成4x15的独热(one-hot)矩阵，也就是15种牌每种最多能拿到4张。

DouZero是在Deep Q-Learning的基础上进行改进。

使用LSTM(长短期记忆神经网络)编码历史出牌，独热矩阵编码预测的牌局和当前手牌，最终用6层，隐藏层维度为512的MLP(多层感知机)算出Q值，得出打法。

除了“学习者”全局网络以外，还用3个“角色”网络分别作为地主、地主的上家和下家进行并行学习。全局和本地网络之间通过共享缓冲区定期通信。

DouZero在48个内核和4个1080Ti的一台服务器上训练10天击败了之前的冠军，成为最强斗地主AI。

下一步，加强AI间的协作

对于之后的工作，DouZero团队提出了几个方向：

一是尝试用ResNet等CNN网络来代替LSTM。

以及在强化学习中尝试Off-Policy学习，将目标策略和行为策略分开以提高训练效率。

最后还要明确的对农民间合作进行建模。好家伙，以后AI也会给队友倒卡布奇诺了。

见多了这些大风大浪，原本游戏日报君觉得自己已经够淡定的了，没想到的是，最近却被3个剑网三玩家打出的倍数给“吓到了”！

在剑网三的家园玩法里，除了自由建造和种植打理外，还植入了众多的休闲玩法，包括打麻将也包括斗地主。一些老玩家不想做任务，甚至有时候每天上线就是领个叶子（类似于欢乐豆的定位），然后找几个亲友在游戏里打一下午的小游戏。

游戏日报君此前就见过很多相关的趣事，但都没有这次的大——他们打出了1600万倍的恐怖水平。要知道上面提到的几个主播也没这么夸张，旭旭宝宝打到过3万倍，丑开那次是8万倍，最狠的Uzi印象中也才24万倍。1600万倍，相当于533个“旭旭宝宝”了……

虽然据说斗地主史上最大倍数是2亿多倍，但我们平常见过的却没那么夸张，几万倍就很牛了。让人意外的是，剑网三中输掉的两个玩家却并没有那么难受，也同样觉得打出这个倍数很值得吹一下。换成游戏日报君自己，如果这1600万倍输了，估计当场就心态炸了。

仔细研究了一下，游戏日报君才发现这是因为有“倍数限制”。虽然打出1600万倍，但官方的计算规则是“超出1万倍也按照1万倍来算”。

虽然说这样少了些“刺激”，不过带来的好处却更多，大家可以很痛快地冲击更大倍数，也不会因为一下子输光而感到失落，毕竟玩游戏就是为了快乐，这种休闲玩法如果还要绑定太重的胜负心，那玩着也太累了。而且大多数情况下，大家都是跟亲友一起的，玩太大了也不好。

不管怎么说，剑网三这个夸张的1600万倍，确实是有点东西。说起来剑网三怀旧服的二测也要来了，那一批老玩家可要比现在的玩家们更熟悉“斗地主”，不知道又会打出什么水平？