人でも理解できるこのような簡単なルールをAIが理解できないのは、私が思うに、AIのすべての学習が未来の報酬に基づいているからです。先に述べたように、数字の次に空きマスを置いてループを回す必要がありますが、数字が空きマスへ動いて報酬を受け取れば、次も同じことが起き、数字は再び前の空きマスへ動いて報酬を得ようとします。その後は、すでに見てきたように無限ループに陥ります。

これはヒューリスティックにはない問題です。ヒューリスティックはIF文の組み合わせなので、未来の報酬などというものは最初から存在しません。だからヒューリスティックは簡単にこの山場を越えられます。

ヒューリスティックがAIより優れている点は、ハードウェアによって違うでしょうが、今のところヒューリスティックのほうが圧倒的に速くて正確だということです。AIは確率に基づいて動くので、技術が発達してハードウェアが良くなれば、いずれはどんなヒューリスティックよりも速い結果を出すようになるでしょう。しかし、ヒューリスティックには解けるのにAIには決して解けない問題がときどきあります。

AIの従来の学習方法は貪欲です。AIが人間の知能に近づいたり、近い将来に超えたりするなら、AIが何か過ちを犯しても、それはすべて人間の欲のせいでしょう。従来のAIの学習方法に、欲ではなく善意の結果を反映していたなら、学習時間は延びるでしょうが、今のようにAIがズルをしたり、欲のために仲間を裏切ったりはしないはずです。

この問題は、欲のないヒューリスティックを教師にしてAIを学習させられる良い例だと私は考えています。

全ソースと使用したモデルは「4. 全ソースコードと使用したモデル」の記事で見られます。