4. 全ソースコードと使用したモデル

この記事の目的

スライドパズルAIの実験に使ったソースコード全体を公開します。ファイルを開いたときだけコードを読み込みます。

使用したモデル

• DQN: Stable-Baselines3。観測は 4×4 のタイル番号、行動は空きマスの上下左右の4種類、報酬はタイルごとに正しい位置まで残ったマンハッタン距離を足した値の負数です。1回目の記事の無限の繰り返しは、この報酬から生まれました。
• 模倣学習(BC): 人が直接解いた記録と、C++ の教師(A*)が作った解答を DQN のポリシーに先に学習
• Planner・Executor: PyTorch の CNN 二つ(畳み込み 32→64 チャネル)。Planner は次にそろえるタイルを、Executor はそのタイルを動かす一手を選びます。ポリシーが間違えた局面を教師の答えでラベル付けし直す DAgger でデータを補強しました。
• ワールドモデル: C++ エンジンで先の手をシミュレーションし、盤の進み具合(0〜1)を予測する ValueNet の点数で手を選びます。
• VLM: Hugging Face の Qwen2.5-VL-3B-Instruct。パズルの盤の画像と打てる手のリストを渡し、次の手をJSONで受け取りました。

補助として使ったもの

• C++ の教師(PuzzleTeacher・Planner・Executor): デモの生成と採点の基準。研究モードでは、エージェントが出した手を上書きしません。
• agent_loop_guard: DQN・VLM が同じ盤を繰り返したら、マンハッタン距離を減らす手で抜け出させる安全装置
• Webゲームのお任せ解答: 学習モデルではなく、ブラウザ内で動く重み付き A* 探索(マンハッタン距離 + 線形衝突)

もう一度動かした結果

模倣学習は40回反復しても、教師と同じ手を選んだ割合が71.1%で止まりました。

80手シャッフルした盤を同じ条件でもう一度解かせました。学習したモデルは1局も終えられず、ループのルールをコードで入れた C++ Executor だけがすべて解きました。

Planner・Executor のニューラルネットは、次のタイル選びで教師と83%、一手選びで40%一致し、1行目すら最後までそろえられませんでした。ワールドモデルは10局すべてを解きましたが、ValueNet を切って動かしても手順はまったく同じでした。盤を解いたのは ValueNet ではなく、内部で動く C++ Executor です。

Qwen2.5-VL-3B には盤の絵と打てる手を渡し、毎手直接尋ねました。4手しかシャッフルしていない盤も解けませんでした。20局すべてで2マスを往復するか、2×2 の4マスを延々と回し続けました。ループの回し方は知っていても、いつ止めるべきかは分かっていません。

フォルダ構成

• src: Qt6/C++ のパズルエンジン、Python 用の C API、Planner・Executor・Teacher、Qt の画面と TCP 学習サーバー
• ルートの .py: Gymnasium 環境、デモの生成、DQN・BC・Planner/Executor・ワールドモデルの学習、Qt 接続クライアント、評価シミュレーション
• web: Next.js のWebパズル画面

サーバーのデプロイ設定、監視・自動化スクリプト、学習データとモデルの重み、パズルの絵のファイルは公開範囲から除外しました。広告のようなWeb運用のコードと設定ファイル、デバッグ用ツールも除いたため、一部の import と README の scripts のパスは公開していないファイルを指しています。

全ソース