Jev に自作ゲームを遊ばせる — 任せ方で点数はどう変わるか

§ 01 — 課題

1 秒未満の判断を繰り返すゲームを、LLM 系の判定器に任せられるか。任せられるとして、効いているのは判定器の判断なのか、こちらが渡した情報や仕組みなのか。後者を切り分けないと「AI に任せたら上手くいった」は検証にならない。

§ 02 — 意思決定

着地のたびに画面の状況を渡し、「待つ / 小ジャンプ / 大ジャンプ」の 3 択を選ばせる形に固定した。比べる相手には、状況を見ずに動く相手(毎回大ジャンプ・ランダム)と自分で書いた判断手順を置き、全員に同じ 20 コースを走らせて中央値とコース別の勝敗で比べた。周ごとに変えるのは渡し方 1 点だけにし、5 周それぞれの判定基準は走らせる前に書いて固定した(最後の先読み編は点数を伸ばす試みとして、その外で行った)。位置と速度だけ渡す → 「当たるかどうか」をコードで計算して渡す → 当たる手をコードが先に消す → 0.5 秒先まで生き残れる手だけ残す、と段階を踏んだ。

§ 03 — 学び

点数を動かしたのは渡し方だった。衝突を「回数」で渡すと当たる手ほど選び、「当たる / 当たらない」で渡すと避けるようになって点数は 5 倍(56 → 285)になった。当たる手をコードが先に消すと初めて毎回大ジャンプの相手に勝ち越したが、残りをランダムに選んでも Jev と差は出なかった(11 勝 9 敗)。先読みを足すと 726 → 1863 まで伸びたが、Jev なしの規則だけでも 1698 だった。「安全な手のうち大ジャンプを優先して」と指示に書くと、毎回大ジャンプする相手と 20 コース中 14 コースで点数が完全に一致した。Jev の利用料は全体で $0.53。次にやるなら、選択の効き目を測れる規模(コース数)を先に見積もり、実時間の遅れ(2 フレームで点数が約 1/4)は先の手を積んでおく形で扱う。