予測モデルの「過去データの罠」を見抜く5つの教訓｜不採用モデル研究ノートまとめ

AIで競艇の予測モデルを改良しようと、5つの案を試して、5つとも不採用にしました。その記録が「不採用モデル研究ノート」の連載です。

5本を並べてみると、失敗の形はほとんど同じでした。過去データでは良く見えたのに、翌年に確かめると崩れる、というパターンです。これは競艇に限らず、売上予測でも需要予測でも、AIで予測モデルを作る人なら誰でも踏みうる罠です。

この記事では、5つの不採用案を振り返り、そこから分かった「過去データの罠」を見抜く5つの教訓をまとめます。

この記事のポイント

• 過去データで良く見えるルールほど、翌年に崩れやすい
• 学習データを都合よく絞ると、かえって弱くなる
• 1つの指標だけで最適化すると、ほかの大事なものが壊れる
• 迷ったら、複雑な改善より単純な形を選ぶ

検証のやり方：選ぶ期間と、確かめる期間を分ける

5本とも、同じルールで検証しています。

• ルールを選ぶ期間： 2024〜2025年のデータ
• 確かめる期間： 2026年のデータ（選ぶときには一切使わない）
• 数字の意味： どれも学習に使っていない期間で計算し直した値で、実際の運用成績ではない

基準になる数字も先に決めておきます。3連単は控除率が約25%なので、売れている割合どおりに買えば回収率は約75%になります。つまり75%を超えたかどうかが「予想に意味があるか」の最初の目安で、100%を超えるのは非常に難しい、というのが前提です。

不採用にした5つの案

ここからは、5本に共通していた教訓を1つずつ見ていきます。

教訓1：過去データで良く見えるルールほど、翌年に崩れる

連載の#1では、穴モデルの買い方を絞るルールを候補から探しました。2024〜2025年だけを見ると、回収率90%を超えるルールがいくつも見つかりました。ところが2026年に同じルールを当てると、軒並み80〜85%に下がりました。

極端だったのが、次のルールです。

平均すると良く見えますが、実態は「たまたま大きな配当が1〜2本あった年」があっただけでした。候補をたくさん試せば、偶然に上振れしたものが必ず混ざります。選んだ期間とは別の期間で確かめることが、この罠を避ける唯一の方法です。

教訓2：学習データを都合よく絞ると、かえって弱くなる

連載の#2では、荒れるレースに強い穴専門モデルを作ろうとしました。まくりや差しで決まったレースだけを学習させれば、「攻めが決まる形」を覚えるはずだ、という発想です。

結果は逆でした。学習できたのは全体の約37%のレースだけで、得意なはずの「攻めで決まったレース」でも、正解の買い目を既存モデルより下の順位に置いていました。逃げで決まったレースでは、正解が平均103番目で、ほぼ当たりません。

目的に合うデータだけを集めれば強くなる、とは限りません。データを減らすと、それだけで不利になることを忘れがちです。

教訓3：効く情報でも、効く方向が違うことがある

連載の#3では、展示タイムなどの直前情報で艇の力関係が崩れたレースほど荒れるのではないか、と考えました。14万6,201レースで調べたところ、直前情報そのものは確かに効いていました。展示で順位を上げた艇は、事前の予想よりはっきり多く勝ちます。

ただし、効くのは「本命がより当たる」方向でした。力関係の崩れ方が大きくても小さくても、万舟の率は約19%で変わりません。崩れると「別の艇が新しい本命になって、その本命が来る」だけで、混戦にはならなかったのです。

情報に意味があることと、自分の目的に使えることは別です。効いている方向を確かめずに使うと、的外れな改善になります。

教訓4：1つの指標だけで最適化すると、ほかが壊れる

連載の#5では、それまでの改良を全部まとめた新しいHybridを作りました。予想の精度ははっきり良くなり、上位6点に正解が入る率は約29%から約37%に上がりました。

問題は、「何点買うか」を回収率だけで決めたときに起きました。

回収率は4ポイント上がりましたが、7〜8レースに1回しか当たらず、72連敗もします。調べると、回収率が上がったのは予想が上手くなったからではなく、割に合わない買い目を買わなくなっただけでした。荒れたレースで高配当を拾うという、本来の役割も果たしていませんでした。

1つの数字だけを追うと、その数字は上がっても、ほかの大事なものが壊れます。 最適化する前に、崩してはいけない条件を先に決めておく必要があります。

教訓5：迷ったら、複雑な改善より単純な形を選ぶ

連載の#4では、直前補正を艇番ごとに変える、1号艇だけ特別扱いする、大きく動かす補正だけ弱める、といった細かい調整を試しました。どれも2024〜2025年では良くなったのに、2026年にははっきりした改善として残りませんでした。

現象そのものは2年とも同じ向きに出ていました。それでも、細かい区分を増やすほど、過去データの偶然に合わせてしまいます。TAKENOKO BOATでは、複雑な補正が単純な補正に勝てないときは、単純な方を採ると決めています。

それでも、残ったものはある

5本とも「不採用」でしたが、何も得られなかったわけではありません。

• 直前補正は、単純な形のままで効いていることが確認できた
• 穴モデルの補正を強める案は、翌年も改善が続いたので候補に残した
• 予想を混ぜる土台（本命モデル75%＋穴モデル25%）は、予想の精度をはっきり上げた
• 本命が勝ったとき、すぐ外の艇の2着を予想が約1.3倍少なく見ている、という大きな「ずれ」が見つかった（次の研究テーマ）

筆者の判断：なぜ不採用の案を公開するのか

この連載を始めたのは、うまくいかなかった理由にこそ、予想の難しさが詰まっていると考えたからです。成功した改善だけを並べると、過去データの罠にはまった数字まで「成果」に見えてしまいます。

5本を通して決めたルールは、次の2つです。

1. 回収率が上がっても、ほかの大事なもの（的中率やモデルの役割）が悪くなる候補は採らない
2. 複雑な改善が単純な形に勝てないなら、単純な方を採る

AIで予測モデルを作る人へのチェックリスト

競艇以外の予測にも使える形にまとめました。

• ルールを選ぶ期間と、確かめる期間を分けているか
• 「何もしなかった場合」の基準の数字（今回なら75%）を先に決めているか
• 良い結果が、特定の年や数件の大当たりに頼っていないか
• 学習データを絞ったことで、データ量が大きく減っていないか
• 改善した指標のかわりに、悪くなった指標がないか
• 同じ結果なら、より単純な方法を選んでいるか

まとめ

• 5つの不採用案は、どれも「過去データでは良く見えた」ものだった
• 選ぶ期間と確かめる期間を分けると、偶然の上振れを見抜ける
• 1つの指標だけで最適化せず、崩してはいけない条件を先に決める
• 迷ったら単純な形を選ぶ。不採用の理由を残すことが、次の改善の材料になる

関連記事

• 不採用モデル研究ノート #1　安い目を切れば、穴モデルは勝てるのか
• 不採用モデル研究ノート #2　決まり手で学習を絞った「アナ吉」候補が負けた理由
• 不採用モデル研究ノート #3　直前情報で力関係が崩れるレースは、荒れるのか
• 不採用モデル研究ノート #4　直前補正（Neo）を強く・細かくしても、伸びなかった話
• 不採用モデル研究ノート #5　回収率だけ上がった「激絞りHybrid」を採用しなかった理由
• 33通り試して、28通りは全敗だった

よくある質問

Q. 予測モデルの検証で、いちばん大事なことは何ですか？
A. ルールやパラメータを選ぶ期間と、それを確かめる期間を分けることです。同じ期間で選んで確かめると、偶然に上振れした結果を「改善」と勘違いしやすくなります。

Q. 回収率が上がったのに採用しないのはなぜですか？
A. 回収率を上げるかわりに、的中率が大きく下がったり、モデル本来の役割を果たさなくなったりしたためです。1つの指標だけで判断しないようにしています。

Q. この記事の数字は、実際に舟券を買った成績ですか？
A. いいえ。過去のレース（主に2024年1月〜2026年8月）を、学習に使っていない期間で計算し直したものです。舟券の購入は、ご自身の判断と責任でお願いします。