イニング・アウト・走者・点差を入力すると、ホーム勝率・局面の重要度・戦術提案をリアルタイムで返すエンジン。

Live Demo | English / 日本語

📢 2026-04-19 インフラ移行 BigQuery mlb_shared は退役済。データは RPi5 Parquet (/mnt/ssd/mlb_shared/) に一元化され、訓練パイプラインは RPi5 前提での再設計待ちです。現状は ランタイム（FastAPI / Streamlit / 既存モデル成果物）のみ稼働 しており、新規モデル学習ワークフローは本リポに含まれません。

5 エンジン + アンサンブル構成：

5 エンジンを inverse-Brier 加重アンサンブル + Isotonic Regression キャリブレーションで統合。 学習・検証データは RPi5 Parquet (/mnt/ssd/mlb_shared/) から取得（従来 BigQuery だったが 2026-04-19 退役）。FanGraphs / Savant の共有データは mlb-data-pipeline が取得・管理。

ESPN / FanGraphs にない独自機能：WP に不確実性の幅（信用区間）がつく。

logit(WP) = logit(StatcastLGBM_pred)     ← Statcast 76 特徴量 LightGBM 予測値
           + α_home - α_away              ← チーム力（階層事前分布、30 チーム）
           + β_park                        ← 球場効果（ベイズ縮小推定）
           + γ_season                      ← 時代効果（ランダムウォーク、2015–2024）
           + κ × LI × (α_home - α_away)   ← レバレッジ × チーム力交互作用

• Bayesian stacking: LightGBM が投球・打球・バットトラッキング・FanGraphs 打者/投手指標等 165 特徴量を処理、ベイズ層がチーム力・球場・時代効果 + 不確実性を上乗せ
• 同じゲーム状態でもヤンキース vs オリオールズとオリオールズ vs ヤンキースで WP が異なる
• クアーズフィールドの球場効果が過学習なく反映される
• 序盤は幅広い信用区間 → 終盤は収束（レバレッジに応じた不確実性表現）
• NumPyro SVI（変分推論）で 172 万行に対応

• Win Probability: Home team win probability given inning, outs, runners, score
• Bayesian Credible Interval: 90% CI on WP (Statcast LightGBM + Bayesian stacking) — uncertainty widens in high-leverage, close-game situations
• Conformal Prediction Interval: 90% coverage interval (Split Conformal on 182K holdout plays)
• Leverage Index: How critical the current plate appearance is (1.0 = average, 4.0+ = critical)
• WPA (Win Probability Added): WP change from a single play
• Tactical Recommendations: RE24-based evaluation of 8 tactical options (bunt, steal, squeeze, etc.)
• Matchup Adjustment: Fine-tune WP with batter OPS and pitcher ERA
• AI Commentary (Gemini 2.5 Flash): Natural language game situation analysis with automated quality evaluation
• Live Feed: Real-time game state + pitch/hit data via MLB Stats API (auto-refresh every 30s)
• Preset Scenarios: 6 pre-built game situations for quick analysis
• Bilingual UI: English / Japanese toggle

pip install -r requirements.txt
uvicorn api:app --reload
# → http://localhost:8000/docs

docker compose up --build
# → http://localhost:8001/docs

streamlit run streamlit_app.py

# 9th inning, bottom, 2 outs, bases loaded, tie game
curl "http://localhost:8000/wp?inning=9&top_bottom=bottom&outs=2&runner1=1&runner2=1&runner3=1&score_diff=0"

Response:

{
  "win_probability": 0.93,
  "leverage_index": 8.6,
  "leverage_label": "Very High",
  "tactics": [...]
}

# 9th inning drama with AI analysis
curl "http://localhost:8000/wp/commentary?inning=9&top_bottom=bottom&outs=2&runner1=1&runner2=1&runner3=1&score_diff=0&lang=JA"

Response:

{
  "win_probability": 0.93,
  "leverage_index": 8.6,
  "ai_commentary": "9回裏2アウト満塁、同点という...",
  "quality_evaluation": {
    "score": 95,
    "pass": true,
    "checks": {"mentions_wp": true, "mentions_li": true, ...}
  },
  "model": "gemini-2.5-flash",
  "lang": "JA"
}

curl "http://localhost:8000/commentary/info"

Returns prompt version, quality criteria, and available versions (similar to /model/info in baseball-mlops).

# Before: Bot 9, 1 out, runner on 2nd, tie → After: Bot 9, 1 out, runners 1st & 3rd, tie
curl "http://localhost:8000/wp/play?before_inning=9&before_top_bottom=bottom&before_outs=1&before_runner2=1&before_score_diff=0&after_inning=9&after_top_bottom=bottom&after_outs=1&after_runner1=1&after_runner3=1&after_score_diff=0"

# MLB environment (default)
curl "http://localhost:8000/re24"

curl "http://localhost:8000/wp/scenario?name=ninth_inning_drama"
curl "http://localhost:8000/wp/scenario?name=walkoff_chance"

Available scenarios: ninth_inning_drama, game_start, rally_7th, tied_8th, walkoff_chance, comfortable_lead

24 base-out states (8 runner configurations × 3 out states), each with an expected number of runs to score in the remainder of the inning. Based on MLB 2010-2019 average data. Scaled linearly for different scoring environments.

5 エンジン構成（詳細は Model Validation セクション参照）:

• v1: Normal 近似 + Optuna 最適化（5 パラメータ）
• v2: 実データ WP テーブル（10 年分）+ Markov Chain フォールバック
• LightGBM (state): 勾配ブースティング（25 特徴量）
• LightGBM (Statcast + FG + Fielding): 165 特徴量（58 → 165 拡張、学習中）、58 特徴量版 Brier 0.1544（ベンチマーク比 +1.90%）
• Bayesian Hierarchical: Statcast LightGBM ベース + チーム力・球場・時代効果 + 90% 信用区間

アンサンブルで統合し、Isotonic Regression でキャリブレーション補正。

For each of 9 representative plate appearance outcomes (strikeout, single, double, HR, walk, etc.), calculates the WP change. LI = expected |WP change| / league average |WP change per PA| (≈0.035).

Evaluates 8 tactics by comparing expected RE24 values:

• Sacrifice Bunt / Steal 2B / Steal 3B / Intentional Walk
• Pitching Change / Pinch Hitter / Hit and Run / Squeeze Play

Each tactic has preconditions (e.g., steal requires a runner) and a success probability. The expected RE24 delta determines the recommendation.

Gemini 2.5 Flash を使ったリアルタイム状況解説機能。WP エンジンの構造化データ（勝利確率・レバレッジ指数・RE24・作戦提案・What-If 分析）を LLM に渡し、データに基づいた自然言語解説を生成。

Game State (inning, outs, runners, score)
    ↓
WP Engine (Markov Chain + RE24)
    ↓ full_analysis()
┌─────────────────────────────────────────┐
│ WP: 87.1%  LI: 11.19  RE24: 1.541     │
│ Tactics: [Hit and Run: Recommended]     │
│ What-If: HR→98.2%, K→83.4%, 1B→95.1%  │
└─────────────────────────────────────────┘
    ↓ Structured prompt (v2)
Gemini 2.5 Flash API
    ↓
Natural language commentary
    ↓
Quality Evaluation (6 criteria, 100pt)
    ↓
W&B Logging (latency, tokens, quality score)

baseball-mlops と同じ MLOps 設計思想を LLM 解説生成に適用：

解説が分析データを適切に活用しているかを自動スコアリング：

60点以上で PASS。品質スコアは W&B に時系列で記録され、プロンプト改善のフィードバックループを形成。

# Google AI Studio で無料 API キーを取得
# https://aistudio.google.com/apikey

# 環境変数に設定
export GEMINI_API_KEY="your-api-key"

# Streamlit Cloud の場合は secrets.toml に設定
# GEMINI_API_KEY = "your-api-key"

# W&B トラッキングを有効にする場合（任意）
export WANDB_API_KEY="your-wandb-key"

367K+ play states + 6.8M Statcast pitches（2015–2024、10シーズン）を使って 5 つの WP エンジンを定量検証し、最良のアンサンブルを構築しています。

165 特徴量（Statcast 76: 投球速度・変化量・打球・バットトラッキング・ゾーン・軌道等 + FanGraphs 投手 46: Stuff+/SIERA/ERA-/ゾーン別制球等 + FanGraphs 打者 35: wRC+/選球眼/打球傾向/走塁等 + 走塁守備 8: sprint speed/OAA/catcher pop time・arm strength）、Optuna 50 trial。MLB Stats API live feed からリアルタイム取得可能。

2026-04-19 BigQuery mlb_shared 退役。全共有データは RPi5 /mnt/ssd/mlb_shared/ に Parquet で一元化。

共有データ基盤: FanGraphs / Savant の生データは mlb-data-pipeline が取得・管理（RPi5 backfill orchestrator + systemd timer）。

全共有データ（16 テーブル / 927MB Parquet）は mlb-data-pipeline が RPi5 上で定期更新。mlb_wp には WP 固有の play_states のみ残存。

Statcast データは pybaseball 全 118 カラム + computed 4 = 122 カラムを保持（投球速度・変化量・打球速度・発射角度・xwOBA・バットトラッキング・選手年齢・ストライクゾーン・リリースポイント・投球軌道・MLB ベンチマーク WP 等）。WP モデル学習時は**レギュラーシーズン打席結果のみ（game_type = 'R' AND events IS NOT NULL）**に絞り、約 181 万打席で学習。

baseball-mlops の 5 モデルアンサンブルと同じ設計思想：

weight_i = 1 / brier_score_i
ensemble_pred = Σ(w_i × pred_i) / Σ(w_i)

さらに Isotonic Regression でキャリブレーション補正し、ECE（Expected Calibration Error）を削減。

以下は 2026-04-19 まで稼働していた BigQuery + GitHub Actions ベースの学習パイプライン。BQ 退役と訓練 CI の手動実行停滞を受けて、訓練フローは一旦撤去。既存の学習済みモデル成果物（data/wp_statcast_lgbm.txt / data/conformal_quantiles.json / data/wp_statcast_results.json）はリポジトリ内に保持、ランタイム推論のみ継続稼働。

将来的には RPi5 Parquet 前提での再設計（データ転送戦略 + BQML → Python ML 書換）を別セッションで実施予定。

Optuna（TPE sampler, 500 trial）で Brier Score +3.85% 改善（0.1651 → 0.1587）。

# v1 Optuna 最適化（BQ 非依存、ローカルデータで完結）
gh workflow run "Validate WP Model" \
  --repo yasumorishima/mlb-win-probability \
  -f memo="2024 full season" \
  -f season=2024 -f optimize=true -f n_trials=500

2026-04-19 削除済み workflow: Build WP v2 / Train Statcast WP Model / Train Bayesian WP Model / Train Ensemble WP Model / Verify BQ Data Integrity / Reload Statcast BQ / GCP Deploy。BQ 依存に加えて 2026-03-26 以降実行ゼロ → 事実上停止状態で削除。再設計後に RPi5 Parquet 前提の新 workflow を導入予定。

• WP エンジン v1（Markov Chain + Normal 近似 + Optuna 5 パラメータ最適化）
• FastAPI + Streamlit ダッシュボード（バイリンガル、ライブフィード、What-If）
• BigQuery データ基盤（367K+ play states） — 2026-04-19 mlb_shared + mlb_wp 両方退役、RPi5 Parquet 化完了
• Grafana ダッシュボード — 2026-04-19 廃止（Streamlit で代替）

• v2 エンジン構築（10 年分実データ WP テーブル + Markov Chain フォールバック）
• LightGBM(state) エンジン構築（25 特徴量、Optuna 最適化）
• 3 エンジン比較パイプライン（GitHub Actions、BQ → 自動比較）
• Isotonic Regression キャリブレーション補正
• Leave-one-year-out CV（2015–2024、全 10 年で一貫して改善）

• Statcast 全投球データ BQ ロード（6,838,542 行、pybaseball 全 118 カラム + computed 4 = 122 列、4.77 GB）
• 165 特徴量エンジニアリング（Statcast 76: 投球・打球・バットトラッキング・ゾーン・軌道 + FanGraphs 投手 46: Stuff+/SIERA/ERA-/ゾーン制球 + FanGraphs 打者 35: wRC+/選球眼/打球傾向/走塁/WAR）
• GitHub Actions ワークフロー（Train Statcast WP Model + Reload Statcast BQ）
• 全カラム欠損ガード（_safe_col() ヘルパー）
• LightGBM Optuna 50 trial 完了（Brier 0.1544、ベンチマーク比 +1.90%）
• ランタイムエンジン実装（win_probability_statcast.py）
• MLB Stats API から投球・打球データ取得（リアルタイム + リプレイ対応）
• Conformal Prediction（2024 ホールドアウト 182K plays、90% coverage 90.01%）
• Streamlit アプリ統合（リプレイ + ライブ表示）

• NumPyro 階層モデル（game-state のみ）→ Brier 0.1648、Statcast 未使用のため不採用
• NGBoost Bernoulli → 二値分類では p(1-p) しか出ず認識論的不確実性なし
• Quantile Regression LightGBM → 二値ターゲット（0/1）では分位点が 0 or 1 に収束、不適合
• Conformal Prediction 正式採用（Split Conformal、2024 ホールドアウト 182K plays、90% coverage 90.01%）
• アンサンブル（v1+v2+Statcast、inverse-Brier 加重、Brier 0.1605、Train Ensemble WP ワークフロー）
• Streamlit エンジン比較セクション（v1 / Statcast / Ensemble + 90% 区間表示）
• Bayesian + Statcast 統合（Statcast LightGBM 予測をベースに階層ベイズ上乗せ、チーム・球場・時代効果 + 90% 信用区間）
• BQ 全カラムリロード（pybaseball 全 118 列 + computed 4 = 122 列、4.77 GB）
• 76 特徴量に拡張（babip/iso/delta_run_exp/age/sz/spin_axis/release_pos/trajectory 追加）
• FanGraphs 全指標統合（165 特徴量） — 投手 46 指標（Stuff+/SIERA/ERA-/ゾーン制球等）+ 打者 35 指標（wRC+/選球眼/打球傾向/走塁/WAR 等）を BQ マスタ経由で投球単位データに join
• 走塁・守備マスタ統合（165 特徴量） — Statcast sprint speed（打者走力）+ OAA チーム集計（守備力）+ catcher pop time/arm strength（捕手能力）追加
• 走塁・守備 BQ ロード + カバレッジ検証完了 — sprint 87.2% / team OAA 83.3% / catcher 86.0%（2015 はデータなし、2016-2024 は 93-99%）
• 165 特徴量 Statcast+FG+Fielding モデル学習中（mlb_shared 移行後初回、hosted runner で実行中 2026-03-26）
• Conformal Prediction 再計算
• Bayesian（Statcast base + 階層）学習
• Ensemble（v1+v2+Statcast+Bayesian）学習
• 本番アンサンブル確定（最良エンジン構成を決定）

• Gemini 2.5 Flash 解説生成（/wp/commentary エンドポイント）
• プロンプトバージョニング（PROMPT_REGISTRY）+ 品質自動評価（100pt）
• W&B 実験追跡（レイテンシ・トークン数・品質スコア）
• Gemini API キー設定 + Streamlit Cloud 実動作確認
• プロンプト v3 改善（v2 の品質スコア分析結果ベース）

• mlb-data-pipeline 構築（baseball-mlops との共有データ基盤）
• statcast_pitches 参照先を mlb_shared に切り替え
• mlb_wp.statcast_pitches → mlb_shared.statcast_pitches 移行
• FG stats / fielding テーブルを mlb_shared に統合（テーブル名統一、WP独自fetchスクリプト削除）
• mlb_wp に残るのは play_states のみ
• Preflight check 導入 — 学習前に全テーブル存在・行数・sanitized カラム名・join key 整合性を自動検証
• 2026-04-19 BQ mlb_shared 退役、RPi5 Parquet に一元化（17 work units backfill 完走、reconcile 検証完了）

• RPi5 Parquet → GH Actions ubuntu-latest へのデータ転送戦略確定（Tailscale + rsync 等）
• 165 特徴量訓練 workflow を BQ 非依存で再実装
• Bayesian / Ensemble / Conformal 学習パイプライン復活
• 本番エンジン切り替え + W&B Dashboard

MIT