MLB Statcast × MLOps — Weekly auto-retrained player performance prediction

MLB Statcast のトラッキングデータ（打球速度・バレル率・xwOBA 等）を使い、 Marcel 法を上回る選手成績予測モデルを MLOps パイプラインで継続運用する。

• Statcastデータで選手成績予測の精度は上がるか — Marcel法との比較（Zenn）
• Can Statcast Data Improve MLB Player Performance Predictions?（DEV.to）

※ 未来リークなしの時系列 expanding-window CV による正直な値 ※ LightGBM / CatBoost は Optuna 最適化済み（LGB 1000 trials / CatBoost 500 trials） ※ Ensemble = 最大5モデルの逆MAE重み付き平均（利用可能なモデルで動的に構築）

NPB では Statcast 相当の特徴量が揃わず Marcel 法に届かなかったが、 MLB Statcast の豊富なトラッキング特徴量（EV / Barrel% / Whiff% 等）を使うことで ML が上回った。

Batter: ML wins all 5 CV years + 2025 holdout. Post-2023 improvement accelerating. Pitcher: ML wins 4/5 CV years + 2025 holdout. 2022 loss likely due to limited training data (COVID 2020-2021 only). 2025 holdout: True holdout (never seen by Optuna/CV). Both batter and pitcher ML wins — no overfitting.

2025 is evaluated as a true holdout — never seen during Optuna hyperparameter tuning or CV. Optuna 1000 trials are tuned exclusively on 2020-2024 data, then the final model is trained on all pre-2025 data and evaluated once on 2025. This eliminates any indirect data leakage concern.

CV results (0.0281 / 0.521) and holdout results (0.0291 / 0.484) are consistent — no overfitting detected.

[GitHub Actions — 毎週月曜 JST 11:00]
  ↓ fetch_statcast.py      pybaseball / savant-extras →
                           FanGraphs + Statcast + Bat Tracking + Arsenal + park_factors
  ↓ train.py               LightGBM — Optuna 1000 trials + Recency Decay 0.85/年
  ↓ train_catboost.py      CatBoost — Optuna 500 trials + 異なる分割戦略
  ↓ train_components.py    PECOTA方式 — K%/BB%/BABIP/ISO(HR/9) 個別予測 → Ridge再構成
  ↓ train_bayes.py         ElasticNet — Marcel残差学習 + LGB/Cat OOFスタッキング + MC CI
  ↓ ensemble.py            5モデル逆MAE重み付き平均（利用可能モデルで動的構築）
  ↓ W&B Artifact 保存      MAE / 特徴量重要度 / Optuna best_params / モデルファイル
  ↓ load_to_bq.py          BigQuery に生データ13テーブル + 予測結果をロード
  ↓ bqml_train.py          BigQuery ML — Boosted Tree + 線形回帰（SQLだけでML）
  ↓ predictions/ コミット   Streamlit Cloud が直接読み込む
  ↓ Discord 通知           Python + BQML 全モデルMAE詳細つき通知

[Cloud Run — baseball-mlops-api（本番 API）]
  FastAPI コンテナをサーバーレスデプロイ
  Artifact Registry 経由で Docker イメージを管理
  retrain 完了後に自動デプロイ (master のみ)

[RPi5 — FastAPI / Docker port 8002（開発 API）]
  起動時 + 6 時間ごとに W&B production モデルを自動ロード
  POST /model/reload で即時反映も可能

[BigQuery — data-platform-490901.mlb_statcast]
  生 Statcast データ 13テーブル + 予測結果 + BQML モデル + メトリクス履歴
  分析用ビュー 7本（打球品質リーダーボード、投手球種戦略分析 等）

[Streamlit — 本番 / 開発 2 環境]
  本番 (master)  打者 wOBA / 投手 xFIP 予測ランキング + Marcel vs ML 散布図
  開発 (develop) 上記 + Spring Training 2026 実績 vs 予測 リアルタイム検証

本プロジェクトは、プロ野球球団が運用する AWS SageMaker + Airflow パイプラインと同等のアーキテクチャを GCP 上に構築している。

• CV: 時系列 expanding-window splits（先頭2年 training only、3年目以降を val）
• 最適化: Optuna 1000トライアル（TPESampler + MedianPruner）
  • 探索パラメータ: learning_rate / num_leaves / min_child_samples / feature_fraction / bagging_fraction / reg_alpha / reg_lambda
  • n_estimators 上限 1000 + early_stopping=50 で自動打ち切り

• CV: LightGBM とは異なる分割戦略でアンサンブル多様性を確保
• 最適化: Optuna 500 トライアル
• Recency Decay: 0.85/年で近年サンプルを重み付け
• OOF: cat_oof_batter/pitcher.csv → Bayes スタッキングに利用

• 打者: K% / BB% / BABIP / ISO を個別に LightGBM で予測 → Ridge で wOBA を再構成
• 投手: K% / BB% / HR/9 を個別に LightGBM で予測 → Ridge で xFIP を再構成
• 最適化: 各コンポーネント Optuna 200 トライアル
• 個別指標の予測を合成するため、モデルの解釈性が高い

• ターゲット: actual(t+1) − marcel(t+1) の残差（delta）を予測
• スタッキング: lgb_delta = lgb_oof − marcel（LightGBM OOF による残差補正）
• CV: 同じ時系列 expanding-window splits で alpha × l1_ratio をグリッドサーチ
• CI: MC サンプリング N(delta_hat, σ) × 5000 → 10th/90th パーセンタイル = 80% CI
• Recency Decay: 0.85/年で近年サンプルを重み付け

master  ─→  baseball-mlops.streamlit.app     （本番）
  ↑ PR merge
develop ─→  baseball-mlops-dev.streamlit.app  （開発・検証）

• develop で Spring Training 検証・UI 改善・モデル改善を試す
• 安定したら master に merge して本番反映
• Spring Training データは毎日 JST 23:00 に develop へ自動コミット

All Statcast raw data, predictions, and BQML models are stored in BigQuery (free tier).

v_batter_trend / v_pitcher_trend / v_batted_ball_leaders / v_pitcher_arsenal / v_park_effects / v_model_comparison / v_data_coverage

Statcast = Hawk-Eye と同じトラッキングデータ形式。 NPB Hawk-Eye データ公開後、fetch_statcast.py のデータソースを差し替えるだけで移植可能な設計。

Built with Claude Code / LightGBM + CatBoost + Optuna + W&B + BigQuery + BigQuery ML + Cloud Run + FastAPI + Streamlit + GitHub Actions