実験管理(experiment tracking) - MLflow で 1 位の run は、seed を変えても 1 位か
実験管理(experiment tracking)は、モデルを 1 回学習させるたびに、使った設定とデータ、出てきた評価の値を 1 組にして残す仕組みです。この 1 組を run と呼びます。代表的なツールの MLflow では、Python のコードから run を記録し、後から評価の値が高い順に並べたり、2 つの run を見比べたりできます。 ...
実験管理(experiment tracking)は、モデルを 1 回学習させるたびに、使った設定とデータ、出てきた評価の値を 1 組にして残す仕組みです。この 1 組を run と呼びます。代表的なツールの MLflow では、Python のコードから run を記録し、後から評価の値が高い順に並べたり、2 つの run を見比べたりできます。 ...
モデルレジストリ(model registry)は、学習済みモデルに名前とバージョンを付け、学習時の条件や評価結果と結び付けて管理する仕組みです。新しいモデルを本番へ出す時や、問題が起きて以前のモデルへ戻す時に、どのモデルを使うか指定できます。 ...
推論サービング(inference serving)は、学習済みモデルに本番の入力を渡して予測を返す仕組みです。例えば、解約しそうな顧客を当てるモデルなら、会員ページを開いたユーザーに解約確率をその場で返すこともできますし、全顧客の解約確率を夜間に計算して DB(データベース)へ保存しておくこともできます。前者をオンライン推論、後者をバッチ推論と呼びます。どちらを選ぶかで、サーバーの構成・コスト・監視する指標が変わります。 ...
データドリフト(data drift)は、モデルを学習した時と本番とで、データの分布が変わることです。コードもモデルも変えていないのに予測が外れ始める原因の 1 つで、本番のモデルを監視する仕組みには、入力の分布を学習時と比べてアラートを出す機能がよく入っています。 ...
モデル性能劣化の監視は、本番で動くモデルの予測が、学習した時より当たらなくなっていないかを見張り続けることです。分類のモデルなら、予測と後から分かる正解を突き合わせて正解率を出すのが基本で、正解が届くまでの間は、入力の分布やモデルの確信度を代わりに見ます。確信度は、モデルが予測したクラスに付けた確率で、2 値分類なら 0.5 から 1 の値を取ります。 ...
再学習パイプライン(retraining pipeline)は、本番のモデルを新しいデータで学習し直し、評価してからデプロイするまでを自動化する仕組みです。入力データの分布や入力と正解の関係は時間とともに変わるので(データドリフト)、一度学習したモデルの精度は少しずつ落ちていきます。 ...