Monitoring

データドリフトは、比較する時点や環境の間でデータの分布が変わることです。例えば、学習時より年配の利用者が増える場合や、同じ入力に対する正解の傾向が変わる場合があります。コードやモデルを変えていなくても、予測性能に影響する可能性があります。 ...

モデル性能劣化の監視（model performance monitoring）は、本番運用しているモデルの予測品質を継続的に観測し、劣化を早期に検知する仕組みです。学習時の精度は本番でずっと維持されるわけではなく、データドリフト や仕様変更で時間とともに落ちていきます。劣化に気づかず放置すると、ユーザー体験やビジネス指標がじわじわ悪化し、最悪の場合は気づいたときには手遅れになります。 ...