LLMOps

LLMOpsは、MLOpsの考え方を大規模言語モデルを使うシステムに当てはめたものです。運用の対象は、プロンプトとモデルのバージョン管理、品質評価、利用量と費用の監視、応答の記録、誤りや不適切な出力の検知、利用者からのフィードバックの収集、モデル更新への対応などです。

生成AIは出力が一定でなく、モデルの提供側が更新することもあるため、導入後の運用が品質を保つ鍵になります。ログや指標を見える化する考え方はオブザーバビリティと共通します。

注意点は、運用の負担を導入前に見積もることです。小規模な利用では専用の仕組みは不要ですが、顧客向けの商品や重要な業務では、誰が監視し、問題が出たときに誰が対応するかを決めておく必要があります。