モデル選定
LLMには、提供事業者や規模の違いで多くの種類があります。選ぶ観点は、自社の業務での出力品質、応答の速さ、費用、扱える文章の長さ(コンテキストウィンドウ)、データが学習に使われるかなどの契約条件、提供地域とセキュリティ要件、サポートの継続性です。
一般的なベンチマーク(公開の性能比較)の点数は参考になりますが、自社の業務で良いとは限りません。自社の実際の入力例で比べるため、評価データセットを用意して試すのが確実です。用途ごとに複数のモデルを使い分けるマルチモデル戦略も有効です。
注意点は、特定のモデルや製品の優劣は用途と時期によって変わることです。固定的に決めず、定期的に再評価してください。
「モデル選定」が出てくる記事
この用語が出てくる記事はまだありません。
