コンテキストウィンドウ

コンテキストウィンドウとは、大規模言語モデルが1回の処理で入力と出力を合わせて扱える情報量の上限のことで、通常はトークン数で表されるものです。指示文、会話の履歴、参照資料、モデルの回答のすべてがこの枠の中に収まる必要があります。

上限を超える量は一度に処理できないため、長い文書を扱うサービスでは、要約して渡す、必要な箇所だけを検索して渡す（RAG）、分割して処理するといった工夫が必要です。上限の大きいモデルを選べば大量の資料をそのまま渡せますが、入力が増えるほど利用料金と応答時間も増えます。

また、上限内であっても、入力が長いと必要な情報が回答に十分反映されない場合があります。事業で使う際は、実際の業務データの長さで精度を確認し、上限の大きさだけでモデルを選ばないことが大切です。