コンテキストウィンドウ・ビジュアライザー

コンテキストウィンドウとは？

コンテキストウィンドウとは、モデルが一度に読み込める文章量の上限のことです。システムプロンプト、会話履歴、貼り付けたドキュメント、そして生成中の応答まで、すべてがこの中に含まれます。単位は文字数や単語数ではなく「トークン数」で測られます。

ウィンドウの上限を超えても、モデルはエラーを出しません。代わりに、古い内容を静かに切り捨ててしまいます。最初に失われやすいのは会話の中盤にある内容で、これはまさに失うと最も困る部分です。長いセッションでは、使用率を50〜70%程度に抑えて余裕を持たせることで、品質の低下を防げます。

ウィンドウは大きければいいというわけではありません。レイテンシーとコストはコンテキストの長さに比例して増加し、実際にウィンドウをほぼ使い切るようなタスクでは、多くのモデルで精度の低下が見られます。タスクに見合った、できるだけ小さいウィンドウを選びましょう。