Long Context - 長い入力で LLM の答えが崩れる問題はどこまで解けたか
LLM（Large Language Model、大規模言語モデル）が一度に受け取れる入力の長さを、コンテキストウィンドウ（context window）と呼びます。2026 年には 100 万トークン（1M）を受け取れるモデルも珍しくなくなり、リポジトリのコード一式や数百ページの資料を、そのまま 1 回の入力に入れられるようになりました。トークンの数え方は Tokenizer のノートで説明しています。 ...