Long Context - 長い入力で LLM の答えが崩れる問題はどこまで解けたか
LLM(Large Language Model、大規模言語モデル)が一度に受け取れる入力の長さを、コンテキストウィンドウ(context window)と呼びます。2026 年には 100 万トークン(1M)を受け取れるモデルも珍しくなくなり、リポジトリのコード一式や数百ページの資料を、そのまま 1 回の入力に入れられるようになりました。トークンの数え方は Tokenizer のノートで説明しています。 ...