Ollama Context Length - num_ctx の既定値・確保されるメモリ・超えた入力の切り詰め

Wed, 11 Nov 2026 00:00:00 +0000

Ollama は、手元の PC で LLM（Large Language Model、大規模言語モデル）を動かすソフトウェアです。Ollama でモデルを読み込む時には、モデルが一度に扱えるトークン数の上限（コンテキスト長）を num_ctx というオプションで決めます。トークンは、LLM が文章を読み書きする単位です（トークナイザーのノート）。

KV Cache - 読んだトークンの計算結果を取っておく仕組みとコンテキスト長

Tue, 10 Nov 2026 00:00:00 +0000

KV キャッシュ（key-value cache）は、LLM（Large Language Model、大規模言語モデル）が文章を生成する時に、既に読んだトークンの計算結果をメモリに取っておく仕組みです。トークンは、LLM が文章を読み書きする単位で、単語や単語の一部にあたります（トークナイザーのノート）。

Kv-Cache on Debimate

Ollama Context Length - num_ctx の既定値・確保されるメモリ・超えた入力の切り詰め

KV Cache - 読んだトークンの計算結果を取っておく仕組みとコンテキスト長