KV Cache - 読んだトークンの計算結果を取っておく仕組みとコンテキスト長
KV キャッシュ（key-value cache）は、LLM（Large Language Model、大規模言語モデル）が文章を生成する時に、既に読んだトークンの計算結果をメモリに取っておく仕組みです。トークンは、LLM が文章を読み書きする単位で、単語や単語の一部にあたります（トークナイザーのノート）。 ...
Kv-Cache
Ollama Context Length - num_ctx の既定値・確保されるメモリ・超えた入力の切り詰め
Ollama は、手元の PC で LLM（Large Language Model、大規模言語モデル）を動かすソフトウェアです。Ollama でモデルを読み込む時には、モデルが一度に扱えるトークン数の上限（コンテキスト長）を num_ctx というオプションで決めます。トークンは、LLM が文章を読み書きする単位です（トークナイザーのノート）。 ...