Local LLM Speed - 入力を読む速さと生成する速さを分けて見積もる
ローカル LLM（手元の PC で動かす Large Language Model、大規模言語モデル）が質問に答えるまでの時間は、2 つの段に分かれます。1 つは、入力のトークン（文を区切った単位で、LLM はこの単位で読み書きします）をまとめて読む段で、prefill と呼びます。もう 1 つは、答えを 1 トークンずつ生成する段で、decode と呼びます。Ollama では、ollama run --verbose の表示の prompt eval rate が prefill、eval rate が decode の速さです。 ...