Sampling - temperature を指定しない時に何が使われ、0 にすると毎回同じになるのか
サンプリング（sampling）は、LLM（Large Language Model、大規模言語モデル）が次のトークンの候補ごとに出した確率から、実際に出力するトークンを 1 つ選ぶ処理です。トークンは LLM が文章を扱う単位で、日本語では 1〜数文字ほどの断片です。LLM はトークンを 1 つずつ選んで文章を作ります。temperature・top-p・top-k は、その選び方を調整するパラメータです。 ...