Quantization - 重みを 8 bit・4 bit に詰めて小さく速くする
LLM（大規模言語モデル）の中身の大半は、学習で決めた大量の数値で、これを重みと呼びます。量子化（quantization）は、この重みを FP16（16 bit の浮動小数点数）などから、8 bit や 4 bit の小さな整数に丸めて保存する手法です。丸めた整数と、整数を元の大きさに戻すための係数（スケール）だけを持つので、ファイルもメモリも小さくなります。その代わり、元の値との間に丸めの誤差が入ります。 ...