Tokenizer - LLM がテキストを数える単位
トークナイザー（tokenizer）は、テキストを LLM（Large Language Model、大規模言語モデル）が扱える断片の列に分けるプログラムです。この断片をトークン（token）と呼び、LLM はテキストを文字ではなくトークンの列として読み書きします。API の料金、一度に入力できる量、生成の速さも、文字数ではなくトークン数で計算されます。 ...
トークナイザー（tokenizer）は、テキストを LLM（Large Language Model、大規模言語モデル）が扱える断片の列に分けるプログラムです。この断片をトークン（token）と呼び、LLM はテキストを文字ではなくトークンの列として読み書きします。API の料金、一度に入力できる量、生成の速さも、文字数ではなくトークン数で計算されます。 ...