Semantic Layer - 指標の定義を一箇所に置いて集計の SQL を組み立てる

セマンティックレイヤー(semantic layer)は、「売上」「販売点数」のような指標の計算式と、テーブル同士のつなぎ方を一箇所に定義しておき、問い合わせのたびにその定義から集計の SQL を組み立てる層です。ダッシュボード、表計算、LLM(Large Language Model、大規模言語モデル)のエージェントは、テーブルに SQL を書く代わりに「どの指標を、どの切り口(地域別・月別のような集計の分け方)で」とだけ問い合わせます。実装には、SQL でテーブルの変換を定義・管理するツールの dbt の Semantic Layer(エンジンは OSS の MetricFlow で、手元の dbt Core と組み合わせても動く)、Looker の LookML、Cube などがあります。 ...

2026年11月11日 · 更新: 2026年11月12日 · 14 分 · nchika

Tokenizer - LLM がテキストを数える単位

トークナイザー(tokenizer)は、テキストを LLM(Large Language Model、大規模言語モデル)が扱える断片の列に分けるプログラムです。この断片をトークン(token)と呼び、LLM はテキストを文字ではなくトークンの列として読み書きします。API の料金、一度に入力できる量、生成の速さも、文字数ではなくトークン数で計算されます。 ...

2026年11月10日 · 更新: 2026年11月14日 · 20 分 · nchika

KV Cache - 読んだトークンの計算結果を取っておく仕組みとコンテキスト長

KV キャッシュ(key-value cache)は、LLM(Large Language Model、大規模言語モデル)が文章を生成する時に、既に読んだトークンの計算結果をメモリに取っておく仕組みです。トークンは、LLM が文章を読み書きする単位で、単語や単語の一部にあたります(トークナイザーのノート)。 ...

2026年11月10日 · 更新: 2026年11月12日 · 23 分 · nchika

Ollama Context Length - num_ctx の既定値・確保されるメモリ・超えた入力の切り詰め

Ollama は、手元の PC で LLM(Large Language Model、大規模言語モデル)を動かすソフトウェアです。Ollama でモデルを読み込む時には、モデルが一度に扱えるトークン数の上限(コンテキスト長)を num_ctx というオプションで決めます。トークンは、LLM が文章を読み書きする単位です(トークナイザーのノート)。 ...

2026年11月11日 · 更新: 2026年11月12日 · 11 分 · nchika

Long Context - 長い入力で LLM の答えが崩れる問題はどこまで解けたか

LLM(Large Language Model、大規模言語モデル)が一度に受け取れる入力の長さを、コンテキストウィンドウ(context window)と呼びます。2026 年には 100 万トークン(1M)を受け取れるモデルも珍しくなくなり、リポジトリのコード一式や数百ページの資料を、そのまま 1 回の入力に入れられるようになりました。トークンの数え方は Tokenizer のノートで説明しています。 ...

2026年11月11日 · 更新: 2026年11月12日 · 16 分 · nchika

Quantization - 重みを 8 bit・4 bit に詰めて小さく速くする

LLM(大規模言語モデル)の中身の大半は、学習で決めた大量の数値で、これを重みと呼びます。量子化(quantization)は、この重みを FP16(16 bit の浮動小数点数)などから、8 bit や 4 bit の小さな整数に丸めて保存する手法です。丸めた整数と、整数を元の大きさに戻すための係数(スケール)だけを持つので、ファイルもメモリも小さくなります。その代わり、元の値との間に丸めの誤差が入ります。 ...

2026年11月10日 · 更新: 2026年11月12日 · 23 分 · nchika

Sampling - temperature を指定しない時に何が使われ、0 にすると毎回同じになるのか

サンプリング(sampling)は、LLM(Large Language Model、大規模言語モデル)が次のトークンの候補ごとに出した確率から、実際に出力するトークンを 1 つ選ぶ処理です。トークンは LLM が文章を扱う単位で、日本語では 1〜数文字ほどの断片です。LLM はトークンを 1 つずつ選んで文章を作ります。temperature・top-p・top-k は、その選び方を調整するパラメータです。 ...

2026年11月10日 · 更新: 2026年11月14日 · 15 分 · nchika

Local LLM Speed - 入力を読む速さと生成する速さを分けて見積もる

ローカル LLM(手元の PC で動かす Large Language Model、大規模言語モデル)が質問に答えるまでの時間は、2 つの段に分かれます。1 つは、入力のトークン(文を区切った単位で、LLM はこの単位で読み書きします)をまとめて読む段で、prefill と呼びます。もう 1 つは、答えを 1 トークンずつ生成する段で、decode と呼びます。Ollama では、ollama run --verbose の表示の prompt eval rate が prefill、eval rate が decode の速さです。 ...

2026年11月11日 · 更新: 2026年11月12日 · 12 分 · nchika

MoE - 総パラメーターとアクティブパラメーターを分ける

MoE(Mixture of Experts)は、LLM(Large Language Model、大規模言語モデル)の層の一部を「エキスパート(expert)」と呼ぶ小さなネットワークの束に分け、トークン(文を区切った単位で、LLM はこの単位で読み書きします)ごとにその一部だけを動かす作りです。どのエキスパートを動かすかは、ルーター(router。原論文では gating network)と呼ぶ小さな層がトークンごとに決めます。そのため、MoE のモデルには、全てのエキスパートを足した総パラメーター(学習で決まる重みの数値)の数と、1 トークンを処理する時に実際に動くパラメーター数(active parameters)の 2 つの数があります。 ...

2026年11月11日 · 更新: 2026年11月12日 · 11 分 · nchika

RAG - 質問に近い文書を検索して LLM に渡す

RAG(Retrieval-Augmented Generation、検索拡張生成)は、質問に答える前に手元の文書を検索し、見つけた文章を質問と一緒に LLM(Large Language Model、大規模言語モデル)に渡して答えさせる仕組みです。 ...

2026年11月10日 · 更新: 2026年11月16日 · 21 分 · nchika

Tool Calling - モデルが返す関数呼び出しの要求とエージェントのループ

ツール呼び出し(tool calling、function calling とも呼ぶ)は、LLM(Large Language Model、大規模言語モデル)に関数の名前・説明・引数の形を渡しておき、モデルに「この関数をこの引数で呼んでほしい」という要求を JSON で返させる仕組みです。 ...

2026年11月10日 · 更新: 2026年11月12日 · 29 分 · nchika

Subagent - 作業を別のコンテキストに任せて要約だけを受け取る

サブエージェント(subagent)は、AI エージェントが作業の一部を別のエージェントに任せる時の、任される側のエージェントです。本記事では、任せる側を親、任される側を子と呼びます。子は親とは別のコンテキスト(モデルに渡す入力の全体)で動き、ファイルを読む・検索するといったツール呼び出しを自分で繰り返し、終わったら結果の要約だけを親に返します。 ...

2026年11月11日 · 更新: 2026年11月12日 · 13 分 · nchika

Structured Output - 文法で次のトークンを絞って JSON の形を守らせる

```json { "person": "松本彩", "date": "2024-03-19", "amount_yen": 120000 } ``` 上記は、文章から人物・日付・金額を取り出して「出力は JSON だけにしてください」と頼んだ時の、qwen3:1.7b の応答です。中身は正しいのですが、Markdown(見出しやコードを記号で書く文書の記法)のコードブロックの囲み(```)が付いているので、Python の json.loads() は 1 文字目で失敗します。手元の 40 件の入力では、25 件がこの形でした。 ...

2026年11月10日 · 更新: 2026年11月12日 · 28 分 · nchika
Claude for Open Sourceの申請結果を待っているイメージ

Claude for Open Sourceに申請して1ヶ月、まだ返事がない

Claude for Open Source に応募した話 本記事では、Claude のプログラムに応募した際の申請文を共有します。申請から1ヶ月ほど経ちましたが返事はなく、サイレント不採択ではないかと予想しています。 ...

2026年9月21日 · 7 分 · nchika
omokage

文体の一致度を評価する nao1215/omokage を作った話

前書き:LLM の文章は読みたくないが、LLM に書かせたい 私は、あなたの文章が読みたいという記事で、二律背反な気持ちを吐露しました。 要約すると、「LLM が生成したと思われる文章を見ると拒否反応が出るのに、自分自身も PR やコミットメッセージ、ドキュメンテーションを LLM に委ねている」という矛盾であり、私はもはや LLM っぽい文章を咎める資格などとっくに失いました。構造化されたリストの乱用、無駄に長くて中身のない文章、太字や絵文字の過剰な装飾。ああいったものが嫌いなくせに、私自身が量産する側に回ってしまっているのですから、ダブルスタンダードも良いところでしょう。 ...

2026年6月2日 · 15 分 · nchika