ローカルモデル向けトークンカウンター
ローカルモデルに貼る前に、プロンプトがトークンをいくつ使うか推定してください。数えはブラウザの中で計算されます。Llama、Mistral、Phi、Qwen の公式トークナイザーではなく、おおよそ10から15パーセントずれることがあります。プロンプトが短いか、余裕があるか、コンテキストウィンドウを埋めそうかを見るために使ってください。請求の数字としては使わないでください。
推定の作り方
このページは文字数を数え、選んだモデルの系統に応じた除数で割ります。英語の散文は、Llama 式の BPE トークナイザーではトークンあたり四文字付近であることが多いです。コード、JSON、他の文字体系のテキストはより密にもより疎にもなり得るので、結果は推定と表示します。ツールは文字数と語数も示すので、数字を感覚で確認できます。400語の英語の段落は、4,000ではなく、しばしば500から700トークンの範囲です。
Phi 式のトークナイザーは英語で少しコンパクトなことが多く、その選択肢は少し小さい除数を使い、推定は少し高く出ます。Qwen は計画用の推定では Llama の係数に十分近いです。正確な数が必要なら、実行環境のトークナイザーかモデル自身の道具を使ってください。このページはその数字と毎回は一致しません。
数字の使い方
- 付ける予定のプロンプトと文書を、テキストとして貼ってください。
- 最も近いモデルの系統を選んでください。迷うなら Llama / Mistral を使ってください。
- 推定を、実際に動かすコンテキストと比べてください。4k、8k、16k、または自分の量子化についてモデルカードが言う値。
- 答えのための余地を残してください。プロンプトがすでに窓の70パーセントなら、モデルは答えを切るか、プロンプトの先頭を落とします。
実務的な余裕: 長い答えが欲しいならプロンプトをコンテキストの半分未満に、短い抽出だけなら四分の三未満にしてください。推定は、実行環境が同じ窓を使うという約束ではありません。一部のアプリは、見えないシステムプロンプトのためにトークンを取っておきます。返信が早く止まるなら、指示だけでなく原文を短くしてください。
手順を追った例
- 添付のない120語のメール用プロンプトは、たいてい数百トークンです。窓の大きさは問題ではありません。形式と温度が問題です。安定した結果を得る方法を見てください。
- 3,000語の記事に要約の指示は、4,000トークン付近に着地することがあります。短い要約の余地がある 8k の窓には収まり、4k の窓では窮屈です。
- 「文脈として」貼ったコードファイル全体は、質問の前に予算を使い切ることが多いです。リポジトリではなく関数を貼ってください。
このツールがしないこと
- モデルの語彙ファイルを読み込まないので、特殊トークンや見えないシステムプロンプトは数えられません。
- すべての言語に完全な数えを対応していません。中国語、日本語、韓国語は、英語の係数が仮定するよりトークンあたりの文字が少ないことが多く、推定は低く出ることがあります。テキストの大半が英語でなければ、数字を下限と見て、余裕を余分に残してください。
- テキストをどこにも送りません。数えはこのページの中で起きます。
質問
なぜ LM Studio や Ollama のトークン数と一致しないのですか？
それらのアプリはモデルのトークナイザーを使います。このページは文字の除数を使います。約15パーセント以内なら、予想される差です。上限から数百トークン以内なら、この推定ではなく実行環境を信じてください。
Gemma や GPT 式のローカルモデルには、どの系統を選べばよいですか？
汎用か Llama の推定を使ってください。差は、この方法の誤差より小さいです。
答えも数えるべきですか？
この箱は貼ったものだけを数えます。答えの長さは自分で足してください。箇条書き五つは安いです。「2,000語書いてください」はそうではありません。
より短いトークン数は、悪い答えを直しますか？
直るのは、原因が満杯の窓のときだけです。短いプロンプトで形式が違うなら、プロンプトを書き換えてください。ローカルAIモデル向けに、より良いプロンプトを書く方法から始めてください。