로컬 모델용 토큰 계산기
로컬 모델에 붙이기 전에 프롬프트가 토큰을 얼마나 쓸지 추정하세요. 세기는 브라우저에서 계산돼요. Llama, Mistral, Phi, Qwen의 공식 토크나이저가 아니고, 대략 10에서 15퍼센트 어긋날 수 있어요. 프롬프트가 짧은지, 여유로운지, 컨텍스트 창을 곧 채울지 보는 데 쓰세요. 과금 수치로 쓰지 마세요.
추정을 만드는 법
이 페이지는 글자 수를 세고, 고른 모델 계열에 따라 나눗수로 나눠요. 영어 산문은 Llama식 BPE 토크나이저에서 토큰당 네 글자 근처인 경우가 많아요. 코드, JSON, 다른 문자 체계의 텍스트는 더 촘촘하거나 더 성길 수 있어서, 결과를 추정이라고 표시해요. 도구는 글자 수와 단어 수도 보여 주어 숫자를 감각으로 확인할 수 있어요. 400단어 영어 문단은 4,000이 아니라 대개 500에서 700토큰 범위예요.
Phi식 토크나이저는 영어에서 조금 더 촘촘한 경우가 많아서, 그 선택지는 조금 더 작은 나눗수를 쓰고 추정이 약간 더 높게 나와요. Qwen은 계획용 추정에서는 Llama 계수에 충분히 가까워요. 정확한 수가 필요하면 실행기의 토크나이저나 모델 자체의 도구를 쓰세요. 이 페이지는 매번 그 숫자와 같지 않아요.
숫자를 쓰는 법
- 붙일 계획인 프롬프트와 문서를 텍스트로 붙여 넣으세요.
- 가장 가까운 모델 계열을 고르세요. 모르겠으면 Llama / Mistral을 쓰세요.
- 추정을 실제로 돌리는 컨텍스트와 비교하세요. 4k, 8k, 16k, 또는 당신 양자화에 대해 모델 카드가 말하는 값.
- 답을 위한 여유를 남기세요. 프롬프트가 이미 창의 70퍼센트라면, 모델은 답을 자르거나 프롬프트의 앞부분을 놓쳐요.
실용적인 여유: 긴 답을 원하면 프롬프트를 컨텍스트의 절반 미만으로, 짧은 추출만 원하면 4분의 3 미만으로 두세요. 추정은 실행기가 같은 창을 쓴다는 약속이 아니에요. 일부 앱은 보이지 않는 시스템 프롬프트용으로 토큰을 남겨 둬요. 답장이 일찍 멈추면, 지시만이 아니라 원문을 줄이세요.
풀어 쓴 예
- 첨부 없는 120단어 이메일 프롬프트는 대개 몇백 토큰이에요. 창 크기가 문제가 아니에요. 형식과 온도가 문제예요. 일정한 결과를 얻는 법을 보세요.
- 3,000단어 글에 요약 지시는 4,000토큰 근처에 닿을 수 있어요. 짧은 요약을 위한 여유가 있는 8k 창에는 맞고, 4k 창에서는 빠듯해요.
- “맥락으로” 붙여 넣은 코드 파일 전체는 질문 전에 예산을 터뜨리는 경우가 많아요. 저장소가 아니라 함수를 붙여 넣으세요.
이 도구가 하지 않는 것
- 모델의 어휘 파일을 불러오지 않아서, 특수 토큰이나 보이지 않는 시스템 프롬프트는 셀 수 없어요.
- 모든 언어에 완벽한 세기를 지원하지 않아요. 중국어, 일본어, 한국어는 영어 계수가 가정하는 것보다 토큰당 글자가 적은 경우가 많아서, 추정이 낮게 나올 수 있어요. 텍스트가 대부분 영어가 아니면 숫자를 바닥으로 보고 여유를 더 남기세요.
- 텍스트를 어디에도 보내지 않아요. 세기는 페이지 안에서 일어나요.
질문
왜 LM Studio나 Ollama의 토큰 수와 같지 않나요?
그 앱들은 모델의 토크나이저를 써요. 이 페이지는 글자 나눗수를 써요. 약 15퍼센트 안쪽이면 예상된 차이예요. 한도에서 몇백 토큰 안쪽이면 이 추정이 아니라 실행기를 믿으세요.
Gemma나 GPT식 로컬 모델에는 어느 계열을 고르나요?
일반 또는 Llama 추정을 쓰세요. 차이는 이 방법의 오차 범위보다 작아요.
답도 세야 하나요?
이 상자는 붙여 넣은 것만 세요. 답 길이는 직접 더하세요. 글머리 다섯 개는 싸요. “2,000단어를 쓰세요”는 그렇지 않아요.
더 짧은 토큰 수가 나쁜 답을 고치나요?
실패가 가득 찬 창 때문이었을 때만 그래요. 짧은 프롬프트에서 형식이 틀리면 프롬프트를 다시 쓰세요. 로컬 AI 모델을 위한 더 나은 프롬프트 쓰는 법부터 시작하세요.