로컬 AI 모델용 더 나은 프롬프트 쓰는 법
로컬 모델은 최상급 채팅 제품을 작게 줄인 복사본이 아니에요. 쓸모 있는 컨텍스트가 더 짧고, 지시 따르기가 약하고, 모호한 표현을 덜 참아요. 아래 수정은 평범한 집 PC에서 출력을 바꾸는 것들이에요. 작업을 앞에 두고, 형식을 고정하고, 작업을 작게 유지하고, 프롬프트를 쉬운 말로 쓰고, 점검이 필요한 작업에만 점검을 더하고, 길이를 제한하세요.
이 패턴을 바로 복사할 수 있는 판은 로컬 LLM을 위한 최고의 프롬프트 템플릿에 있어요. 더 긴 시험 메모는 실제로 통하는 것에 있어요.
1. 지시를 원문보다 앞에 두세요
많은 로컬 모델은 프롬프트의 끝보다 시작을 더 무겁게 봐요. 긴 글을 붙여 넣고 나서야 “요약해 주세요”라고 하면, 모델이 글을 이어 쓰거나, 앞부분만 요약하거나, 원문 안에 있던 질문에 답할 수 있어요. 역할, 작업, 규칙을 먼저 적으세요. 그다음 본문:처럼 분명한 라벨 아래에 텍스트를 붙여 넣으세요.
통하는 예
반대 예
실패하는 이유: 지시가 늦고, 짧고, 막연해요. 모델은 이미 글 자체가 작업인 것처럼 “읽고” 있어요. “좋게 만들어 주세요”는 좋은 것이 무엇인지 말하지 않아요. 구체적인 요약 지시를 첫 줄로 옮기고 “좋게 만들어 주세요”는 지우세요.
2. 분위기가 아니라 형식을 이름 붙이세요
“좋게”, “전문적으로”, “통찰 있게” 같은 말은 형식이 아니에요. 형식은 개수, 모양, 또는 금지예요. 로컬 모델은 취향보다 개수와 금지를 더 자주 따라요.
통하는 예
반대 예
실패하는 이유: 길이도, 요점 개수도, 서두 금지도 없어요. 제목, 들뜬 서두, 고르지 않은 문단 다섯 개, “도움이 되었으면 합니다”가 자주 나와요. 개수와 문장 제한으로 바꾸세요.
3. 산출물은 하나만 요청하세요
초안, 번역, 제목 목록, 소셜 캡션을 한 프롬프트에 넣으면 작업이 네 개예요. 작은 모델에서는 뒤의 작업이 빠지거나 첫 작업에 섞여요. 나누세요. 직접 이을 수 있어요. 초안을 받아서 새 프롬프트를 시작하고, 번역만 요청하세요.
통하는 예
반대 예
실패하는 이유: 출력이 네 개이고, 길이가 없고, “창의적으로”가 일관성과 싸워요. 모델은 대개 짧은 영어 글을 쓰고 나머지는 대충 가리켜요. 프롬프트 네 개로 나누거나, 더 큰 모델이 있고 출력에 번호를 매기면 많아야 두 개까지로 하세요.
4. 프롬프트는 출력보다 더 쉬운 말로 쓰세요
격식 있는 메모를 요청할 수 있어요. 지시 자체는 여전히 짧은 문장이어야 해요. 중첩된 절, 겹친 부정, 시스템 프롬프트 안의 전문어에서 작은 모델이 실을 놓아요.
통하는 예
반대 예
실패하는 이유: 지시가 작업보다 어려워요. 모델이 전문어를 따라 하거나 막연한 글로 얼어붙을 수 있어요. 누구를 위한 것인지, 얼마나 긴지, 무엇을 넣을지를 말하세요.
5. 잘 깨지는 작업에만 자체 점검을 더하세요
출력이 모양과 맞아야 할 때 자체 점검이 도움이 돼요. JSON, 고정된 글머리 개수, 산문이 들어가면 안 되는 코드. 가벼운 다시 쓰기에는 도움이 안 되고, 작은 모델에서는 답 대신 점검을 출력하게 만들 수 있어요. 한 줄만, 끝에 두세요.
통하는 예
반대 예
실패하는 이유: 점검이 작업보다 무거워요. 원했던 것은 쪽지예요. 추론에 대한 문단과 끝에 딱딱한 쪽지가 자주 나와요. 생일 쪽지라면 자체 점검은 빼고 단어 수 제한을 두세요.
6. 프롬프트와 실행기 모두에서 길이를 제한하세요
프롬프트도 앱도 상한을 두지 않으면 로컬 모델은 늘어져요. 둘 다 정하세요. 프롬프트에는 단어 수나 글머리 수를 쓰세요. Ollama, LM Studio, Jan에서는 그 개수보다 조금 위에 최대 토큰 제한을 두어, 마지막 문장이 단어 중간에 잘리지 않고 끝나게 하세요. 프롬프트 자체의 길이가 불확실하면, 긴 원문 문서를 붙이기 전에 토큰 계산기에 넣어 보세요.
통하는 예
반대 예
실패하는 이유: 끝이 없어요. 로컬 모델은 실행기의 최대 토큰에 닿을 때까지 일반적인 팁을 나열하고, 자주 반복해요. 독자와 길이를 적으세요. “집 PC 사용자에게 백업 단계 6개를, 각각 한 문장으로 주세요.”
짧은 이전과 이후
같은 요청이에요. 첫 번째는 사람들이 자주 치는 방식이고, 두 번째는 7B 모델이 따를 수 있는 판이에요.
한 번 더 다듬고 싶다면, 같은 프롬프트에서 “더 좋게도 만들어 주세요”라고 같은 모델에 요청하지 마세요. 정리된 메모와 새로운 지시 하나만 담은 새 프롬프트를 시작하세요.
이것이 고치지 못하는 것
- 요청한 언어로 쓰도록 훈련되지 않은 모델은, 프롬프트가 단정하다고 유창해지지 않아요.
- 3B 모델은 긴 코드 검토에서 여전히 힘들어해요. 조각을 줄이거나 더 큰 로컬 모델을 쓰세요.
- 모델이 모르는 사실은 더 엄격한 형식으로 강제할 수 없어요. 붙여 넣은 본문만 쓰라고 하세요.
- 온도가 높으면 프롬프트가 좋아도 표현이 계속 섞여요. 반복할 작업은 로컬 모델에서 일정한 결과를 얻는 법을 보세요.