Jak pisać lepsze Prompty do lokalnych modeli AI
Model lokalny to nie mniejsza kopia wielkiego czatu z chmury. Ma krótsze użyteczne okno kontekstu, słabiej trzyma się instrukcji i ma mniej cierpliwości do niejasnych sformułowań. Poprawki poniżej to te, które zmieniają wynik na zwykłym domowym komputerze: najpierw zadanie, zablokuj format, trzymaj zadanie małe, pisz Prompt prostym językiem, dodawaj sprawdzenie tylko wtedy, gdy zadanie tego wymaga, i ogranicz długość.
Wersje gotowe do skopiowania są w Najlepszych szablonach Promptów dla lokalnych LLM. Dłuższe notatki z testów są w Co naprawdę działa.
1. Instrukcje przed tekstem źródłowym
Wiele modeli lokalnych mocniej waży początek Promptu niż koniec. Jeśli wkleisz długi artykuł i dopiero potem napiszesz „streść to”, model może dokończyć artykuł, streścić tylko początek albo odpowiedzieć na pytanie, które stało w źródle. Najpierw podaj rolę, zadanie i reguły. Potem wklej tekst pod wyraźną etykietą, na przykład Tekst:.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: instrukcja jest późno, jest krótka i mglista. Model już „czyta”, jakby artykuł był zadaniem. „Zrób to dobrze” nie mówi, co znaczy dobrze. Przenieś konkretną instrukcję streszczenia na pierwsze linie i usuń „zrób to dobrze”.
2. Nazwij format, nie nastrój
Słowa takie jak „ładnie”, „profesjonalnie” i „wnikliwie” nie są formatem. Format to liczba, kształt albo zakaz. Modele lokalne częściej trzymają się liczb i zakazów niż gustu.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: nie ma długości, nie ma liczby punktów i nie ma zakazu wstępu. Często dostaniesz nagłówek, raźny wstęp, pięć nierównych akapitów i „mam nadzieję, że to pomoże”. Zamień to na liczbę i limit zdań.
3. Proś o jeden efekt
Jeden Prompt, który prosi o szkic, tłumaczenie, listę tytułów i podpis pod post, to cztery zadania. Na małym modelu późniejsze zadania odpadają albo mieszają się z pierwszym. Rozdziel je. Możesz je spiąć sam: weź szkic, zacznij nowy Prompt i poproś tylko o tłumaczenie.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: cztery wyniki, brak długości, a „bądź kreatywny” bije się ze spójnością. Model zwykle pisze krótki wpis po polsku i luźno macha ręką na resztę. Uruchom cztery Prompty albo najwyżej dwa, jeśli masz większy model i ponumerujesz wyniki.
4. Pisz Prompt prostszym językiem niż wynik
Możesz prosić o formalną notatkę. Same instrukcje nadal mają być krótkimi zdaniami. Zagnieżdżone zdania, spiętrzone zaprzeczenia i żargon w systemowym Prompcie są miejscem, w którym mniejsze modele gubią wątek.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: instrukcja jest trudniejsza niż zadanie. Model może powtórzyć żargon albo zamarznąć w mgliste wypracowanie. Napisz, dla kogo to jest, jak długie i co ma zawierać.
5. Samokontrolę dodawaj tylko do kruchych zadań
Samokontrola pomaga, gdy wynik musi trzymać kształt: JSON, stała liczba punktów albo kod, który nie powinien zawierać prozy. Nie pomaga przy luźnej przeróbce, a na małych modelach sprawia, że model drukuje kontrolę zamiast odpowiedzi. Użyj jednej linii, na końcu.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: kontrola jest cięższa niż zadanie. Chciałeś życzeń. Często dostaniesz akapit o rozumowaniu i sztywną kartkę na końcu. Do życzeń urodzinowych pomiń samokontrolę i ustaw limit słów.
6. Ogranicz długość w Prompcie i w programie
Modele lokalne leją wodę, gdy ani Prompt, ani aplikacja nie stawiają sufitu. Ustaw oba. W Prompcie podaj liczbę słów albo liczbę punktów. W Ollama, LM Studio albo Jan ustaw maksymalny limit Tokenów trochę powyżej tej liczby, żeby model dokończył ostatnie zdanie i nie urwał słowa w połowie. Jeśli nie wiesz, jak długi jest sam Prompt, przepuść go przez Licznik Tokenów, zanim wkleisz długi dokument źródłowy.
Przykłady, które działają
Kontrprzykład
Dlaczego to nie działa: nie ma końca. Model lokalny będzie wypisywał ogólne porady, aż uderzy w maksymalną liczbę Tokenów programu, często się powtarzając. Nazwij odbiorcę i długość: „Podaj użytkownikowi domowego komputera 6 kroków kopii zapasowej, po jednym zdaniu.”
Krótko: przed i po
To ta sama prośba. Pierwsza jest taka, jak ludzie często piszą. Druga to wersja, za którą model 7B da radę nadążyć.
Jeśli chcesz drugie przejście, nie proś tego samego modelu, żeby „jeszcze to uładnić” w tym samym Prompcie. Zacznij nowy Prompt z uporządkowanymi notatkami i jedną nową instrukcją.
Czego to nie naprawi
- Model, który nigdy nie był trenowany do pisania w języku, o który prosisz, nie stanie się płynny tylko dlatego, że Prompt jest schludny.
- Model 3B nadal będzie miał kłopot z długą recenzją kodu. Skróć fragment albo użyj większego modelu lokalnego.
- Faktów, których model nie zna, nie wymusisz ostrzejszym formatem. Poproś, żeby używał tylko tekstu, który wkleiłeś.
- Wysoka temperatura (temperature) będzie przestawiać sformułowania nawet przy dobrym Prompcie. Przy zadaniach, które mają się powtarzać, zobacz Jak uzyskiwać spójne wyniki z modeli lokalnych.