Ako získať stabilné výsledky z lokálnych modelov
Lokálne modely pôsobia nepredvídateľne, keď ten istý Prompt zakaždým dá iný tvar: raz odrážky, raz esej, raz ospravedlnenie a k nemu esej. Väčšinou za tým sú nastavenia a chýbajúce obmedzenia, nie pokazená inštalácia. Súhrn, extrakciu a malé úlohy s kódom viete spraviť natoľko opakovateľné, že sa dajú použiť v dennom postupe.
Táto stránka predpokladá, že už píšete jasný Prompt. Ak je formulácia stále voľná, prečítajte si najprv Ako písať lepšie Prompty pre lokálne modely AI. Metódy, ktoré prežijú testovanie, sú zhrnuté v texte Čo naozaj funguje.
Prečo sa odpoveď mení
Vzorkovanie vyberá ďalší Token s istou náhodnosťou. Vyššia teplota (temperature) znamená viac náhody. Dlhý chat znamená, že skoršie pravidlá sú ďalej od poslednej otázky. Otvorený Prompt („napíšte niečo užitočné“) má mnoho platných dokončení, takže vzorkovač má kam uhnúť. Rozptyl zmenšíte tým, že ten priestor zúžite: nižšia teplota, Seed, keď potrebujete skutočné opakovanie, formát s malým priestorom, krátky kontext a model, od ktorého nežiadate päť prác naraz.
1. Znížte teplotu skôr, než prepíšete Prompt
Pri úlohe, ktorú chcete opakovať, nastavte teplotu medzi 0,1 a 0,3. Top-p nechajte na predvolenej hodnote aplikácie, ak neviete, prečo ho meníte. Potom spustite ten istý Prompt trikrát.
Ten istý Prompt, tri zámery:
- Teplota 0,9: môžete dostať 3, 5 alebo 4 pravidlá a v niektorých behoch priateľský úvod. Formulácia poskakuje. Prompt ešte neposudzujte.
- Teplota 0,2: vo väčšine behov by ste mali dostať 4 pravidlá. Formulácia sa stále trochu mení. To je normálne.
- Teplota 0: najopakovateľnejšia a niekedy najmdlšia. Použite ju na extrakciu. Na písanie zvyčajne stačí 0,2.
Zmenili ste príliš veľa a nechali nastavenie, ktoré spôsobuje miešanie. Prompt zmrazte, znížte teplotu a až potom upravte jeden riadok, ak je formát stále zle.
2. Použite Seed, keď porovnávate Prompty
Ollama, LM Studio a niektoré ďalšie aplikácie dovoľujú nastaviť Seed. Rovnaký model, rovnaký Prompt, rovnaký Seed a rovnaké nastavenie vzorkovania by sa mali vrátiť takmer rovnako. Tak spoznáte, či zmena formulácie pomohla.
Praktické porovnanie:
- Nastavte teplotu na 0,2 a Seed na 42.
- Uložte výstup Promptu A.
- Zmeňte jeden riadok a vznikne Prompt B. Seed ponechajte.
- Porovnajte A a B. Ak je B lepší, nechajte ho a potom raz skúste Seed 43, aby ste videli, či formát stále drží.
Ak vaša aplikácia Seed nevie, opakovanie bit po bite nedostanete. Stále môžete vyžadovať formát a nízku teplotu, a to je to, čo potrebujete na denné použitie. Seed je na testovanie, nie pre čitateľa súhrnu.
3. Spravte formát, od ktorého sa ťažko uhýba
Čím tesnejší tvar, tým menej vzorkovač zmôže. Štítky sú lepšie než „usporiadajte to“.
Ak model odporúčanú odpoveď stále pridá, dajte zákaz na vlastný posledný riadok: „Nepíšte odpoveď.“ Pravidlá na poslednom riadku sa dodržiavajú častejšie než pravidlá zahrabané uprostred.
4. Pri krehkých formátoch pridajte kontrolu na jeden riadok
Použite to pri JSON, tabuľkách a presných počtoch. Pri bežnej próze to nepoužívajte.
Výstup si prečítajte. Ak uvidíte odsek, ktorý začína „Skontroloval som JSON“, model kontrolu ukazuje. Doplňte „Výstupom je iba JSON“ alebo kontrolu odoberte a spoľahnite sa na zoznam kľúčov. Niektoré malé modely tichú kontrolu nezvládnu. V tom prípade je lepší Prompt samotný zoznam kľúčov.
Nie je tu čo kontrolovať. Dostanete strnulý odkaz a niekedy odsek o kvalite. Namiesto toho obmedzte slová.
5. Držte kontext krátky
Pravidlá z desiatich správ dozadu malý model ľahko pustí. Pri opakovateľnej práci v chate nepokračujte. Začnite novú reláciu alebo pravidlá znova vložte na začiatok najnovšej správy.
Vzor, ktorý ostáva stabilný:
- Jedna systémová alebo prvá správa s pravidlami.
- Jedna správa používateľa so zdrojovým textom.
- Ak potrebujete úpravu, nový chat, ktorý obsahuje pravidlá plus predchádzajúci výstup, nie celú históriu.
Často to nevie. Formát vložte znova. „Rovnako ako predtým“ nie je formát.
6. Veľkosť modelu priraďte k práci
Menší model s úzkym Promptom je často konzistentnejší než väčší všeobecný model s nedbanlivým Promptom, ale nie je to kúzlo. Malý model použite na prepis, extrakciu a krátke súhrny textu, ktorý sami dodáte. Väčší lokálny model použite, keď úloha potrebuje dlhší kód alebo uvažovanie o viacerých krokoch. Nežiadajte model 3B, aby zrevidoval súbor s 400 riadkami, a nečakajte stabilnú revíziu.
Ak formát drží na modeli 7B a na modeli 3B sa rozpadne, Prompt si nechajte a vymeňte model. Nepridávajte pravidlá, kým malý model nezavalíte.
Opakovateľný kontrolný zoznam
- Napíšte formát ako štítky, počet alebo kľúče JSON.
- Zdrojový text dajte za pravidlá, za jasný štítok.
- Pri všetkom, čomu chcete veriť, nastavte teplotu na 0,2.
- Nastavte maximálny limit Tokenov kúsok nad odpoveď, o ktorú ste žiadali.
- Spustite dvakrát. Ak sa tvar líši, utiahnite posledný riadok skôr, než pridáte nové pravidlá.
- Ak porovnávate dve formulácie, nastavte Seed.
- Ak je chat dlhý, začnite znova a pravidlá vložte ešte raz.
Čím konzistencia nie je
- Nie sú to rovnaké vety zakaždým, iba ak je teplota blízko 0 a Prompt je veľmi tesný.
- Nedonúti model citovať skutočné zdroje, ktoré nevidí. Zdroj vložte.
- Neodstraňuje nutnosť výstup čítať. Stabilná zlá odpoveď je stále zlá. Pri extrakcii skontrolujte dve polia voči pôvodnému textu.
- Nezlepší ju obrovský predhovor „ste expert, ktorý nikdy nerobí chyby“. Ten riadok vzorkovanie nemení.
Keď je Prompt stabilný, uložte ho. Knižnica Promptov je sada východiskových bodov, ktoré si môžete uložiť vedľa vlastných. Ak si nie ste istí, či uložený Prompt nie je na kontextové okno príliš dlhý, odhadnite ho Počítadlom Tokenov, skôr než priložíte veľký súbor.