A prompt-mérnökség során fellépő anomáliák azonosítása a fejlesztési folyamat kritikus része. A hibanaplózás (error logs) során minden olyan esetet rögzíteni kell, ahol a modell kimenete eltért a specifikált paraméterektől. A technikai audit során vizsgálni kell a bemeneti szintaxis és a kapott válasz közötti korrelációt.
Hibaosztályozási jegyzőkönyv:
- Szintaktikai hiba (S-1): Hibás határolójelek vagy formázási karakterek használata.
- Kontextuális eltolódás (C-2): A modell figyelmen kívül hagyja a megadott korlátozásokat.
- Logikai inkonzisztencia (L-3): Egymásnak ellentmondó utasítások a prompton belül.
A 2024/05-ös technikai direktíva értelmében minden komplex promptot legalább három iterációban kell tesztelni, mielőtt éles környezetbe kerülne. A tesztelési fázisban mért adatok alapján finomhangoljuk a Tanulási Módszertan és Algoritmusok fejezetben leírt folyamatokat. A cél a zéró-tolerancia elérése a logikai hibákkal szemben.
Az iteratív fejlesztés során alkalmazott visszacsatolási hurok lehetővé teszi a promptok folyamatos optimalizálását. A rendszeres felülvizsgálat során figyelembe vesszük a modellfrissítéseket is, mivel az alapmodellek architektúrájának változása módosíthatja a korábban hatékony protokollok eredményességét. A dokumentált hibák alapján frissítjük a központi tudásbázist.