1.1. Hogyan optimalizálható az MI válaszideje?
A válaszidő (latencia) csökkentése érdekében javasolt a specifikus bemeneti paraméterek alkalmazása. A túl általános kérdések nagyobb számítási kapacitást igényelnek a kontextus szűkítése miatt. Részletesebb technikai leírást a Prompt-mérnökség oldalon talál.
- Használjon strukturált bemeneti adatokat.
- Korlátozza a kimeneti karakterek számát (token limit).
- Alkalmazzon gyorsítótárazott (cached) lekérdezéseket.