Modely, kontext a nesprávne odpovede

Oddeľte schopnosti od dostupných informácií

Jazykový model používa naučené vzory a informácie dodané počas úlohy. Moderné modely dokážu vykonávať náročné uvažovanie a užitočnú softvérovú prácu. Môžu však vytvoriť aj podrobnú odpoveď založenú na nesprávnom predpoklade.

„Frontier model“ označuje meniacu sa úroveň schopností. Pojem nepreukazuje, že model čítal váš repozitár. Neznamená, že pozná verzie vašich závislostí alebo nepísané obchodné pravidlá. Tieto fakty musí dodať prostredie úlohy.

Agent s vhodnými nástrojmi môže vyhľadať informácie. Chat bez prístupu nedokáže preskúmať repozitár. Keď odpoveď vyzerá nesprávne, položte dve otázky. Dokáže model vyriešiť tento problém so správnymi informáciami? Dostal model tieto informácie?

S prvým problémom môže pomôcť iný model. Druhý problém môže vyriešiť doplnenie chýbajúcej politiky alebo kontrola závislosti.

Definujte kontext tejto úlohy

Kontext sú informácie dostupné pre aktuálnu odpoveď. Zahŕňa pokyny, poskytnuté súbory, relevantnú konverzáciu a výsledky nástrojov. Produkty tieto informácie vyberajú a uchovávajú rôznymi spôsobmi. Môžu tiež zhrnúť predchádzajúci obsah.

Nepredpokladajte, že model číta každý súbor v nahranom priečinku. Nepredpokladajte, že skorší pokyn zostáva dostupný počas celej dlhej relácie. Požiadajte nástroj, aby uviedol súbory a pokyny, ktoré použil.

Viac kontextu nemusí vždy zlepšiť odpoveď. Aktuálne architektonické rozhodnutie môže pomôcť viac než nesúvisiace zdrojové súbory. Zastaraný migračný návod môže spôsobiť nesprávnu odpoveď, pretože pôsobí dôveryhodne.

Uvažujme o fiktívnej funkcii nastavení účtu. Poskytnite route, autorizačný middleware, relevantný dátový model a existujúci test. Pridajte konkrétne obmedzenie: „Člen môže zmeniť svoje zobrazované meno. Člen nemôže zmeniť svoju rolu v organizácii.“ Model teraz má výslovné pravidlo, ktoré musí zachovať.

Overte tvrdenia vo vysvetlení

Odpoveď môže tvrdiť, že endpoint je bezpečný, pretože middleware kontroluje vlastníctvo. Overte každú časť tohto tvrdenia.

1. Skontrolujte, či endpoint používa uvedený middleware.
2. Skontrolujte, či middleware overuje vlastníctvo, nielen autentifikáciu.
3. Určte zdroj identity používateľa.
4. Vykonajte negatívny test ako iný používateľ.

Odkaz na repozitár určuje, kde hľadať. Nepreukazuje, že vysvetlenie zodpovedá kódu.

Rovnakú metódu použite pri odporúčaní API. Vygenerovaný kód môže volať metódu, ktorú nainštalovaný balík neexportuje. Pred výmenou závislostí overte verziu balíka a oficiálnu dokumentáciu. Nepodložený predpoklad by inak mohol spôsobiť zbytočnú migráciu.

Premeňte neistotu na kontrolu

„Buďte presní“ nie je plán overovania. Určte predpoklad, potrebné dôkazy a dôsledok nesprávneho výsledku.

Napríklad: „Pri tomto endpointe sme neoverili izoláciu tenantov. Preskúmajte handler požiadavky. Pridajte test, v ktorom používateľ z iného tenantu žiada ten istý záznam.“ Tento pokyn dáva agentovi konkrétnu úlohu na preskúmanie a pozorovateľný výsledok.

Pri otázkach o implementácii skúmajte skutočnú verziu systému. Dokument môže opisovať zamýšľané správanie. Kontrola kódu a testy pomáhajú určiť aktuálne správanie. Ak sa nezhodujú, zaznamenajte rozdiel, kým ho zodpovedná osoba nevyrieši. Nevyberajte potichu pohodlnejšiu odpoveď.

Manažéri môžu túto metódu používať bez čítania každej zmeny kódu. Pýtajte sa, ktoré predpoklady tím overil. Určte otvorené predpoklady a zodpovedné osoby. Tieto informácie podporujú rozhodnutie o vydaní priamejšie než názov modelu.