Modellek, kontextus és hibás válaszok

Különítse el a képességet a rendelkezésre álló információtól

A nyelvi modell a tanult mintákat és a feladat során megadott információkat használja. A modern modellek összetett következtetésekre és hasznos szoftveres munkára képesek. Ugyanakkor részletes választ is adhatnak, amely hibás feltételezésre épül.

A „frontier modell” változó képességszintet jelöl. A kifejezés nem igazolja, hogy a modell elolvasta a repozitárt. Nem mutatja meg, hogy ismeri a függőségek verzióit vagy az íratlan üzleti szabályokat. Ezeket a tényeket a feladat környezetének kell biztosítania.

A megfelelő eszközökkel rendelkező agent információkat kereshet ki. Egy hozzáférés nélküli chat nem tudja megvizsgálni a repozitárt. Ha egy válasz hibásnak tűnik, tegyen fel két kérdést. Meg tudja oldani a modell ezt a problémát a helyes információkkal? Megkapta ezeket az információkat?

Az első problémán másik modell segíthet. A másodikat a hiányzó szabályzat megadása vagy egy függőség ellenőrzése oldhatja meg.

Határozza meg a feladat kontextusát

A kontextus az aktuális válaszhoz rendelkezésre álló információ. Ide tartoznak az utasítások, a megadott fájlok, a releváns beszélgetés és az eszközök eredményei. A termékek eltérően választják ki és őrzik meg ezeket az információkat. A korábbi tartalmat össze is foglalhatják.

Ne feltételezze, hogy a modell egy feltöltött mappa minden fájlját elolvassa. Azt se feltételezze, hogy egy korai utasítás a teljes hosszú munkamenet során rendelkezésre áll. Kérje meg az eszközt, hogy nevezze meg a felhasznált fájlokat és utasításokat.

A több kontextus nem mindig javítja a választ. Egy aktuális architekturális döntés többet segíthet, mint a témához nem kapcsolódó forrásfájlok. Egy elavult migrációs útmutató hibás válaszhoz vezethet, mert hitelesnek látszik.

Vegyünk egy kitalált fiókbeállítási funkciót. Adja meg a route-ot, az engedélyezési middleware-t, a releváns adatmodellt és egy meglévő tesztet. Tegyen hozzá egy konkrét korlátot: „A tag módosíthatja a megjelenített nevét. A tag nem módosíthatja a szervezeti szerepkörét.” A modellnek így már egy kifejezett szabályt kell megőriznie.

Ellenőrizze a magyarázat állításait

Egy válasz azt állíthatja, hogy az endpoint biztonságos, mert a middleware ellenőrzi a tulajdonost. Az állítás minden részét ellenőrizze.

1. Ellenőrizze, hogy az endpoint a megadott middleware-t használja.
2. Ellenőrizze, hogy a middleware a tulajdonosi viszonyt vizsgálja, nem csak a hitelesítést.
3. Azonosítsa a felhasználói identitás forrását.
4. Végezzen negatív tesztet másik felhasználóként.

A repozitárra mutató hivatkozás megadja, hol kell keresni. Nem igazolja, hogy a magyarázat összhangban áll a kóddal.

Ugyanezt a módszert használja egy API-javaslatnál. A generált kód olyan metódust hívhat, amelyet a telepített csomag nem exportál. A függőségek lecserélése előtt ellenőrizze a csomagverziót és a hivatalos dokumentációt. Egy megalapozatlan feltételezés különben szükségtelen migrációhoz vezethet.

Alakítsa a bizonytalanságot ellenőrzéssé

A „legyen pontos” nem ellenőrzési terv. Azonosítsa a feltételezést, a szükséges bizonyítékot és a hibás eredmény következményét.

Például: „Ennél az endpointnál még nem ellenőriztük a tenantok elkülönítését. Vizsgálja meg a kéréskezelőt. Adjon hozzá tesztet, amelyben egy másik tenant felhasználója ugyanazt a rekordot kéri.” Ez az utasítás konkrét vizsgálatot és megfigyelhető eredményt ad az agentnek.

Implementációs kérdésnél a rendszer tényleges verzióját vizsgálja meg. Egy dokumentum a tervezett működést írhatja le. A kód vizsgálata és a tesztek a jelenlegi működés megállapítását segítik. Eltérés esetén rögzítse a különbséget, amíg egy felelős fel nem oldja. Ne válassza ki észrevétlenül a kényelmesebb választ.

A vezetők minden kódváltoztatás elolvasása nélkül is használhatják ezt a módszert. Kérdezzen rá, mely feltételezéseket ellenőrizte a csapat. Azonosítsa a még nyitott feltételezéseket és azok felelőseit. Ez az információ közvetlenebbül támogatja a kiadási döntést, mint a modell neve.