Modeli, kontekst i netačni odgovori

Odvojite sposobnost od dostupnih informacija

Jezički model koristi naučene obrasce i informacije dostavljene tokom zadatka. Savremeni modeli mogu provoditi složeno zaključivanje i koristan rad na softveru. Mogu proizvesti i detaljan odgovor koji zavisi od pogrešne pretpostavke.

„Frontier model“ opisuje promjenjiv nivo sposobnosti. Izraz ne potvrđuje da je model pročitao vaš repozitorij. Ne pokazuje da model zna verzije vaših zavisnosti ili nepisana poslovna pravila. Okruženje zadatka mora dostaviti te činjenice.

Agent s odgovarajućim alatima može preuzeti informacije. Razgovor bez pristupa ne može pregledati repozitorij. Kada odgovor izgleda netačno, postavite dva pitanja. Može li model riješiti ovaj problem uz tačne informacije? Je li model dobio te informacije?

Drugi model mogao bi pomoći s prvim problemom. Dostavljanje politike koja nedostaje ili provjera zavisnosti može riješiti drugi problem.

Odredite kontekst ovog zadatka

Kontekst su informacije dostupne za trenutni odgovor. Obuhvata instrukcije, dostavljene fajlove, relevantan razgovor i rezultate alata. Proizvodi odabiru i zadržavaju ove informacije na različite načine. Mogu i sažeti raniju sadržinu.

Nemojte pretpostaviti da model čita svaki fajl u učitanom folderu. Nemojte pretpostaviti da rana instrukcija ostaje dostupna tokom cijele duge sesije. Zatražite da alat navede fajlove i instrukcije koje je koristio.

Više konteksta ne poboljšava uvijek odgovor. Aktuelna arhitektonska odluka može pomoći više od nepovezanih izvornih fajlova. Zastarjeli vodič za migraciju može izazvati netačan odgovor jer djeluje kao autoritativan izvor.

Razmotrite izmišljenu funkciju za postavke računa. Dostavite rutu, middleware za autorizaciju, relevantni model podataka i postojeći test. Dodajte konkretno ograničenje: „Član može promijeniti svoje prikazano ime. Član ne može promijeniti svoju ulogu u organizaciji.“ Model sada ima izričito pravilo koje mora sačuvati.

Provjerite tvrdnje u objašnjenju

Odgovor može tvrditi da je krajnja tačka sigurna jer middleware provjerava vlasništvo. Provjerite svaki dio ove tvrdnje.

1. Provjerite da krajnja tačka koristi navedeni middleware.
2. Provjerite da middleware provjerava vlasništvo, a ne samo autentifikaciju.
3. Utvrdite izvor korisničkog identiteta.
4. Izvršite negativni test kao drugi korisnik.

Upućivanje na repozitorij pokazuje gdje treba pogledati. Ne potvrđuje da se objašnjenje slaže s kodom.

Koristite istu metodu za preporuku API-ja. Generisani kod može pozvati metodu koju instalirani paket ne izlaže. Provjerite verziju paketa i službenu dokumentaciju prije zamjene zavisnosti. Nepotkrijepljena pretpostavka inače može izazvati nepotrebnu migraciju.

Pretvorite neizvjesnost u provjeru

„Budite tačni“ nije plan provjere. Utvrdite pretpostavku, potrebne dokaze i posljedicu netačnog rezultata.

Naprimjer: „Nismo provjerili izolaciju zakupaca za ovu krajnju tačku. Pregledajte kod koji obrađuje zahtjev. Dodajte test u kojem korisnik drugog zakupca traži isti zapis.“ Ova instrukcija daje agentu konkretnu istragu i rezultat koji se može uočiti.

Za pitanja o implementaciji pregledajte stvarnu verziju sistema. Dokument može opisivati namjeravano ponašanje. Pregled koda i testovi pomažu utvrditi trenutno ponašanje. Ako se ne slažu, zabilježite razliku dok je odgovorna osoba ne riješi. Nemojte prešutno odabrati pogodniji odgovor.

Menadžeri mogu koristiti ovu metodu bez čitanja svake promjene koda. Pitajte koje je pretpostavke tim provjerio. Utvrdite koje pretpostavke ostaju otvorene i ko je za njih odgovoran. Ove informacije neposrednije podržavaju odluku o izdanju nego naziv modela.