Modeli, kontekst i pogrešni odgovori

Odvojite sposobnost od dostupnih informacija

Jezični model upotrebljava naučene obrasce i informacije dostavljene tijekom zadatka. Suvremeni modeli mogu složeno zaključivati i obavljati koristan rad na softveru. Mogu proizvesti i detaljan odgovor koji ovisi o pogrešnoj pretpostavci.

„Frontier model” opisuje promjenjivu razinu sposobnosti. Pojam ne potvrđuje da je model pročitao vaš repozitorij. Ne pokazuje da poznaje verzije vaših ovisnosti ili nepisana poslovna pravila. Okruženje zadatka mora dostaviti te činjenice.

Agent s odgovarajućim alatima može dohvatiti informacije. Razgovor bez pristupa ne može pregledati repozitorij. Kad odgovor izgleda pogrešno, postavite dva pitanja. Može li model riješiti problem s točnim informacijama? Je li ih dobio?

Drugi model može pomoći s prvim problemom. Dostavljanje pravila koje nedostaje ili provjera ovisnosti može riješiti drugi problem.

Definirajte kontekst ovog zadatka

Kontekst su informacije dostupne za trenutačni odgovor. Uključuje upute, dostavljene datoteke, relevantan razgovor i rezultate alata. Proizvodi te informacije odabiru i zadržavaju na različite načine. Mogu i sažeti prethodni sadržaj.

Nemojte pretpostaviti da model čita svaku datoteku u učitanoj mapi. Nemojte pretpostaviti da rana uputa ostaje dostupna tijekom duge sesije. Zatražite da alat navede datoteke i upute koje je upotrijebio.

Više konteksta ne poboljšava uvijek odgovor. Aktualna arhitekturna odluka može pomoći više od nepovezanih izvornih datoteka. Zastarjeli vodič za migraciju može izazvati pogrešan odgovor jer djeluje mjerodavno.

Razmotrite izmišljenu funkciju postavki računa. Dostavite rutu, autorizacijski middleware, relevantan podatkovni model i postojeći test. Dodajte konkretno ograničenje: „Član smije promijeniti prikazano ime. Član ne smije promijeniti svoju ulogu u organizaciji.” Model sada ima izričito pravilo koje treba očuvati.

Provjerite tvrdnje u objašnjenju

Odgovor može tvrditi da je endpoint siguran jer middleware provjerava vlasništvo. Provjerite svaki dio tvrdnje.

1. Provjerite upotrebljava li endpoint navedeni middleware.
2. Provjerite provjerava li middleware vlasništvo, a ne samo autentikaciju.
3. Utvrdite izvor identiteta korisnika.
4. Provedite negativni test kao drugi korisnik.

Referenca na repozitorij pokazuje gdje tražiti. Ne potvrđuje da se objašnjenje podudara s kodom.

Istu metodu primijenite na preporuku API-ja. Generirani kod može pozvati metodu koju instalirani paket ne izvozi. Prije zamjene ovisnosti provjerite verziju paketa i službenu dokumentaciju. Nepotkrijepljena pretpostavka inače može uzrokovati nepotrebnu migraciju.

Pretvorite nesigurnost u provjeru

„Budite točni” nije plan provjere. Utvrdite pretpostavku, potrebne dokaze i posljedicu pogrešnog rezultata.

Primjerice: „Nismo provjerili izolaciju tenanata za ovaj endpoint. Pregledajte obrađivač zahtjeva. Dodajte test u kojem korisnik drugog tenanta traži isti zapis.” Ta uputa daje agentu konkretno istraživanje i rezultat koji se može opaziti.

Za pitanja o implementaciji pregledajte stvarnu verziju sustava. Dokument može opisivati namjeravano ponašanje. Pregled koda i testovi pomažu utvrditi trenutačno ponašanje. Ako se ne slažu, zabilježite razliku dok je odgovorna osoba ne riješi. Nemojte prešutno odabrati prikladniji odgovor.

Voditelji mogu upotrijebiti ovu metodu bez čitanja svake promjene koda. Pitajte koje je pretpostavke tim provjerio. Utvrdite pretpostavke koje ostaju otvorene i njihove odgovorne osobe. Te informacije izravnije podupiru odluku o izdavanju od naziva modela.