Modeliai, kontekstas ir klaidingi atsakymai

Atskirkite gebėjimus nuo turimos informacijos

Kalbos modelis naudoja išmoktus dėsningumus ir užduoties metu pateiktą informaciją. Šiuolaikiniai modeliai gali išsamiai samprotauti ir atlikti naudingus programinės įrangos kūrimo darbus. Jie taip pat gali pateikti išsamų atsakymą, kuris priklauso nuo klaidingos prielaidos.

„Frontier modelis“ apibūdina kintantį gebėjimų lygį. Šis terminas neįrodo, kad modelis perskaitė jūsų kodo saugyklą. Jis nerodo, kad modelis žino priklausomybių versijas ar neužrašytas verslo taisykles. Šiuos faktus turi pateikti užduoties aplinka.

Agentas su tinkamais įrankiais gali gauti informaciją. Pokalbis be prieigos negali ištirti kodo saugyklos. Kai atsakymas atrodo klaidingas, užduokite du klausimus. Ar modelis gali išspręsti šią problemą turėdamas teisingą informaciją? Ar modelis tą informaciją gavo?

Kitas modelis gali padėti išspręsti pirmąją problemą. Trūkstama taisyklė ar priklausomybės patikrinimas gali išspręsti antrąją.

Apibrėžkite šios užduoties kontekstą

Kontekstas yra dabartiniam atsakymui prieinama informacija. Jį sudaro instrukcijos, pateikti failai, aktualus pokalbis ir įrankių rezultatai. Produktai šią informaciją atrenka ir išlaiko skirtingai. Jie taip pat gali apibendrinti ankstesnį turinį.

Nemanykite, kad modelis perskaito kiekvieną įkelto aplanko failą. Nemanykite, kad ankstyva instrukcija lieka prieinama per visą ilgą sesiją. Paprašykite įrankio įvardyti naudotus failus ir instrukcijas.

Didesnis kontekstas ne visada pagerina atsakymą. Dabartinis architektūros sprendimas gali padėti labiau nei nesusiję pirminio kodo failai. Pasenęs migravimo vadovas gali lemti klaidingą atsakymą, nes atrodo patikimas.

Apsvarstykite išgalvotą paskyros nustatymų funkciją. Pateikite maršrutą, autorizavimo tarpinę programinę įrangą, atitinkamą duomenų modelį ir esamą testą. Pridėkite konkretų apribojimą: „Narys gali pakeisti savo rodomą vardą. Narys negali pakeisti savo vaidmens organizacijoje.“ Dabar modelis turi aiškią taisyklę, kurią privalo išlaikyti.

Patikrinkite paaiškinimo teiginius

Atsakyme gali būti teigiama, kad API adresas saugus, nes tarpinė programinė įranga tikrina nuosavybę. Patikrinkite kiekvieną šio teiginio dalį.

1. Patikrinkite, ar API adresas naudoja nurodytą tarpinę programinę įrangą.
2. Patikrinkite, ar ši įranga tikrina nuosavybę, o ne vien autentifikavimą.
3. Nustatykite naudotojo tapatybės šaltinį.
4. Atlikite neigiamą testą kito naudotojo vardu.

Nuoroda į kodo saugyklą parodo, kur ieškoti. Ji neįrodo, kad paaiškinimas atitinka kodą.

Tą patį metodą taikykite API rekomendacijai. Sugeneruotas kodas gali kviesti metodą, kurio įdiegtas paketas neeksportuoja. Prieš keisdami priklausomybes, patikrinkite paketo versiją ir oficialią dokumentaciją. Nepagrįsta prielaida gali sukelti nereikalingą migravimą.

Neaiškumą paverskite patikrinimu

„Būk tikslus“ nėra patikrinimo planas. Nurodykite prielaidą, reikiamus įrodymus ir klaidingo rezultato pasekmę.

Pavyzdžiui: „Dar nepatikrinome šio API adreso klientų izoliavimo. Išnagrinėkite užklausos apdorojimo kodą. Pridėkite testą, kuriame kito kliento naudotojas prašo to paties įrašo.“ Ši instrukcija suteikia agentui konkrečią tyrimo užduotį ir stebimą rezultatą.

Kilus įgyvendinimo klausimams, išnagrinėkite tikrąją sistemos versiją. Dokumentas gali aprašyti numatytą veikimą. Kodo peržiūra ir testai padeda nustatyti dabartinį veikimą. Jei jie nesutampa, užfiksuokite skirtumą, kol atsakingas asmuo jį išspręs. Tyliai nesirinkite patogesnio atsakymo.

Vadovai gali taikyti šį metodą neskaitydami kiekvieno kodo pakeitimo. Paklauskite, kokias prielaidas komanda patikrino. Nustatykite, kurios prielaidos liko nepatikrintos ir kas už jas atsakingas. Ši informacija sprendimą dėl išleidimo pagrindžia tiesiogiau nei modelio pavadinimas.