Модели, контекст и погрешни одговори

Раздвојите способност од доступних информација

Језички модел користи научене обрасце и информације добијене током задатка. Савремени модели могу да решавају сложене проблеме и обављају користан рад на софтверу. Могу и да дају детаљан одговор заснован на погрешној претпоставци.

Израз „frontier модел” означава ниво способности који се временом мења. Он не доказује да је модел прочитао ваш репозиторијум. Не показује ни да модел зна верзије ваших зависности или неписана пословна правила. Окружење у коме се задатак извршава мора да обезбеди те чињенице.

Агент са одговарајућим алатима може да прибави информације. Разговор без приступа не може да испита репозиторијум. Када одговор делује погрешно, поставите два питања. Може ли модел да реши овај проблем уз тачне информације? Да ли је модел добио те информације?

Други модел би могао да помогне са првим проблемом. Достављање политике која недостаје или провера зависности може да реши други.

Дефинишите контекст овог задатка

Контекст чине информације доступне за тренутни одговор. Он обухвата упутства, приложене датотеке, релевантан разговор и резултате алата. Производи бирају и задржавају те информације на различите начине. Могу и да сажму ранији садржај.

Не претпостављајте да модел чита сваку датотеку у отпремљеној фасцикли. Не претпостављајте ни да је почетно упутство доступно током целе дуге сесије. Затражите од алата да наведе које је датотеке и упутства користио.

Више контекста не побољшава увек одговор. Актуелна архитектонска одлука може да помогне више него неповезане изворне датотеке. Застарео водич за миграцију може да изазове погрешан одговор јер делује меродавно.

Размотримо измишљену функцију за подешавања налога. Приложите руту, middleware за ауторизацију, релевантан модел података и постојећи тест. Додајте конкретно ограничење: „Члан може да промени своје приказано име. Члан не може да промени своју улогу у организацији.” Модел сада има изричито правило које мора да сачува.

Проверите тврдње у објашњењу

У одговору може да пише да је endpoint безбедан јер middleware проверава власништво. Проверите сваки део те тврдње.

1. Проверите да ли endpoint користи наведени middleware.
2. Проверите да ли middleware проверава власништво, а не само аутентификацију.
3. Утврдите извор идентитета корисника.
4. Извршите негативан тест као други корисник.

Референца на репозиторијум показује где треба да погледате. Она не доказује да се објашњење слаже са кодом.

Примените исти метод на препоруку за API. Генерисани код може да позива метод који инсталирани пакет не извози. Проверите верзију пакета и званичну документацију пре него што замените зависности. Непоткрепљена претпоставка би иначе могла да изазове непотребну миграцију.

Претворите неизвесност у проверу

„Будите тачни” није план провере. Утврдите претпоставку, потребне доказе и последице погрешног резултата.

На пример: „Нисмо проверили изолацију клијентских организација за овај endpoint. Испитајте обрађивач захтева. Додајте тест у коме корисник из друге клијентске организације тражи исти запис.” Ово упутство агенту задаје конкретно истраживање са видљивим резултатом.

За питања о имплементацији испитајте стварну верзију система. Документ може да описује намеравано понашање. Преглед кода и тестови помажу да се утврди тренутно понашање. Ако се разликују, забележите разлику док је одговорна особа не разреши. Не бирајте прећутно погоднији одговор.

Руководиоци могу да користе овај метод без читања сваке промене кода. Питајте које је претпоставке тим проверио. Утврдите које су остале отворене и ко је за њих одговоран. Ове информације непосредније подржавају одлуку о објављивању од назива модела.