Модели, контекст и погрешни одговори

Раздвојте ја способноста од достапните информации

Јазичен модел користи научени обрасци и информации што ги добива за време на задачата. Современите модели може значително да расудуваат и корисно да работат на софтвер. Може да дадат и детален одговор што зависи од погрешна претпоставка.

„Frontier-модел“ опишува ниво на способност што се менува. Терминот не потврдува дека моделот го прочитал вашиот репозиториум. Не покажува дека моделот ги знае верзиите на зависностите или непишаните деловни правила. Околината за задачата мора да ги обезбеди овие факти.

Агент со соодветни алатки може да прибере информации. Разговор без пристап не може да го испита репозиториумот. Кога одговор изгледа погрешен, поставете две прашања. Може ли моделот да го реши овој проблем со точните информации? Дали моделот ги добил тие информации?

Друг модел може да помогне со првиот проблем. Доставување на политиката што недостига или проверка на зависноста може да го реши вториот проблем.

Одредете го контекстот за оваа задача

Контекст е информацијата достапна за тековниот одговор. Тој вклучува инструкции, приложени датотеки, релевантен разговор и резултати од алатки. Производите ги избираат и задржуваат овие информации на различни начини. Може и да ја сумираат претходната содржина.

Не претпоставувајте дека моделот ја чита секоја датотека во поставена папка. Не претпоставувајте дека рана инструкција останува достапна низ цела долга сесија. Побарајте алатката да ги наведе датотеките и инструкциите што ги користела.

Повеќе контекст не го подобрува секогаш одговорот. Важечка архитектонска одлука може да помогне повеќе од неповрзани изворни датотеки. Застарен водич за миграција може да предизвика погрешен одговор бидејќи изгледа меродавен.

Разгледајте измислена функција за поставки на сметка. Приложете ја рутата, посредничкиот код за авторизација, релевантниот модел на податоци и постоен тест. Додајте конкретно ограничување: „Член може да го смени своето име за приказ. Член не може да ја смени својата улога во организацијата.“ Моделот сега има јасно правило што треба да го зачува.

Проверете ги тврдењата во објаснувањето

Одговор може да тврди дека крајна точка е безбедна затоа што посредничкиот код ја проверува сопственоста. Проверете го секој дел од ова тврдење.

1. Проверете дали крајната точка го користи наведениот посреднички код.
2. Проверете дали посредничкиот код ја проверува сопственоста, а не само автентикацијата.
3. Утврдете од каде доаѓа корисничкиот идентитет.
4. Извршете негативен тест како друг корисник.

Референца кон репозиториум покажува каде да погледнете. Таа не потврдува дека објаснувањето се согласува со кодот.

Користете го истиот метод за препорака за API. Генерираниот код може да повика метод што инсталираниот пакет не го извезува. Проверете ги верзијата на пакетот и официјалната документација пред да замените зависности. Во спротивно, непоткрепена претпоставка може да предизвика непотребна миграција.

Претворете ја неизвесноста во проверка

„Бидете точни“ не е план за проверка. Одредете ја претпоставката, потребните докази и последицата од погрешен резултат.

На пример: „Не ја проверивме изолацијата меѓу закупците за оваа крајна точка. Испитајте го обработувачот на барања. Додајте тест во кој корисник од друг закупец го бара истиот запис.“ Оваа инструкција му дава на агентот конкретно истражување и резултат што може да се набљудува.

За прашања за имплементацијата, испитајте ја вистинската верзија на системот. Документ може да го опишува предвиденото однесување. Прегледот на кодот и тестовите помагаат да се утврди тековното однесување. Ако не се согласуваат, запишете ја разликата додека одговорното лице не ја разреши. Не избирајте го молкум попогодниот одговор.

Менаџерите може да го користат овој метод без да ја читаат секоја промена на кодот. Прашајте кои претпоставки ги проверил тимот. Утврдете кои остануваат отворени и кој е одговорен за нив. Овие информации ја поддржуваат одлуката за издавање подиректно од името на моделот.