Модели, контекст и неправилни отговори

Разграничете способностите от наличната информация

Езиковият модел използва научени закономерности и информацията, предоставена по време на задачата. Съвременните модели могат да разсъждават задълбочено и да вършат полезна работа по софтуер. Те могат и да дадат подробен отговор, основан на неправилно предположение.

„Frontier модел“ описва променящо се ниво на способности. Терминът не доказва, че моделът е прочел хранилището Ви. Не показва, че знае версиите на зависимостите или неписаните бизнес правила. Средата на задачата трябва да предостави тези факти.

Агент с подходящи инструменти може да извлича информация. Чат без достъп не може да прегледа хранилището. Когато отговорът изглежда неправилен, задайте два въпроса. Може ли моделът да реши проблема с правилната информация? Получил ли е тази информация?

Друг модел може да помогне при първия проблем. Предоставянето на липсващата политика или проверката на зависимост може да реши втория.

Определете контекста за тази задача

Контекстът е информацията, налична за текущия отговор. Той включва инструкции, предоставени файлове, съответната част от разговора и резултати от инструменти. Продуктите избират и запазват тази информация по различен начин. Могат и да обобщават по-ранно съдържание.

Не приемайте, че моделът чете всеки файл в качена папка. Не приемайте, че ранна инструкция остава налична през цялата дълга сесия. Поискайте инструментът да посочи използваните файлове и инструкции.

Повече контекст невинаги подобрява отговора. Актуално архитектурно решение може да помогне повече от несвързани файлове с изходен код. Остаряло ръководство за миграция може да причини неправилен отговор, защото изглежда като авторитетен източник.

Разгледайте измислена функция за настройки на акаунт. Предоставете маршрута, middleware за проверка на правата, съответния модел на данните и съществуващ тест. Добавете конкретно ограничение: „Член може да променя показваното си име. Член не може да променя ролята си в организацията.“ Моделът вече има изрично правило, което трябва да запази.

Проверете твърденията в обяснението

Отговорът може да твърди, че endpoint е безопасен, защото middleware проверява собствеността. Проверете всяка част от това твърдение.

1. Проверете дали endpoint използва посочения middleware.
2. Проверете дали middleware проверява собствеността, а не само удостоверяването.
3. Установете източника на самоличността на потребителя.
4. Изпълнете отрицателен тест като друг потребител.

Препратката към хранилището показва къде да търсите. Тя не доказва, че обяснението съответства на кода.

Използвайте същия метод за препоръка за API. Генерираният код може да извиква метод, който инсталираният пакет не експортира. Проверете версията на пакета и официалната документация, преди да заменяте зависимости. Иначе неподкрепено предположение може да доведе до ненужна миграция.

Превърнете несигурността в проверка

„Бъдете точни“ не е план за проверка. Посочете предположението, необходимите доказателства и последствията от неправилен резултат.

Например: „Не сме проверили изолацията между клиентските организации за този endpoint. Прегледайте обработчика на заявката. Добавете тест, в който потребител от друга клиентска организация иска същия запис.“ Инструкцията дава на агента конкретно проучване и наблюдаем резултат.

За въпроси по реализацията изследвайте действителната версия на системата. Документът може да описва предвидено поведение. Прегледът на кода и тестовете помагат да установите текущото поведение. Ако има разминаване, запишете го, докато отговорник го разреши. Не избирайте мълчаливо по-удобния отговор.

Мениджърите могат да използват този метод, без да четат всяка промяна в кода. Попитайте кои предположения е проверил екипът. Установете оставащите отворени предположения и отговорниците им. Тази информация подпомага решението за пускане по-пряко от името на модела.