Изаберите користан први задатак за AI

Изаберите задатак који можете да проверите

Први користан задатак треба да вас научи како алат ради у вашем окружењу. Треба и да да резултат који можете да испитате. Мала исправка познате грешке често испуњава оба услова.

Не бирајте задатак само зато што ће демонстрација изгледати упечатљиво. Обимно редизајнирање може да донесе много видљивих промена, а да сакрије погрешне претпоставке. Мали задатак може да покаже да ли агент чита упутства, поштује опсег и тачно пријављује неуспеле провере.

Не морате да изаберете најлакши могући задатак. Изаберите онај у коме ваш тим може да препозна исправан резултат и објасни зашто је исправан.

Упоредите могуће задатке

Размотримо три измишљена захтева за апликацију за извештавање.

Задатак објашњавања помаже вам да испитате закључивање и доказе. Регресиони тест додаје контролисану радњу. Архитектонски задатак касније може да буде вредан, али захтева знатно бољи опис задатка и поступак прегледа.

За прву вежбу изаберите регресиони тест. Користите измишљене датуме и локалну грану. Наведите да приступ продукцији, надоградње зависности и неповезано рефакторисање нису у опсегу.

Напишите услов завршетка

„Побољшајте обраду датума” оставља превише простора за тумачење. Користите конкретан услов: „Када улаз садржи неважећи календарски датум, вратите грешку валидације. Сачувајте документовани излаз за важеће датуме.”

Додајте примере важећег и неважећег улаза. Наведите постојећу команду за тестове. Затражите да агент испита тренутно понашање пре промене датотека. Захтевајте кратко објашњење грешке и доказе после промене.

Раздвојите исход задатка од активности. „Агент је написао тест” описује активност. „Тест не пролази када је позната грешка присутна” описује доказ. Тест који пролази и на исправном и на погрешном коду не потврђује намеравану заштиту.

Посматрајте поступак рада

Током вежбе забележите где је агенту потребан додатни контекст. Проверите да ли чита релевантна упутства репозиторијума. Обратите пажњу на то да ли мења датотеке ван опсега или понавља неуспешан приступ без нових доказа.

Не исправљајте одмах сваки ситан избор. Пустите агента да заврши одобрен рад чије се промене могу поништити, да бисте проценили резултат. Интервенишите када следећа радња прелази границу или када наставак рада зависи од неразјашњеног захтева.

По завршетку прегледајте diff и извршите релевантне провере. Забележите и време рада агента и своје време за припрему и преглед. Ова запажања помажу да изаберете следећи задатак и побољшате упутства за рад.

Проширујте једну границу по кораку

Ако вежба успе, повећајте једну димензију сложености. Можете да пређете са једне функције на повезан пар модула. Можете да додате документовану интеграцију. Дозволе и захтеви за проверу морају да остану изричити.

Ако вежба не успе, утврдите узрок пре проширења опсега. Недостатак контекста, нејасан захтев, недоступно тестно окружење и ограничење модела захтевају различите исправке. Већа аутономија не решава сва четири проблема.

Ако прототип остане у употреби, одредите особу одговорну за одржавање. Нове информације о рањивостима могу да захтевају радњу без промене кода. Погледајте непрекидно управљање рањивостима.