Vyberte užitočnú prvú úlohu pre AI

Vyberte úlohu, ktorú dokážete overiť

Prvá užitočná úloha vás má naučiť, ako nástroj funguje vo vašom prostredí. Má tiež priniesť výsledok, ktorý dokážete preskúmať. Malá oprava známej chyby často spĺňa obe podmienky.

Nevyberajte úlohu iba preto, že ukážka bude pôsobiť presvedčivo. Rozsiahly nový návrh môže priniesť mnoho viditeľných zmien a pritom skryť nesprávne predpoklady. Malá úloha môže ukázať, či agent číta pokyny, rešpektuje rozsah a presne hlási neúspešné kontroly.

Nemusíte zvoliť najľahšiu možnú úlohu. Vyberte takú, pri ktorej tím dokáže rozpoznať správny výsledok a vysvetliť, prečo je správny.

Porovnajte možné úlohy

Uvažujme o troch fiktívnych požiadavkách v aplikácii na reporty.

Úloha s vysvetlením pomáha preskúmať uvažovanie a dôkazy. Regresný test pridáva kontrolovanú akciu. Architektonická úloha môže byť hodnotná neskôr, ale potrebuje podstatne lepšie zadanie a proces kontroly.

Na prvé cvičenie vyberte regresný test. Použite vymyslené dátumy a lokálnu vetvu. Uveďte, že produkčný prístup, aktualizácie závislostí a nesúvisiaci refaktoring sú mimo rozsahu.

Napíšte podmienku dokončenia

„Zlepšite spracovanie dátumov“ ponecháva priveľa priestoru na výklad. Použite konkrétnu podmienku: „Ak vstup obsahuje neplatný kalendárny dátum, vráťte validačnú chybu. Zachovajte zdokumentovaný výstup pre platné dátumy.“

Pridajte príklady platných a neplatných vstupov. Uveďte existujúci príkaz na spustenie testov. Požiadajte agenta, aby pred zmenou súborov preskúmal aktuálne správanie. Vyžiadajte si krátke vysvetlenie chyby a dôkazy po zmene.

Oddeľte výsledok úlohy od činnosti. „Agent napísal test“ opisuje činnosť. „Test odmietne známu chybu“ opisuje dôkaz. Test, ktorý uspeje pri správnom aj nesprávnom kóde, nepreukazuje zamýšľanú ochranu.

Sledujte priebeh práce

Počas cvičenia zaznamenávajte, kde agent potrebuje ďalší kontext. Overte, či číta relevantné pokyny repozitára. Všímajte si, či mení súbory mimo rozsahu alebo opakuje neúspešný prístup bez nových dôkazov.

Neopravujte okamžite každú drobnú voľbu. Nechajte agenta dokončiť povolenú a zvrátiteľnú prácu, aby ste mohli posúdiť výsledok. Zasiahnite, keď ďalšia akcia prekročí hranicu alebo pokračovanie závisí od nevyriešenej požiadavky.

Po dokončení skontrolujte diff a spustite relevantné kontroly. Zaznamenajte čas agenta aj svoj čas na prípravu a kontrolu. Tieto pozorovania vám pomôžu vybrať ďalšiu úlohu a zlepšiť pracovné pokyny.

Rozširujte vždy jednu hranicu

Ak cvičenie uspeje, zvýšte zložitosť iba v jednom smere. Môžete prejsť od jednej funkcie k súvisiacej dvojici modulov. Môžete pridať zdokumentovanú integráciu. Oprávnenia a požiadavky na overenie ponechajte výslovné.

Ak cvičenie zlyhá, pred rozšírením rozsahu určte príčinu. Chýbajúci kontext, nejasná požiadavka, nedostupné testovacie prostredie a obmedzenie modelu potrebujú rôzne opravy. Väčšia autonómia nevyrieši všetky štyri problémy.

Ak prototyp zostane v používaní, určte osobu zodpovednú za údržbu. Nové informácie o zraniteľnostiach môžu vyžadovať zásah aj bez zmeny kódu. Pozrite si priebežné riadenie zraniteľností.