Vyberte užitečný první úkol pro AI

Vyberte úkol, který dokážete ověřit

První užitečný úkol vás má naučit, jak nástroj funguje ve vašem prostředí. Má také přinést výsledek, který dokážete zkontrolovat. Malá oprava známé chyby často splňuje obě podmínky.

Nevybírejte úkol jen proto, že ukázka bude působivá. Rozsáhlý redesign může vytvořit mnoho viditelných změn a přitom skrýt nesprávné předpoklady. Malý úkol ukáže, zda agent čte pokyny, dodržuje rozsah a přesně hlásí neúspěšné kontroly.

Nemusíte zvolit nejjednodušší možný úkol. Vyberte takový, u kterého tým rozpozná správný výsledek a vysvětlí, proč je správný.

Porovnejte možné úkoly

Zvažte tři fiktivní požadavky v aplikaci pro sestavy.

Vysvětlení pomáhá zkoumat uvažování a důkazy. Regresní test přidává řízenou akci. Architektonický úkol může být užitečný později, ale vyžaduje výrazně kvalitnější zadání a proces kontroly.

Pro první cvičení vyberte regresní test. Použijte vymyšlená kalendářní data a lokální větev. Uveďte, že přístup do produkce, aktualizace závislostí a nesouvisející refaktoring jsou mimo rozsah.

Zapište podmínku dokončení

„Vylepšit zpracování kalendářních dat“ ponechává příliš mnoho prostoru pro výklad. Použijte konkrétní podmínku: „Pokud vstup obsahuje neplatné kalendářní datum, vrať validační chybu. Pro platná data zachovej zdokumentovaný výstup.“

Přidejte příklady platných a neplatných vstupů. Uveďte existující příkaz pro testy. Požádejte agenta, aby před změnou souborů prozkoumal současné chování. Požadujte krátké vysvětlení chyby a důkazy po změně.

Oddělte výsledek úkolu od činnosti. „Agent napsal test“ popisuje činnost. „Test odhalí známou chybu“ popisuje důkaz. Test, který projde na správném i chybném kódu, neprokazuje zamýšlenou ochranu.

Sledujte pracovní postup

Během cvičení zaznamenávejte, kde agent potřebuje další kontext. Ověřte, zda čte příslušné pokyny v repozitáři. Všímejte si, zda mění soubory mimo rozsah nebo bez nových důkazů opakuje neúspěšný postup.

Neopravujte okamžitě každou drobnou volbu. Nechte agenta dokončit povolenou vratnou práci, abyste mohli posoudit výsledek. Zasáhněte, pokud další akce překračuje hranici nebo pokud pokračování závisí na nevyřešeném požadavku.

Po dokončení zkontrolujte diff a spusťte příslušné kontroly. Zaznamenejte čas agenta i svůj čas na přípravu a kontrolu. Tato pozorování pomohou vybrat další úkol a zlepšit pracovní pokyny.

Rozšiřujte vždy jednu hranici

Pokud cvičení uspěje, zvyšte složitost v jednom směru. Můžete přejít od jedné funkce ke dvojici souvisejících modulů. Můžete přidat zdokumentovanou integraci. Oprávnění a požadavky na ověření ponechte výslovné.

Pokud cvičení selže, před rozšířením rozsahu zjistěte příčinu. Chybějící kontext, nejasný požadavek, nedostupné testovací prostředí a omezení modelu potřebují různé nápravy. Vyšší autonomie nevyřeší všechny čtyři problémy.

Pokud se prototyp dál používá, určete osobu odpovědnou za údržbu. Nové informace o zranitelnostech mohou vyžadovat zásah i beze změny kódu. Viz průběžná správa zranitelností.