Models, context i respostes incorrectes
CompletadaIdentifiqueu com la manca d'informació pot provocar una resposta incorrecta, fins i tot en un model capaç.
Publicat per TaigaCom escrivim
Comproveu què heu entèsUn model de frontera recomana una funció que no existeix a la biblioteca instal·lada. Què heu de fer?Feu l'exercici
Què aprendreu
- Separar la capacitat del model de l'accés als fets actuals.
- Reconèixer quan una restricció absent canvia una resposta que, altrament, semblaria plausible.
- Demanar evidències que es puguin inspeccionar.
Separeu la capacitat de la informació disponible
Un model de llenguatge utilitza patrons apresos i la informació proporcionada durant una tasca. Els models moderns poden fer raonaments complexos i feina útil de programari. També poden produir una resposta detallada que depengui d’una hipòtesi incorrecta.
«Model de frontera» descriu un nivell de capacitat que canvia amb el temps. El terme no acredita que un model hagi llegit el vostre repositori. No demostra que conegui les versions de les dependències ni les regles de negoci no escrites. L’entorn de la tasca ha de proporcionar aquests fets.
Un agent amb eines adequades pot recuperar informació. Un xat sense accés no pot inspeccionar el repositori. Quan una resposta sembli incorrecta, feu-vos dues preguntes. El model pot resoldre aquest problema amb la informació correcta? Ha rebut aquesta informació?
Un altre model podria ajudar amb el primer problema. Proporcionar la política que falta o comprovar una dependència pot resoldre el segon.
Definiu el context d’aquesta tasca
El context és la informació disponible per a la resposta actual. Inclou les instruccions, els fitxers proporcionats, la conversa rellevant i els resultats de les eines. Els productes seleccionen i conserven aquesta informació de maneres diferents. També poden resumir contingut anterior.
No suposeu que un model llegeix tots els fitxers d’una carpeta carregada. No suposeu que una instrucció inicial continua disponible durant tota una sessió llarga. Demaneu a l’eina que identifiqui els fitxers i les instruccions que ha utilitzat.
Més context no sempre millora la resposta. Una decisió d’arquitectura vigent pot ajudar més que fitxers de codi font no relacionats. Una guia de migració obsoleta pot provocar una resposta incorrecta perquè sembla autoritzada.
Considereu una funcionalitat fictícia de configuració de comptes. Proporcioneu la ruta, el middleware d’autorització, el model de dades pertinent i una prova existent. Afegiu una restricció concreta: «Un membre pot canviar el seu nom visible. Un membre no pot canviar el seu rol a l’organització». Ara el model té una regla explícita que ha de conservar.
Comproveu les afirmacions de l’explicació
Una resposta podria afirmar que un endpoint és segur perquè el middleware comprova la titularitat. Verifiqueu cada part d’aquesta afirmació.
- Comproveu que l’endpoint utilitza el middleware indicat.
- Comproveu que el middleware verifica la titularitat, no només l’autenticació.
- Identifiqueu la font de la identitat de l’usuari.
- Feu una prova negativa amb un altre usuari.
Una referència al repositori indica on mirar. La referència no acredita que l’explicació concordi amb el codi.
Utilitzeu el mateix mètode per a una recomanació d’API. El codi generat pot cridar un mètode que el paquet instal·lat no exporta. Comproveu la versió del paquet i la documentació oficial abans de substituir dependències. Si no ho feu, una hipòtesi sense fonament pot provocar una migració innecessària.
Convertiu la incertesa en una comprovació
«Sigueu precisos» no és un pla de verificació. Identifiqueu la hipòtesi, les evidències necessàries i la conseqüència d’un resultat incorrecte.
Per exemple: «No hem verificat l’aïllament entre tenants d’aquest endpoint. Inspeccioneu el gestor de peticions. Afegiu una prova en què un usuari d’un altre tenant demani el mateix registre». Aquesta instrucció dona a l’agent una investigació concreta i un resultat observable.
Per a preguntes d’implementació, examineu la versió real del sistema. Un document pot descriure el comportament previst. La inspecció del codi i les proves ajuden a acreditar el comportament actual. Si no coincideixen, registreu la diferència fins que un responsable la resolgui. No trieu silenciosament la resposta més convenient.
Els responsables d’equip poden utilitzar aquest mètode sense llegir cada canvi de codi. Pregunteu quines hipòtesis ha comprovat l’equip. Identifiqueu les que encara no s’han resolt i els seus responsables. Aquesta informació dona suport a una decisió de publicació més directament que el nom del model.
Feu l'exercici
Trieu una funció petita que entengueu. Utilitzeu codi sense informació sensible. 1. Demaneu a una eina d'IA aprovada que expliqui la funció. 2. Proporcioneu el codi que la crida i una prova fallida. 3. Demaneu a l'eina que revisi l'explicació. 4. Anoteu l'afirmació que ha canviat i l'evidència que l'ha fet canviar. 5. Anoteu qualsevol incertesa que encara quedi.
Descarrega la fitxa (Markdown)Desmarcar aquesta opció elimina tot el progrés desat en aquest navegador.
El progrés es queda en aquest navegador. Sense compte ni seguiment.