Model, konteks, dan jawaban yang keliru

Bedakan kemampuan dari informasi yang tersedia

Model bahasa menggunakan pola yang dipelajari dan informasi yang diberikan selama tugas. Model modern dapat melakukan penalaran yang kompleks dan pekerjaan perangkat lunak yang berguna. Model juga dapat menghasilkan jawaban terperinci yang bergantung pada asumsi keliru.

“Model frontier” menggambarkan tingkat kemampuan yang terus berubah. Istilah tersebut tidak membuktikan bahwa model telah membaca repositori Anda. Istilah itu tidak menunjukkan bahwa model mengetahui versi dependensi atau aturan bisnis yang tidak tertulis. Lingkungan tugas harus menyediakan fakta tersebut.

Agen dengan alat yang sesuai dapat mengambil informasi. Percakapan tanpa akses tidak dapat memeriksa repositori. Ketika jawaban tampak keliru, ajukan dua pertanyaan. Dapatkah model menyelesaikan masalah ini dengan informasi yang benar? Apakah model menerima informasi tersebut?

Model berbeda mungkin membantu masalah pertama. Kebijakan yang belum diberikan atau pemeriksaan dependensi dapat menyelesaikan masalah kedua.

Tentukan konteks untuk tugas ini

Konteks adalah informasi yang tersedia untuk respons saat ini. Konteks mencakup instruksi, file yang diberikan, percakapan relevan, dan hasil alat. Produk memilih dan menyimpan informasi ini dengan cara berbeda. Produk juga dapat merangkum konten sebelumnya.

Jangan berasumsi bahwa model membaca setiap file dalam folder yang diunggah. Jangan berasumsi bahwa instruksi awal tetap tersedia sepanjang sesi yang panjang. Minta alat mengidentifikasi file dan instruksi yang digunakannya.

Lebih banyak konteks tidak selalu memperbaiki jawaban. Keputusan arsitektur terkini dapat lebih membantu daripada file sumber yang tidak terkait. Panduan migrasi yang sudah usang dapat menimbulkan jawaban keliru karena panduan tersebut tampak berwenang.

Pertimbangkan fitur pengaturan akun fiktif. Berikan route, middleware otorisasi, model data yang relevan, dan pengujian yang sudah ada. Tambahkan batasan spesifik: “Anggota dapat mengubah nama tampilannya. Anggota tidak dapat mengubah perannya dalam organisasi.” Kini model memiliki aturan eksplisit yang harus dipertahankan.

Periksa klaim dalam penjelasan

Jawaban mungkin menyatakan bahwa endpoint aman karena middleware memeriksa kepemilikan. Verifikasi setiap bagian klaim ini.

1. Periksa bahwa endpoint menggunakan middleware yang disebutkan.
2. Periksa bahwa middleware memverifikasi kepemilikan, bukan hanya autentikasi.
3. Identifikasi sumber identitas pengguna.
4. Lakukan pengujian negatif sebagai pengguna lain.

Referensi repositori menunjukkan lokasi yang perlu diperiksa. Referensi tersebut tidak membuktikan bahwa penjelasan sesuai dengan kode.

Gunakan metode yang sama untuk rekomendasi API. Kode yang dihasilkan dapat memanggil metode yang tidak diekspor oleh paket terpasang. Periksa versi paket dan dokumentasi resmi sebelum mengganti dependensi. Jika tidak, asumsi tanpa dukungan dapat menyebabkan migrasi yang tidak perlu.

Ubah ketidakpastian menjadi pemeriksaan

“Jawab dengan akurat” bukan rencana verifikasi. Identifikasi asumsi, bukti yang diperlukan, dan dampak hasil yang keliru.

Misalnya: “Kami belum memverifikasi isolasi tenant untuk endpoint ini. Periksa handler permintaan. Tambahkan pengujian ketika pengguna dari tenant lain meminta data yang sama.” Instruksi ini memberi agen penyelidikan spesifik dan hasil yang dapat diamati.

Untuk pertanyaan implementasi, periksa versi sistem yang sebenarnya. Dokumen dapat menjelaskan perilaku yang dimaksud. Pemeriksaan kode dan pengujian membantu memastikan perilaku saat ini. Jika keduanya berbeda, catat perbedaannya sampai penanggung jawab menyelesaikannya. Jangan diam-diam memilih jawaban yang lebih mudah.

Manajer dapat menggunakan metode ini tanpa membaca setiap perubahan kode. Tanyakan asumsi yang telah diperiksa tim. Identifikasi asumsi yang masih belum terjawab dan penanggung jawabnya. Informasi ini mendukung keputusan rilis secara lebih langsung daripada nama model.