Modeller, bağlam ve yanlış yanıtlar

Yeteneği mevcut bilgiden ayırın

Bir dil modeli, öğrendiği örüntüleri ve görev sırasında verilen bilgileri kullanır. Modern modeller kapsamlı akıl yürütebilir ve işe yarayan yazılım çalışmaları yapabilir. Yanlış bir varsayıma dayanan ayrıntılı yanıtlar da üretebilirler.

‘Frontier model’ değişen bir yetenek düzeyini tanımlar. Bu terim modelin kod deponuzu okuduğunu göstermez. Bağımlılık sürümlerinizi veya yazılı olmayan iş kurallarınızı bildiğini de göstermez. Görev ortamı bu bilgileri sağlamalıdır.

Uygun araçları olan bir ajan bilgi alabilir. Erişimi olmayan bir sohbet kod deposunu inceleyemez. Bir yanıt yanlış görünüyorsa iki soru sorun. Model doğru bilgiyle bu sorunu çözebilir mi? Model bu bilgiyi aldı mı?

Farklı bir model ilk soruna yardımcı olabilir. Eksik politikanın sağlanması veya bağımlılık kontrolü ikinci sorunu çözebilir.

Bu görev için bağlamı tanımlayın

Bağlam, mevcut yanıt için kullanılabilen bilgidir. Talimatları, verilen dosyaları, ilgili konuşmayı ve araç sonuçlarını içerir. Ürünler bu bilgiyi farklı şekillerde seçip saklar. Önceki içeriği özetleyebilirler de.

Modelin yüklenen klasördeki her dosyayı okuduğunu varsaymayın. Erken bir talimatın uzun bir oturum boyunca erişilebilir kaldığını varsaymayın. Araçtan hangi dosya ve talimatları kullandığını belirtmesini isteyin.

Daha fazla bağlam yanıtı her zaman iyileştirmez. Güncel bir mimari karar, ilgisiz kaynak dosyalarından daha yararlı olabilir. Eski bir geçiş rehberi yetkili kaynak gibi göründüğü için yanlış yanıta yol açabilir.

Kurgusal bir hesap ayarları özelliği düşünün. Route’u, yetkilendirme middleware’ini, ilgili veri modelini ve mevcut bir testi sağlayın. Belirli bir kısıt ekleyin: ‘Üye görünen adını değiştirebilir. Üye kuruluştaki rolünü değiştiremez.’ Modelin artık koruyacağı açık bir kural vardır.

Açıklamadaki iddiaları kontrol edin

Bir yanıt, middleware sahipliği kontrol ettiği için endpoint’in güvenli olduğunu söyleyebilir. Bu iddianın her bölümünü doğrulayın.

1. Endpoint’in belirtilen middleware’i kullandığını kontrol edin.
2. Middleware’in yalnızca kimlik doğrulaması değil, sahiplik kontrolü de yaptığını doğrulayın.
3. Kullanıcı kimliğinin kaynağını belirleyin.
4. Farklı bir kullanıcıyla negatif test yapın.

Kod deposu referansı nereye bakılacağını gösterir. Açıklamanın kodla uyuştuğunu kanıtlamaz.

API önerisi için aynı yöntemi kullanın. Üretilen kod, kurulu paketinizin dışa aktarmadığı bir metodu çağırabilir. Bağımlılıkları değiştirmeden önce paket sürümünü ve resmî belgeleri kontrol edin. Aksi hâlde dayanaksız bir varsayım gereksiz geçişe yol açabilir.

Belirsizliği bir kontrole dönüştürün

‘Doğru ol’ bir doğrulama planı değildir. Varsayımı, gerekli kanıtı ve yanlış sonucun etkisini belirleyin.

Örneğin: ‘Bu endpoint için tenant yalıtımını doğrulamadık. İstek işleyicisini inceleyin. Başka bir tenant’tan kullanıcının aynı kaydı istediği bir test ekleyin.’ Bu talimat ajana somut bir araştırma ve gözlenebilir bir sonuç verir.

Uygulama sorularında sistemin gerçek sürümünü inceleyin. Bir belge amaçlanan davranışı anlatabilir. Kod incelemesi ve testler mevcut davranışı belirlemeye yardımcı olur. Aralarında uyuşmazlık varsa bir sorumlu çözene kadar farkı kaydedin. Daha kullanışlı yanıtı sessizce seçmeyin.

Yöneticiler her kod değişikliğini okumadan bu yöntemi kullanabilir. Ekibin hangi varsayımları kontrol ettiğini sorun. Açık kalan varsayımları ve sorumlularını belirleyin. Bu bilgi, yayın kararını model adından daha doğrudan destekler.