Üretimde RAG: CTO ofisi neyi sahiplenmeli, neyi devretmeli

RAG, üzerine bir dil modeli takılmış indeksleme, güvenlik, tazelik, değerlendirme ve maliyet demektir. Külliyatın anlamı ve eskalasyon CX’in; verinin indekse nasıl girdiği ve kimin neyi sorgulayabildiği CTO ofisinin sahipliğidir. Bu iki sahiplik bulanıklaştığında her yanlış cevap bir kayıt değil, bir toplantı hâline gelir.

Demo neden program değildir

Demo, donmuş bir külliyat üzerinde tek bir mutlu yolun, o yolu kuran kişi tarafından sorulmasıdır. Üretim ise habersiz değişen bir külliyat üzerinde açık uçlu bir sorgu dağılımının, sistemin neyi cevaplayamayacağını bilmeyen insanlar tarafından sorulmasıdır. Bunlar farklı mühendislik problemleridir ve ikincisi büyük ölçüde modelle ilgili değildir.

Bu yüzden modeli yükseltmekten önce hangi aşamanın patladığını adlandırmak gelir. Kaynak PDF’lerinizdeki tablolar alım sırasında yapısız metne düzleştiyse, hiçbir model sonradan kolon ilişkilerini geri getiremez. Retrieval anlamsal olarak komşu belgeleri döndürüp tam terimi içeren tek sayfayı kaçırdıysa, model yanlış kanıttan akıcı bir cevap yazar. Bunların her biri farklı bir aşamada yaşar, farklı bir sahibi vardır ve farklı bir düzeltme gerektirir.

CTO ofisinin elinde tuttuğu alanlar

Bu bölüşüm politik değil; kimin çağrılabileceğinden çıkar. Runbook’u ve alarmı olan her şey CTO ofisinin, müşteri için iyi cevabın ne anlama geldiğine dair yargı gerektiren her şey CX’in. Değerlendirme ikiye ayrılan tek satırdır: koşumu mühendislik, doğru cevabı tanımlayan referans veriyi iş tarafı sahiplenir. Referans veriyi mühendisliğe devrederseniz, kimsenin sormadığı sorularda yüksek puan alan bir sistem elde edersiniz.

Devredemeyeceğiniz sınır: erişim

OWASP LLM Uygulamaları için İlk 10 (2026) vektör ve gömme zafiyetlerini LLM09 olarak listeliyor; 2025 sürümündeki LLM08’den yükseltilmiş ve kapsamı genişletilmiş hâliyle. Maddeyi bir güvenlik kontrol listesi değil, bir işletim uyarısı olarak okuyun: retrieval katmanı güven sınırınızın parçasıdır ve benzerlik aramanın kendisi modelin neyi bilmesine izin verildiğine karar verir.

Bunun bir CTO ofisi için pratik sonucu şudur: yetkilendirme retrieval’dan önce, sunucu tarafında, çağıranın kimliğiyle uygulanmalı ve asla istemcinin etkileyebileceği bir filtre olmamalı. Kiracılar ve kohortlar, metadata koşuluyla filtrelenen ortak indeks yerine izole indeks alır. Ham benzerlik skorları çağırana döndürülmez, çünkü skor bir üyelik kâhinidir. Bunlar konfigürasyon değil mimari kararlardır; tam bu yüzden bir iş tanımıyla tedarikçiye taşınamazlar.

Tazelik, silme ve sessiz bozulma

Bayat indeks en sık gelen üretim şikâyeti ve en az dramatik hatadır. Hiçbir şey kırılmaz. Gecikme SLA içinde kalır, hata oranı sıfırda durur ve sistem iki çeyrek önce yürürlükten kalkmış bir politikayla cevap vermeye devam eder. Silme aynı problemin daha keskin hâlidir: kaynakta kaldırılan bir belge, bunu yapan bir mekanizma yoksa indeksinizden kalkmaz; yani retrieval, işin geri çektiğine inandığı içeriği sunmayı sürdürür.

Bu nedenle tazelik de her üretim bağımlılığı gibi ele alınmalı; iyi niyet değil, adı konmuş alarmlar demek.

• Külliyat başına indeks yaşı; iş tarafının kabul ettiği bir eşik ve eşik aşıldığında çağrılan bir sahip ile.
• Reindeks işinin başarısı ve süresi, çünkü sessizce başarısız olmaya başlayan bir iş taze indeksle aynı görünür.
• Kaynak sistemden indekse silme yayılma gecikmesi; varsayılan değil, ölçülen.
• Sabit bir değerlendirme kümesi üzerinde retrieval kalitesi, planlı koşumla, ki bozulma kullanıcı bildirmeden görünür olsun.

Değerlendirme kalıcı bir varlıktır, lansman kapısı değil

Çoğu ekip değerlendirme kümesini bir kez kurar, lansman kararını gerekçelendirmek için kullanır ve bir daha koşmaz. Bu, kümenin değerini tersine çevirir. Doğru kaynakları bilinen sabit bir soru kümesi; büyüyen külliyattan, kayan sorgu sözlüğünden veya gömme davranışını sessizce değiştiren bir bağımlılık yükseltmesinden kaynaklanan kalite düşüşünü yakalayan tek enstrümandır. O olmadan ilk sinyaliniz bir müşteri şikâyeti olur ve o noktada referans çizgisi olmayan bir sistemde geriye doğru hata ayıklıyorsunuz.

Maliyet yönetişimi indeksin sahibine aittir

RAG maliyeti token faturası değil; külliyat büyüklüğü, yenileme sıklığı, retrieval derinliği ve yeniden sıralamanın çarpımıdır. Bunların her biri birinin verdiği bir karardır ve genellikle diğerlerini görmeden verilir. İlk üç aday yerine ilk yirmiyi yeniden sıralamak cevabı iyileştirir ve sorgu başına maliyeti katlar. Beşinci kaynağı bağlamak gömme harcamasını üçe çıkarır, değeri nadiren üçe çıkarır. Bu kolları indeksin sahibiyle aynı yere koyun; maliyet çeyreklik sürpriz olmaktan çıkıp tasarım konusuna dönüşür.

Tedarikçi sınırı nerede meşrudur

Yönetilen retrieval altyapısı makul bir satın almadır. Yönetilen sahiplik değildir. Ölçüt şudur: ekibiniz gece ikide, tedarikçi olmadan o katmanda bir olayı yürütebiliyor mu ve erişim sınırları, gözlemlenebilirlik, veri dışa aktarımı bir telefonda vaat edilmiş değil sözleşmede yazılı mı. AI Risk Yönetim Çerçevesi’nin üretken yapay zekâ profili olan NIST AI 600-1 burada tam olarak yükümlülükleri özellikler yerine yönet, haritala, ölç ve idare et etrafında düzenlediği için işe yarar. Tedarikçi sınırınızı bu dört fiile karşı okuyun, boşluklar kendiliğinden görünür.

Retrieval için paralel bir şema uydurmak yerine VoC yönetişim katmanlarını devralın. Tek külliyatta, herhangi bir CX odaklı programla aynı 90 günlük pilot disiplinini uygulayın ve yap-satın al incelemesini hangi katmanı gerçekten işletmeye niyetli olduğunuz konusunda dürüst tutun.