Ürün açıklamasında olmayan soruya cevap nereden gelmeli?

Bir müşteri, ürün sayfanızda yazmayan bir şey soruyor: “Bu telefon PUBG'yi kaldırır mı?”, “Bu kılıf 2019 model kasaya uyar mı?”, “Bu cihaz Türkiye prizinde çalışır mı?”. Açıklamayı ne kadar özenle yazarsanız yazın bu sorular bitmez. Her müşterinin kendi kullanım senaryosunu sayfaya önceden sığdırmak mümkün değildir.

Asıl mesele sorunun gelmesi değil, geldiği anda kimin cevap verdiğidir. Mesajlarınıza bir otomasyon bağladıysanız, açıklamada olmayan soru o aracın en zayıf anıdır: elinde hazır cevap yoktur ve o boşlukta ne yapacağı, nasıl inşa edildiğine bağlıdır. Kimi araç susar, kimi uydurur — ve ikisi aynı maliyette değildir.

Bu yazı o anın mekanizmasına bakıyor: klasik chatbot neden uydurur, yanıtı mağaza kaydına bağlamak bunu neden değiştirir ve bu yaklaşımın — literatürdeki adıyla RAG'in — arkasında hangi kamuya açık ölçümler var.

Açıklamaya sığmayan soru istisna değil, kuraldır

Ürün açıklaması ürünü anlatır. Müşteri ise ürünle kendi hayatının kesişimini sorar: kendi telefonunu, kendi bedenini, kendi prizini, kendi kullanım amacını. Bu kesişim kombinatoryaldir; kaç varyant, kaç cihaz, kaç senaryo varsa o kadar olası soru vardır ve hiçbir açıklama bu kümenin tamamını önceden kapsayamaz.

Bağlı olduğumuz bir mağazada gelen mesajları etiketlediğimizde üç sorunun sürekli tekrar ettiğini gördük: bu ürün benimkiyle uyumlu mu, ne zaman kargolanır, ne zaman ulaşır. Üçünün ortak özelliği şu: cevap ürün açıklamasının cümlelerinde değil, mağazanın kayıtlarında duruyor. Uyumluluk ürün verisinde, kargolama siparişin durumunda, varış taşıyıcının kaydında.

Bu soruların bir kısmı satış öncesi gelir ve orada bekleyen bir maliyet vardır: cevap alamayan müşteri ikna olmaz, sepeti bırakır ve aynı ürünü cevap veren bir yerden alır. Yani açıklamada olmayan soru bir destek bileti değil, askıda duran bir satıştır. Cevabın hızı kadar doğruluğu da bu yüzden önemlidir.

İyi yazılmış bir açıklama soru hacmini küçültür; bu yüzden değerlidir. Ama sıfırlamaz. Geriye kalan sorular için mesele bir içerik sorunu olmaktan çıkar, bir erişim sorununa dönüşür: cevabı veren sistem, cevabın durduğu kayda ulaşabiliyor mu?

Klasik chatbot iki biçimde başarısız olur; pahalı olanı uydurmaktır

Uydurma davranışının teknik bir adı var: halüsinasyon. Bir dil modeli, eğitiminde gördüğü metinlerden yola çıkarak akla yatkın bir devam üretecek şekilde eğitilir. Sorunun cevabı önüne konmadıysa model durmaz; boşluğu istatistiksel ezberinden doldurur. Bunu tereddütle değil, doğru cevap yazarkenki akıcılığın aynısıyla yapar. Kendinden eminlik doğruluğun işareti değil, modelin varsayılan üslubudur.

Bu bir ayar sorunu da değildir. Modele “bilmediğin şeyi söyleme” talimatı vermek davranışı yumuşatır ama ortadan kaldırmaz, çünkü model neyi bilmediğini güvenilir biçimde bilmez. Eğitim verisinde benzer ürünler, benzer telefonlar, benzer kılıflar vardır; sizin ürününüz yoktur. Model o benzerlikten bir cevap türetir ve türettiğinin farkında değildir.

İki mod eşit maliyette değildir. Susan araç yalnızca işe yaramaz; soru size geri döner ve tablo otomasyondan önceki hâline dönmüş olur. Uyduran araç ise mağazanız adına konuşmuştur. Müşteri cevabın bir modelin ezberinden mi kayıttan mı geldiğini bilmez; ekranda mağazanızın adını görür ve kararını o cevaba göre verir. Yanlış bir uyumluluk cevabı, birkaç gün sonra bir iade talebi ve bir olumsuz yorum olarak geri döner.

Çare daha iyi bir model değil, yanıtın kaynağını değiştirmektir

Bu sorunun literatürdeki cevabı 2020'de netleşti. Facebook AI Research, UCL ve NYU'nun ortak makalesi (Lewis ve ark., NeurIPS 2020), üretimden önce ilgili belgeyi getirip modelin önüne koymanın — getirme destekli üretimin, literatürdeki kısaltmasıyla RAG'in (Retrieval-Augmented Generation) — bilgi yoğun görevlerde üretilen metni ölçülebilir biçimde daha olgusal hâle getirdiğini gösterdi. Mekanizma sezgiseldir: model hatırlamaya çalışmak yerine önüne konan kayda bakar.

E-ticarette bu kaydın üç doğal kaynağı vardır: ürün verisi (özellikler, varyantlar, uyumluluk notları), sipariş verisi (durum, kargo aşaması, takip numarası) ve mağazanın kendi bilgi bankası (politikalar, sizin daha önce verdiğiniz cevaplar). Soru geldiğinde önce bu kaynaklardan ilgili parçalar getirilir; yanıt o parçaların üstüne kurulur.

Getirmenin zamanlaması da tasarımın parçasıdır. Kayıt, soru geldiği anda sorgulanır; önceden yazılıp bekletilmez. Ürün verisi için bu ince bir ayrıntı gibi görünebilir, ama sipariş verisi için belirleyicidir: kargo durumu saat başı değişir ve dün doğru olan cevap bugün yanlıştır. Anlık sorgu olmadan en iyi hazır cevap bile zamanla yalana dönüşür.

Bu yaklaşımı hazır cevap eşleyen araçlardan ayıran da budur. Anahtar kelime eşleyen bir bot, soruyu önceden yazılmış bir cevaba yönlendirir; soru listede yoksa çaresizdir, listede varsa bile cevap yazıldığı günün bilgisini taşır. Getirme destekli sistemde ise hazır cevap değil kayıt vardır; cevap her seferinde o anki kayıttan yeniden kurulur.

Kayıtta olmayan şey yanıtta da olmaz; sınır sonradan eklenmiş bir filtre değil, mimarinin kendisidir.

Bu mimarinin dürüst bir sonucu daha var: yanıtın kalitesi kaydın kalitesiyle sınırlıdır. Uyumluluk bilgisi ürün verinizde hiç yoksa, getirme destekli bir sistem de onu bilemez — uydurmadığı için emin olamadığını söyler ve devreder. Bu yüzden bu yaklaşım mağazayı açıklamayı ve bilgi bankasını doldurmaya iter; devredilen her soru, kayda eklenecek bir satırın adresini gösterir.

Doğruluk iddiası ölçülebilir olmak zorundadır

Bu yaklaşımın etkisi bağımsız ölçümlerle de raporlandı. Meta'nın CIKM 2024'te yayımladığı Ingest-and-Ground çalışması (Fang ve ark.), alan-özel sorularda getirme destekli kurulumun halüsinasyon tarafında temel modele göre iki kata kadar iyileşme sağladığını ölçtü. Amazon Science'ın NeurIPS 2024'te yayımladığı RAGChecker (Ru ve ark.) ise bu sistemlerin getirme ve üretim adımlarını ayrı ayrı denetlemek için açık bir çerçeve sunuyor; biz de kendi iç ölçümümüzü bu çerçevenin üzerine kuruyoruz. Yani “doğru mu çalışıyor” sorusu, hem literatürde hem bizim masamızda, izlenimle değil ölçümle cevaplanıyor.

Bu süreç Prodixa'da nasıl işliyor

Prodixa'nın operasyon ajanı yanıtı tam olarak bu mimariyle kurar. WhatsApp, Instagram DM, Messenger veya Gmail'den gelen soru tek gelen kutuya düşer; ajan bağlı mağazanızın (ikas, Shopify, IdeaSoft veya WooCommerce) ürün verisine, sipariş kaydına ve sizin doldurduğunuz bilgi bankasına bakar, cevabı oradan yazar. Kanal değişir; kaynak değişmez.

Kayıt yetmediğinde ajan uydurmaz. Elindeki bilgiyle gidebildiği yere kadar gider — stok durumunu ve kargo aşamasını kayıttan söyler — ve emin olamadığı kısmı size devreder. Devrettiği andan itibaren susar; tek konuşmada iki ağız olmaz. Sizin verdiğiniz cevap bilgi bankasına işlenir ve aynı soru ikinci kez geldiğinde artık kayıttan yanıtlanır. Ajan kullandıkça sizin mağazanızı öğrenir, genel bir bilgi havuzunu değil.

Denetimin dozunu da siz belirlersiniz. Ajan tam otonom yanıt verebilir ya da copilot olarak (taslağı hazırlayıp onayınıza sunan yardımcı mod) çalışır; iki uç arasında istediğiniz yerde durabilirsiniz. İki kural ise moddan bağımsızdır: para iadesi hiçbir zaman otomatik kapanmaz, daima onay kuyruğunuza düşer; pazaryeri kanallarının kuralları pazaryerinin panelinde kalır — ajan o kuralı okur, ezmez.

Kaynaklar

• Lewis ve ark., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, NeurIPS 2020 (Facebook AI Research · UCL · NYU) — arxiv.org/abs/2005.11401
• Fang ve ark., “Ingest-and-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG”, Meta, CIKM 2024
• Ru ve ark., “RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation”, Amazon Science, NeurIPS 2024 Datasets & Benchmarks — arxiv.org/abs/2408.08067