Sesli Yapay Zekâda Gecikme Müşteri Deneyimini Neden Baştan Değiştirir?

Sesli yapay zekâda gecikmenin neden temel bir ürün kararı olduğunu, nerede biriktiğini ve gerçek zamanlı mimarinin etkisini öğrenin.

Cally Editör Ekibi · 2 dk okuma

600 MS GÖRÜŞMEYİ DEĞİŞTİREBİLİR

İnsanlar telefonda sessizliği daha çabuk fark eder

Bir sohbet arayüzü, bir saniyelik düşünme süresini yazıyor göstergesinin arkasına saklayabilir. Telefon görüşmesi bunu yapamaz. Arayan kişi cümlesini bitirip sessizlik duyduğunda, bunu kafa karışıklığı, kopmuş bağlantı veya kendisini anlamayan bir sistem olarak algılayabilir. Bu yüzden son yanıt doğru olsa bile gecikme, etkileşimin tamamının tonunu değiştirir.

Gecikme birikir

Sesli ajanın tek bir gecikme değeri yoktur. Bir zincir vardır: konuşmanın sonunu algılama, sesi yazıya çevirme, bağlamı dil modeline gönderme, ilk yararlı token’ları alma, ses üretme ve bu ses örneklerini görüşmeye geri taşıma. Telefoni aktarımı da bir katman ekler. Zincirin geri kalanı sıralı ve yavaş kalıyorsa yalnızca bir bileşeni iyileştirmek nadiren deneyimi düzeltir.

Cally gecikmeyi bir mimari sorunu olarak ele alır

Cally bu zincirin tamamını kendi altyapısında çalıştırır: Cally VAD, Cally STT, Cally’nin dil motoru ve Cally TTS doğrudan görüşmeye bağlıdır. Uçtan uca hedef 600 milisaniyenin altındadır. Katmanlar birlikte çalışacak şekilde tasarlandığı için bir adımda yaşanan anlık yavaşlık görüşmeyi dondurmaz; yerleşik yedekleme bunu arayana hissettirmeden karşılar.

İlk yanıtın hızı tek hedef değildir

Hızlı konuşan ama söz kesmelerini dikkate almayan bir ajan yine yapay hissettirir. Düşük gecikmeli sistemler, arayan araya girdiğinde konuşmayı durdurmalı, gerçekte hangi sözlerin duyulduğunu anlamalı ve doğru konuşma durumundan devam etmelidir. Cally, ses oynatma zamanlamasını karakter veya sözcük düzeyinde izler. Böylece arayan söz kestiğinde tamponlanan ses temizlenebilir ve geçmişte yalnızca gerçekten oynatılan sözcükler kalır.

Gecikmeyi kıyaslama testiyle değil görüşmeyle ölçün

Yapay bir performans testi, tek başına çalışan bir modelin bir token’ı ne kadar hızlı döndürdüğünü gösterebilir. Operasyon ekipleri ise arayanın deneyimini ölçmelidir: konuşmasının bitişinden ilk duyulabilir yanıta kadar geçen süre, söz kesmeden sonra toparlanma, uzun yanıt davranışı, ağdaki değişkenlik ve yedek mekanizmaların davranışı. En iyi gecikme hedefi, sıralama tablosundaki bir sayı değil, gerçek koşullarda hızlı karşılık veren bir görüşmedir.

Ses platformunu değerlendirirken yalnızca LLM performansını değil, gecikmenin tüm yolunu sorun. Arayan, işlem zincirinin tamamını deneyimler.

Cally’yi keşfedin