როგორ შევამოწმოთ AI ზარი საუბრის შეწყვეტის დროს

მოკლე პასუხი: AI ზარის შეწყვეტა ორ საპირისპირო შემთხვევაში შეამოწმეთ. როცა მომხმარებელი პასუხს ასწორებს ან გაჩერებას ითხოვს, აგენტმა მიმდინარე რეპლიკის წარმოთქმა უნდა შეწყვიტოს, მოისმინოს შესწორება ან მოთხოვნა და ძველი მოქმედება აღარ გააგრძელოს. როცა მომხმარებელი მხოლოდ მოკლედ ეთანხმება ან ფონური ხმა ისმის, აგენტი ყოველ ჯერზე არ უნდა გაჩერდეს. გუნდი ხარისხს მხოლოდ ორივე მიმართულების ერთდროული ტესტით აფასებს.

რას ნიშნავს საუბრის შეწყვეტა და რა შედეგი უნდა მივიღოთ?

სწორი შედეგია, რომ პროგრამა მომხმარებლის ახალ სიტყვებს აფიქსირებს, ძველ აუდიოს აჩერებს, მანამდე დაგეგმილ მოქმედებას აუქმებს ან აახლებს და დიალოგს შესწორებული მნიშვნელობით აგრძელებს. საუბრის შეწყვეტა ხდება, როცა მომხმარებელი აგენტის რეპლიკის დასრულებას არ ელოდება და თვითონ იწყებს ლაპარაკს; ტექნიკურ სისტემებში ამას ხშირად barge-in ეწოდება.

ქვემოთ გამოყენებული კლინიკა „მწვანე საათი“, ყველა დიალოგი და შეფასება გამოგონილი სასწავლო მაგალითია. კლინიკა aiCALL-ის კლიენტი არ არის, აუდიო რეალური პაციენტის ჩანაწერს არ წარმოადგენს და სტატია პროდუქტის ამოცნობის სიზუსტეს არ ამტკიცებს.

სასწავლო სცენარში აგენტი ამბობს, რომ ვიზიტი დილითაა დაგეგმილი. მომხმარებელი შუა წინადადებაში ასწორებს: „არა, საღამოს დრო მაქვს შეთანხმებული“. თუ სისტემა ძველ რეპლიკას ბოლომდე ასრულებს და დილის დროს მაინც ინახავს, აგენტის აუდიო დაგვიანებით შეწყდა ან კალენდრის ჩანაწერში შესწორებული მნიშვნელობა არ ჩაიწერა.

aiCALL-ის შეწყვეტის ტესტის განხილვის მოთხოვნას დაურთეთ დამტკიცებული სცენარი, საკვანძო შესწორებები, ადამიანთან გადართვის წესები და თანხმობით მომზადებული ან სინთეზური სატესტო აუდიო.

როგორ შევამოწმოთ საუბრის შეწყვეტა ექვს სცენარში?

საუბრის შეწყვეტა 6 სცენარში შეამოწმეთ, რათა მარცხის განსხვავებული სახეები ცალ-ცალკე გამოჩნდეს.

მატრიცა ერთსა და იმავე დამტკიცებულ დიალოგზე გაუშვით, რათა ცვლილება მხოლოდ მომხმარებლის ქცევაში იყოს. თითოეული სცენარისთვის წინასწარ განსაზღვრეთ აუდიოს მოსალოდნელი ქცევა, ტრანსკრიპტში დასაფიქსირებელი მოვლენა და ბიზნესსისტემის მოსალოდნელი მოქმედება.

სცენარი	მომხმარებლის მოქმედება	მისაღები შედეგი
ფაქტის შესწორება	აგენტის რეპლიკის მიმდინარეობისას ცვლის თარიღს	აგენტმა ძველი რეპლიკა უნდა შეწყვიტოს, ახალი მნიშვნელობა ხმამაღლა გაიმეოროს და მომხმარებელს დადასტურება სთხოვოს
გაჩერების მოთხოვნა	ამბობს, რომ საუბრის გაგრძელება არ სურს	აგენტმა აუდიო უნდა შეწყვიტოს, ხოლო კონფიგურირებულმა კომპონენტმა შემდგომი ზარისთვის შესაბამისი სტატუსი უნდა შეინახოს
მოკლე დასტური	ამბობს „დიახ“ მოსმენის ნიშნად	აგენტმა პასუხის მიმართულება მხოლოდ მოსმენის ნიშნის გამო არ უნდა შეცვალოს
ფონური ხმა	საუბრისას სხვა ხმა ან კარის ბრახუნი ისმის	სისტემა ფონურ ხმას ახალ მოთხოვნად არ აღრიცხავს
პაუზიანი პასუხი	წინადადების შუაში ფიქრობს და აგრძელებს	აგენტმა მომხმარებლის საუბარი ნაადრევად არ უნდა შეწყვიტოს
ადამიანის მოთხოვნა	ოპერატორთან დაკავშირებას ითხოვს	ავტომატური პასუხი წყდება; წინასწარ გამართული გადაცემის კომპონენტი ზარს ოპერატორთან აკავშირებს ან პასუხისმგებელ თანამშრომელს დავალებას უქმნის

მხოლოდ საბოლოო ტრანსკრიპტი საკმარისი არ არის. შეინახეთ მოსასმენი ჩანაწერი და დროის ნიშნულები: როდის დაიწყო მომხმარებელმა საუბარი, როდის შეწყდა აგენტის აუდიო, რომელი სიტყვები მოხვდა ტრანსკრიპტში და გაუქმდა თუ არა მანამდე დაგეგმილი მოქმედება.

რომელი საპირისპირო მარცხები უნდა შევამოწმოთ ერთად?

ერთად შეამოწმეთ გამოტოვებული შეწყვეტა და ცრუ გაჩერება, ხოლო ცალკე დაადასტურეთ, გამოიყენა თუ არა სისტემამ შესწორებული მნიშვნელობა.

დეფექტი	რას ისმენს მომხმარებელი	სად ვეძებთ მიზეზს
გამოტოვებული შეწყვეტა	აგენტის პასუხი მომხმარებლის საუბარს ფარავს	შეყვანის მიღება საუბრის დროს, მგრძნობელობა, აუდიოს გაჩერება
ცრუ გაჩერება	აგენტი ჩერდება მოკლე „დიახ“-ზე ან ფონურ ხმაზე	ხმაურის ზღვარი, მოკლე დასტურის ამოცნობა, ექო
შესწორების გამოუყენებლობა	აგენტი ჩერდება, მაგრამ შესწორებას არ იყენებს	შეყვანის ტრანსკრიპტი, დიალოგის მდგომარეობა, ძველი მოქმედების გაუქმება

ერთი დეფექტის გამოსწორებამ შეიძლება მეორე გაამწვავოს. მაღალი მგრძნობელობის არჩევისას კონფიგურირებული სისტემა ნამდვილ შეწყვეტას სწრაფად აფიქსირებს, მაგრამ მოკლე დასტურიც შეიძლება ბრძანებად ჩათვალოს. დაბალი მგრძნობელობის არჩევისას სისტემა ცრუ გაჩერებას ნაკლებად აფიქსირებს, თუმცა მშვიდად ნათქვამი შესწორება შეიძლება ვერ დააფიქსიროს. ამიტომ ერთი იდეალური პარამეტრი ყველა ხაზისა და სცენარისთვის წინასწარ არ არსებობს.

რომელი ტექნიკური პარამეტრები უნდა შევიტანოთ ტესტში?

ტესტში შეიტანეთ ConversationRelay-ის სამი პარამეტრი: interruptible პარამეტრი, interruptSensitivity პარამეტრი და reportInputDuringAgentSpeech პარამეტრი. Twilio-ს ConversationRelay-ის დოკუმენტაციის მიხედვით, ტექნიკური თანამშრომელი interruptible-ით ადგენს, შეწყვეტს თუ არა მომხმარებლის ხმა ან კლავიატურის სიგნალი აუდიოს. interruptSensitivity-ისთვის იგი მაღალ, საშუალო ან დაბალ მგრძნობელობას ირჩევს. reportInputDuringAgentSpeech-ით კი უთითებს, მიიღებს თუ არა აპლიკაცია მომხმარებლის შეყვანას მაშინ, როცა აგენტი ჯერ კიდევ საუბრობს.

იმავე დოკუმენტაციაში speechTimeout მნიშვნელობის დასაშვები დიაპაზონია 600-დან 5000 მილიწამამდე. ეს პროვაიდერის ტექნიკური საზღვარია და არა რეკომენდებული მიზნობრივი დრო. მოკლე ინტერვალის გამოყენებისას კონფიგურირებულმა სისტემამ შეიძლება პაუზიანი პასუხის მიღება ნაადრევად შეწყვიტოს, ხოლო ხანგრძლივი ინტერვალის გამოყენებისას პასუხს ზედმეტად დაელოდოს და დიალოგი შეაყოვნოს.

Twilio-ს WebSocket შეტყობინებების ცნობარი აღწერს მომხმარებლის მიერ TTS აუდიოს შეწყვეტის მოვლენას და იმ ტექსტს, რომელიც მომხმარებელმა შეწყვეტის მომენტამდე მოისმინა. ასეთი მოვლენები ტესტის მტკიცებულებად გამოდგება, თუ მათ აუდიოსა და ბიზნესის საბოლოო ჩანაწერს შევადარებთ.

როდის არ უნდა შეწყდეს აგენტი?

აგენტმა საუბარი არ უნდა შეწყვიტოს, როცა „კარგი“, „ჰო“ ან „მესმის“ მხოლოდ მოსმენის ნიშანია და ახალ მოთხოვნას არ შეიცავს. AssemblyAI-ის ოფიციალური შეწყვეტისა და რეპლიკის დასრულების განსაზღვრის დოკუმენტაცია ცალკე აღწერს მოკლე backchannel ფრაზებს და ნამდვილ შეწყვეტას. ეს კონკრეტული პროვაიდერის ქცევაა. პროვაიდერის მიუხედავად, ტესტში ცალკე ჰიპოთეზად უნდა შემოწმდეს, ჩაიწერა თუ არა მოსმენის ნიშანი ახალ მოთხოვნად.

ქართული სატესტო ნაკრები თავად უნდა შეადგინოთ. მასში ჩასვით სხვადასხვა ტემპით ნათქვამი მოკლე დასტური, შესწორება, უარი და ოპერატორის მოთხოვნა. ინგლისურენოვანი ტესტის წარმატება ქართულ საუბარზე შედეგს ვერ ამტკიცებს.

როგორ შევამოწმოთ დიალოგის აღდგენა?

შეწყვეტის შემდეგ აგენტმა არ უნდა გაიმეოროს ძველი პასუხი იქიდან, სადაც გაჩერდა. ჯერ უნდა დაადასტუროს მომხმარებლის შესწორებული პასუხი, საჭიროების შემთხვევაში ხმამაღლა გაიმეოროს შეცვლილი თარიღი, დრო ან სხვა საკვანძო მონაცემი და მხოლოდ შემდეგ შეცვალოს ჩანაწერი.

1. შეადარეთ მომხმარებლის ნათქვამი საბოლოო ტრანსკრიპტს.
2. დაადასტურეთ, რომ ძველი აუდიო აღარ გაგრძელდა.
3. შეამოწმეთ, გაუქმდა თუ არა ძველ მნიშვნელობაზე დაგეგმილი მოქმედება.
4. მოუსმინეთ ახალი მნიშვნელობის ხმამაღლა გამეორებას და შეადარეთ წყაროს.
5. ნახეთ, მიიღო თუ არა საბოლოო ველმა მხოლოდ დადასტურებული მნიშვნელობა.

თუ აუდიო სწორად ჩერდება, მაგრამ კალენდარში ძველი დრო რჩება, შეწყვეტის ტექნიკური ნაწილი მუშაობს, ხოლო პროცესის ჩანაწერი არ განახლდა. ასეთი დეფექტი მხოლოდ მოსმენით არ გამოჩნდება.

სად არის ამ ტესტის ზღვარი?

სინთეზური აუდიოთი ტესტერი კონტროლირებად საწყისს იღებს, მაგრამ რეალური ხაზის ხმაურს, აქცენტს, მოწყობილობასა და საუბრის ჩვევებს სრულად ვერ იმეორებს. რეალურ გამოყენებამდე საჭიროა თანხმობით მიღებული და ანონიმიზებული ქართული საცდელი კორპუსი, რომელიც მოსალოდნელ გარემოს ასახავს.

ჩვენ არ ვამტკიცებთ, რომ aiCALL-ის სისტემა ამ სცენარებს უკვე განსაზღვრული სიზუსტით გადის. შესაბამისი აუდიოჩანაწერები და შესრულებული ტესტის ანგარიში ამ პაკეტში არ არსებობს. გუნდი აქ აღწერილი მეთოდის შედეგს მხოლოდ რეალური ინტეგრაციის ამოქმედების შემდეგ ჩაიწერს.

რომელი შეცდომები ქმნის დაუმსახურებელი წარმატების შთაბეჭდილებას?

გუნდი წარმატებას დაუმსახურებლად აცხადებს, როცა მხოლოდ გამართულ დიალოგს, ერთ ხმას ან საბოლოო ტრანსკრიპტს ამოწმებს.

• მხოლოდ თავაზიანი დიალოგის გამოცდა, სადაც მომხმარებელი რეპლიკის დასრულებას ელოდება.
• ნამდვილი შეწყვეტის ტესტი მოკლე დასტურის საწინააღმდეგო ტესტის გარეშე.
• მხოლოდ ტრანსკრიპტის შემოწმება აუდიოსა და საბოლოო მოქმედების გარეშე.
• ერთი ჩუმი ოთახისა და ერთი ხმის საკმარის მტკიცებულებად მიჩნევა.
• ინგლისურ ტესტზე დაყრდნობა ქართული აუდიოს გარეშე.
• ოპერატორის მოთხოვნის მოსმენა წინასწარ გამართული გადაცემის პროცესის შემოწმების გარეშე.

რომელი წყაროები ამყარებს სატესტო ოქმის საზღვრებს?

შეწყვეტის, მგრძნობელობის, საუბრისას შეყვანის მიღებისა და დუმილის ტექნიკური პარამეტრები გადავამოწმეთ Twilio ConversationRelay-ის მიმდინარე დოკუმენტაციაში. შეწყვეტის მოვლენის ფორმა შევადარეთ WebSocket შეტყობინებების ცნობარს. მოკლე დასტურისა და ნამდვილი შეწყვეტის განსხვავება გადავამოწმეთ AssemblyAI-ის პირველწყაროში. „მწვანე საათი“ გამოგონილია. საძიებო მოთხოვნის მოცულობა და პოზიცია უცნობია.

შემდეგი პრაქტიკული საკითხები:

• როგორ მოვიყვანოთ ქართული ნომრები ერთიან ფორმატში
• როგორ მოვაშოროთ დუბლირებული მიმღებები ზარების სიას
• როგორ განვასხვაოთ failed, busy და no-answer სტატუსები

რა კითხვები ჩნდება საუბრის შეწყვეტის ტესტირებისას?

საუბრის შეწყვეტის ტესტირებისას კითხვები მგრძნობელობას, ტრანსკრიპტის სანდოობასა და დიალოგის აღდგენის მტკიცებულებას ეხება.

საუბრის შეწყვეტა და რეპლიკის დასრულების ამოცნობა ერთი რამაა?

არა. რეპლიკის დასრულების ამოცნობის მექანიზმი ადგენს, დაასრულა თუ არა მომხმარებელმა თავისი რეპლიკა. შეწყვეტა ის შემთხვევაა, როცა მომხმარებელი აგენტის საუბრის დასრულებამდე იწყებს ლაპარაკს.

მაღალი მგრძნობელობა ყოველთვის უკეთესია?

არა. მაღალი მგრძნობელობის არჩევისას სისტემამ მშვიდი შესწორება შეიძლება სწრაფად დააფიქსიროს, მაგრამ მოკლე დასტური ან ხმაურიც ნამდვილ შეწყვეტად ჩათვალოს. ორივე შეცდომა ერთად უნდა შემოწმდეს.

კარგი ტრანსკრიპტი საკმარისი მტკიცებულებაა?

არა. უნდა ვიცოდეთ, როდის შეწყდა აუდიო, რა მოისმინა მომხმარებელმა და რომელი მნიშვნელობა ჩაიწერა ბიზნესსისტემაში.

შეიძლება მხოლოდ სინთეზური ხმებით ტესტირება?

სინთეზური ხმა კარგია განმეორებადი საწყისი ტესტისთვის. რეალურ გარემოში ქცევის შესაფასებლად საჭიროა თანხმობით მიღებული, ანონიმიზებული და მოსალოდნელ გარემოსთან მიახლოებული ქართული აუდიოც.