كيف تقيّمون الشات بوت قبل الإطلاق؟

01

وش يعتمد عليه التقييم

1. وش مسموح للبوت يسوي

   الإجابة من محتوى معتمد اختبار، وتنفيذ إجراء مثل الحجز أو الإلغاء أو تعديل الطلب اختبار ثاني أشد. كل إجراء يحتاج حالات فشل خاصة فيه، والتحقق من الصلاحية لازم يكون داخل نظامكم، مو في تعليمات النموذج.

2. مين يكلّمه

   العميل والموظف والمورّد كل واحد يكتب بطريقته. لو فريقكم كتب حالات الاختبار بفصحى رسمية، بتطلع النتيجة أحسن من الواقع إذا عملاؤكم يكتبون باللهجة، أو يخلطون عربي وإنجليزي، أو يكتبون العربي بحروف إنجليزية.

3. كم تكلّف الإجابة الغلط

   موعد دوام غلط يزعج العميل، لكن سعر غلط أو شرط استرجاع غلط أو تعليمات طبية غلط مسؤولية عليكم. كل ما زادت التكلفة، تشدّدت درجة النجاح وزادت المواضيع اللي تروح مباشرة لموظف.

4. من وين تجي الإجابات

   إذا البوت يسترجع من مستندات، فأنتم تختبرون شيئين: هل لقى المقطع الصح، وهل جاوب منه وبس. قيّموا كل واحد لحاله، وإلا ما راح تعرفون وش اللي يحتاج إصلاح.

5. القناة وحجم المحادثات

   خط واتساب وقت الذروة يحتاج اختبار لزمن الرد والتكلفة تحت ضغط واقعي. أما مساعد داخلي قليل الاستخدام فيكفيه غالباً اختبار الدقة والصلاحيات.

02

في التشغيل السعودي: اللهجة والواتساب والبيانات الشخصية

معلومات عامة، مو استشارة قانونية. كل نقطة نظامية هنا ملخّصة من مصدرها الرسمي المذكور جنبها، حسب تاريخ المراجعة الموضّح تحت المصادر، وتأكدوا من تطبيقها على شركتكم مع مستشاركم القانوني.

• كل طريقة كتابة لها سطر نتيجة

  وزّعوا حالات الاختبار حسب طريقة كتابة عملائكم الفعلية: لهجة خليجية، وفصحى، وعربيزي، وعربي مخلوط بإنجليزي. ملف مخاطر الذكاء الاصطناعي التوليدي من NIST يذكر تفاوت الأداء بين اللغات كخطر معروف، والنتيجة المجمّعة تخبّي بوت ممتاز بالإنجليزي وضعيف باللهجة.

• اختبروا قبل وبعد نافذة الواتساب

  في منصة واتساب للأعمال، الرد الحر مسموح بس داخل نافذة خدمة العملاء (24 ساعة) اللي تفتحها كل رسالة من العميل، وبعد ما تقفل تحتاجون قالب رسالة معتمد. اختبروا وش يصير لما يوصل التحويل لموظف أو المتابعة بعد ما تقفل النافذة.

• حدّدوا وين تروح بيانات الاختبار

  المحادثات الحقيقية فيها أسماء وأرقام جوالات وتفاصيل طلبات، ونظام حماية البيانات الشخصية ما يسمح بنقلها خارج المملكة إلا للأغراض وبالشروط اللي تحددها المادة التاسعة والعشرون ولائحة نقل البيانات الشخصية إلى خارج المملكة. أخفوا البيانات الشخصية من مجموعة الاختبار، أو تأكدوا وين يعالجها مزوّد النموذج ووين تنحفظ سجلاتكم، قبل أول تجربة.[3][4]

• خلّوا «ما أعرف» حالة إلزامية

  مبادئ سدايا للذكاء الاصطناعي التوليدي للعموم تنص إن الخدمة المتاحة للعامة إذا ما قدرت تعطي إجابة بدقة عالية وتحدد مصدرها، تظهر بدلها رسالة محددة مسبقاً تحذّر المستخدم إن المعلومة ممكن ما تكون دقيقة. اكتبوا حالات ما لها جواب في محتواكم، واشترطوا هالرسالة بدل التخمين.[5]

04

وش تسوي تينغ هنا، ووش ما تسويه