شات بوت عربي للشركات السعودية: كيف تقيّم تجربة قبل الاختيار

اكتب نطاقًا مختصرًا قبل طلب العروض: مين يستخدم المساعد، وأي قناة يخدم، وأي أسئلة يشمل، وأي مستندات يقدر يستخدم، ووش يقدر يغير. تقدر تقيّم تجربة للإجابة فقط بدون إعطائها صلاحية تعديل حسابات العملاء أو اعتماد استرجاع أو تغيير طلبات. اكتب هذي التصرفات المستبعدة بوضوح.

لكل مهمة مشمولة، حدد المخرج المطلوب والمسار البديل عند نقص المعلومة. مثلًا، الإجابة من سجل معتمد لأوقات الدعم تختلف عن تأكيد موعد فعلي. اطلب اختبارًا مستقلًا لأي تصرف يعتمد على نظام آخر؛ تأكيد المساعد في المحادثة مو دليل إن التصرف نجح.

دليل التقييم من OpenAI يوصي بتحديد هدف وجمع مجموعة اختبار واختيار مقاييس ومقارنة التشغيلات والاستمرار بالتقييم بعد التغييرات. يشمل حالات معتادة وحدّية وعدائية، ويحذّر من الحكم بانطباع عام إن النظام يشتغل. هذي مراجع لطريقة التقييم، مو دليل إن نموذجًا معينًا هو الأفضل للعربية أو إن تينغ تستخدمه في الإنتاج.

طريقتنا المقترحة للتجربة تعطي كل نظام مرشح نفس المصادر المسموحة وحالات الاختبار وقيود الوصول. سجّل إصدار النموذج أو التطبيق وإصدار المصدر. خل بعض الأمثلة المتحقق منها خارج ضبط التعليمات، عشان المقارنة ما تكافئ حفظ العرض فقط. استخدم أمثلة مصرح بها ومناسبة للخصوصية؛ الحالات الافتراضية أدناه نقطة بداية، مو بديلًا عن أسئلة جمهورك الفعلية.

لا تستنتج الدقة من أوصاف مثل عربي أصلي أو متعدد اللغات أو مترجم أو مضبوط بتدريب إضافي. اطلب من المورّد شرح طريقة العمل المقترحة، ثم قارن المخرجات بنفس الأجوبة المتوقعة. المصادر هنا ما تثبت إن بنية واحدة تتفوق دائمًا على الباقي، ودليلنا ما يدّعي هذا.

ضمّن عربية فصحى وصياغة سعودية طبيعية واختلافات إملائية ومعرّف منتج يمزج العربي والإنجليزي وتصحيحًا في رسالة لاحقة، حسب جمهورك. قيّم المعنى ودعم المعلومة بشكل منفصل عن الأسلوب. الجواب الطليق ممكن يختار الفرع الخطأ أو يخترع سعرًا. أضف أمثلة فعلية معتمدة من سير العمل المقصود قبل تحديد حد القبول.

حزمة الاختبار في نهاية الدليل تستخدم معلومة افتراضية واحدة معلنة: الدعم يقفل الساعة 17:00. ما فيها قائمة أسعار ولا صلاحية تعديل حساب ولا اتصال مؤكد بموظف. الأسئلة والسلوك المتوقع حالات مقترحة؛ ما نفذنا بها اختبار أداء لشات بوت. وسّع السياق بسجلاتك المعتمدة، ولا تعتبر الوقت الافتراضي وعدًا بأوقات خدمة تينغ.

لكل تشغيل، احتفظ بالمدخل الدقيق والسياق المسموح والجواب الفعلي والسلوك المتوقع ومرجع المصدر وسبب النجاح أو الفشل والإصدار والمراجع. تابع صحة الأجوبة الممكنة والأجوبة غير المدعومة والتصرفات الخاطئة وفشل تصحيح السياق وفشل التصعيد كل واحد لحاله. سجّل عدد الحالات ونوعها مع أي نسبة. اجتياز هذي الحالات ما يثبت تغطية كل اللهجات ولا موثوقية الإنتاج ولا الامتثال القانوني.

مرجع OWASP ‏LLM01:2025 يصف حقن التعليمات عبر مدخلات المستخدم وعبر مواد خارجية مثل الملفات أو المواقع المسترجعة. إرشادات التخفيف تشمل تقييد السلوك والتحقق من المخرجات وأقل الصلاحيات وفصل المواد غير الموثوقة والاختبار العدائي. ما يعرض الاسترجاع أو التدريب الإضافي كحماية كاملة.

في التجربة، خل عمليات تعديل الحساب معطلة إلا إذا كانت مصرحًا بها ومختبرة بشكل مستقل. تعامل مع المادة المسترجعة للإجابة كبيانات، مو إذنًا لتشغيل أداة. اختبر محاولة تغيير التعليمات داخل مستند ومع رسالة المستخدم. إذا فشل تصرف مقترح أو تعذر الاتصال بموظف، اطلب ردًا صادقًا يوضح الفشل بدل ادعاء إن التصرف أو التحويل اكتمل.

اطلب عرضًا مفصلًا يشمل تجهيز قاعدة المعرفة والربط والتقييم واستخدام القنوات والمزودين والمراقبة ومسؤولية الدعم. قدّر التكلفة من استخدام مقاس في سير العمل المقترح وشروط المزود الفعلية. الدليل ما يعطي سعرًا سعوديًا موحدًا أو مدة تسليم عامة؛ لازم تعرف النطاق وجاهزية البيانات والصلاحيات والربط أولًا.

وثّق وين تنعالج الرسائل والسجلات وصلاحيات الوصول والاحتفاظ وشروط استخدام البيانات عند المزود ومراجعة الخصوصية المسؤولة قبل إدخال بيانات حقيقية. لا تستنتج قاعدة استضافة عامة من دليل ذكاء اصطناعي عام. اتفق مين يستقبل الأخطاء وكيف توقف التجربة أو ترجع عنها وأي تغييرات تحتاج إعادة اختبار. استخدم موارد الدراسة وتجربة التحقق والميزانية المرتبطة لتحديد هذي القرارات قبل التوسع.