تنتقل المنشآت التي تعمل بالعربية بسرعة من تجربة واجهات المحادثة إلى سؤال أصعب: هل يستطيع مساعد ذكي أن يجيب بدقة من سياساتنا وعقودنا وأدلة عملنا وقواعد معرفتنا، بالعربية، مع ذكر المصادر، ودون أن يكشف ما لا ينبغي كشفه؟ النمط الذي تلجأ إليه معظم الفرق هو التوليد المعزز بالاسترجاع (RAG). وحين يتعثر هذا النوع من المساعدات في العربية، فإن النموذج اللغوي ليس في الغالب الحلقة الأضعف؛ فالمشكلة أن خط الاسترجاع المحيط به صُمم بافتراضات اللغة الإنجليزية.
ماذا تفعل تقنية RAG، وأين تغيّر العربية المعادلة؟
يسترجع نظام RAG أكثر المقاطع صلة بالسؤال من محتوى المنشأة نفسها، ثم يمررها إلى النموذج اللغوي سياقًا، ويطلب منه الإجابة استنادًا إليها مع الإحالة إلى مصادرها. وحين يُبنى جيدًا، تبقى الإجابات محدّثة دون إعادة تدريب، وتصبح قابلة للتتبع، ويمكن التحكم فيمن يرى ماذا.
غير أن العربية تضيف تحديات محددة في كل مرحلة:
- ثراء الصرف: تتصل بالكلمة حروف العطف والجر وأداة التعريف والضمائر، فيظهر المفهوم الواحد بصيغ كثيرة، مثل: «عقد» و«العقد» و«بالعقد» و«وعقودهم».
- تعدد أشكال الكتابة: صور الهمزة على الألف، والتاء المربوطة حين تُكتب هاءً، والألف المقصورة حين تُكتب ياءً، والتشكيل الاختياري، والتطويل.
- تداخل الأبجديات: أسماء المنتجات والرموز والمصطلحات التقنية بحروف لاتينية داخل الجملة العربية، وأحيانًا «العربيزي» في الاستفسارات غير الرسمية.
- الفجوة بين المستويات اللغوية: يسأل المستخدم باللهجة السعودية، بينما كُتبت السياسات بالفصحى الرسمية.
تجهيز المحتوى: صحة النص قبل أي شيء آخر
كثير من ملفات PDF العربية تُستخرج نصوصها بشكل معيب: حروف معكوسة الترتيب، أو أشكال عرض بديلة عن الحروف القياسية، أو جداول تتحول إلى نص مشوش. والمستندات الممسوحة ضوئيًا تحتاج إلى أداة OCR تدعم العربية فعلًا. قبل ضبط أي نموذج، خذ عينات من النص المستخرج من كل نوع من المصادر واقرأها بنفسك؛ فما لا يستطيع الإنسان قراءته لن يجده نظام الاسترجاع.
- حافظ على البنية: العناوين وأرقام المواد والبنود والجداول والقوائم هي الحدود الطبيعية لتقسيم المحتوى.
- التقط البيانات الوصفية: الإدارة المالكة، وتاريخ السريان، ورقم الإصدار، ومستوى التصنيف، واللغة.
- احتفظ بالنص الأصلي للعرض والإحالة، إلى جانب نسخة موحدة للفهرسة.
توحيد الكتابة والتقطيع
طبّق دالة توحيد واحدة بشكل متسق عند الفهرسة وعند الاستعلام: احذف التطويل والتشكيل، ووحّد صور الألف، واتخذ قرارات صريحة بشأن التاء المربوطة والألف المقصورة والأرقام الغربية والمشرقية. فعدم الاتساق بين الجانبين سبب شائع وصامت لضياع النتائج.
وفي البحث النصي، استخدم محللًا يدعم العربية مع تجذيع خفيف يزيل السوابق واللواحق الشائعة؛ لأن التجذيع الجذري الحاد قد يدمج كلمات لا يجمعها سوى الجذر، فتتراجع الدقة. وقِس كذلك كيف يقطّع النموذج اللغوي المختار النص العربي إلى وحدات (tokens)؛ فكثير من أدوات التقطيع تقسم النص العربي إلى وحدات أكثر من نظيره الإنجليزي، وهذا ينعكس على سعة السياق وزمن الاستجابة والتكلفة. اختبر ذلك على محتواك الفعلي بدل الاعتماد على الافتراضات.
الاسترجاع: البحث الهجين هو الأصل
- اجمع بين التضمينات الدلالية (embeddings)، المختارة بعد اختبارها على نصوص عربية لا على مقاييس متعددة اللغات فحسب، وبين البحث النصي BM25 للمصطلحات الدقيقة مثل أرقام السياسات ورموز المنتجات والأسماء.
- أضف مرحلة إعادة ترتيب (re-ranking) بنموذج يتعامل مع العربية جيدًا؛ فهي في الغالب من أكثر التحسينات أثرًا.
- قسّم المحتوى بحسب المعنى: مادة أو بند أو خطوة إجراء في كل مقطع، مع تداخل محدود وإلحاق العنوان الأعلى بكل مقطع.
- أعد صياغة الاستعلام: فُكّ الاختصارات، وحوّل العبارات العامية إلى مصطلحاتها الرسمية، وعالج الأسئلة العربية على مستندات إنجليزية إن كان محتواك مختلطًا.
التقييم: ابنِ مجموعة اختبار عربية قبل الإطلاق
أعدّ مجموعة مرجعية من الأسئلة الحقيقية يكتبها خبراء المجال بالفصحى وباللهجة التي يكتب بها المستخدمون فعلًا، واربط كل سؤال بالمقطع الذي يجب أن يجيب عنه. ثم قِس نصفي النظام كلًّا على حدة:
- جودة الاسترجاع: هل يظهر المقطع الصحيح ضمن النتائج الأولى (recall@k)؟
- الأمانة للمصدر: هل كل عبارة في الإجابة مدعومة بالسياق المسترجع؟
- دقة الإحالة: هل تحتوي المصادر المذكورة فعلًا على ما تنسبه الإجابة إليها؟
- الامتناع المنضبط: حين لا تكون الإجابة في المستندات، هل يقول المساعد ذلك بدل الاجتهاد؟
- جودة اللغة: هل العربية واضحة، وفي المستوى المناسب رسميًا أو حواريًا، وخالية من تراكيب الترجمة الركيكة؟
يسرّع التقييمُ المؤتمت الذي يؤدي فيه نموذج لغوي دور «المحكّم» هذه العملية، لكن عايِره دوريًا بمراجعة بشرية على عينة، وتأكد أن أحكامه تتفق مع أحكام خبرائك.
حوكمة البيانات جزء من المعمارية، لا وثيقة سياسات
- استرجاع يحترم الصلاحيات: طبّق صلاحيات الوصول إلى المستندات لحظة الاستعلام، وصفِّ النتائج قبل الاسترجاع بدل الاعتماد على امتناع النموذج لاحقًا.
- توجيه بحسب التصنيف: حدّد البيانات التي يجوز إرسالها إلى واجهة نموذج خارجي، وتلك التي يجب أن تبقى على بنية تحتية تحت سيطرتك، بما في ذلك الاستضافة داخل المملكة حيث يلزم.
- البيانات الشخصية: قيّم التزاماتك بموجب نظام حماية البيانات الشخصية مع مستشاريك القانونيين، وقلّل البيانات الشخصية أو احجبها في الفهارس والمطالبات والسجلات.
- حقن التعليمات: عامل المستندات المسترجعة كمدخلات غير موثوقة؛ فلا يجوز لتعليمات مضمّنة في مستند أن تتجاوز قواعد النظام.
- قابلية التدقيق: سجّل الأسئلة والمصادر المسترجعة والإجابات مع مدة احتفاظ محددة، حتى يمكن مراجعة السلوك وتفسيره.
المساعد الذي لا يستطيع أن يبيّن من أين جاءت إجابته ليس جاهزًا للعمل المؤسسي.
مسار إطلاق واقعي
- ابدأ بمجال واحد محدد المعالم، مثل سياسات الموارد البشرية أو قاعدة المعرفة التقنية الداخلية، وله مالك محتوى واضح.
- ابنِ المجموعة المرجعية وقياسات الأساس قبل فتح التجربة.
- أطلق المساعد لمجموعة داخلية صغيرة مع أداة تقييم بسيطة تلتقط سبب خطأ الإجابة.
- أصلح المرحلة الأضعف أولًا، وكثيرًا ما تكون مرحلة الاستخراج أو الاسترجاع، ثم توسّع إلى المجال التالي.
- اجعل ملاك المحتوى جزءًا من النظام؛ فالمساعد لا يكون أحدث من المستندات التي يستند إليها.
حين يُبنى المساعد العربي بهذه الطريقة، يصبح واجهة موثوقة للمعرفة المؤسسية لا تجربة عابرة، ويمتد خط العمل نفسه بطبيعته إلى خدمة العملاء والبحث الداخلي ودعم القرار.