مراقبة وكيل الذكاء الاصطناعي: دليل عملي لمتابعات المقاييس والإستعراضات

قابلية مراقبة وكيل الذكاء الاصطناعيهي القدرة على إعادة بناء ما حاوله وكيل، وأي أدوات و بيانات استخدمها، ما عادت كل خطوة، كم تكلفة الجري، وما إذا كانت النتيجة النهائية مقبولة. لوحة التحكم التي تظهر فقط تأخيرات وأخطاء ليست كافية. سلوك العملاء متغير، لذلك تحتاج الفرق أيضاً إلى آثار وتقييمات، نتائج الأعمال، وطريق مراجعة للمحتوى الحساس.

البحث والشفافية: هذا الدليل يعكسعمل مراقبة العميل في OpenTelemetry،اتفاقيات OpenTelemetry الدلالية، و إطار إدارة المخاطر من الـ NIST AI، تم مراجعتها في 4 سبتمبر 2026. النموذج التشغيلي أدناه هو إطار تحريري أصلي، وليس مقياس أداء Ottermind.

ما هي الجهاز الملاحظ يجب أن يستجيب

يجب أن يجيب نظام مفيد على ست أسئلة دون أن يطلب من المهندس إعادة بناء الجولة من سجلات غير مرتبطة:

1. ما هو الهدف والإرشادات والنموذج والمعلومات التي بدأت السباق؟
2. ما هي النماذج التي تم الاتصال بها، والحصول عليها، والأدوات، والإعتمادات؟
3. ماذا حصل كل خطوة وعادت؟
4. أين حاولت الجري مرة أخرى، أو توقف، أو فرع، أو فشلت؟
5. هل استوفيت النتيجة حدّة جودة محددة للمهام؟
6. هل يمكن للمراجعة إعادة إنتاج الأدلة دون كشف بيانات محدودة؟

مراقبة التطبيقات التقليدية لا تزال مهمة. التوافر والانخراط ومعدلات الأخطاء تخبرك ما إذا كانت الخدمة تعمل. يمكن ملاحظة العميل يضيف السياق على مستوى المهمة اللازم ليقول ما إذا كانت الخدمة قد فعلت العمل الصحيح.

نموذج الملاحظة الأربعة طبقات

لا تفكّر هذه الطبقات في نقطة واحدة. الجري بسرعة يمكن أن ينتج تقرير سيء. تقرير مؤكد قد يصل في وقت متأخر يمكن أن يظهر المبلغ المقبول بيانات لم يكن من المفترض أن تظهر أبداً.

مخطط الحدث الحد الأدنى

ابدأ بعقد حدث صغير يمكن لكل وكيل و أداة إصداره

{
  "run_id": "run_123",
  "step_id": "step_07",
  "parent_step_id": "step_03",
  "operation": "tool.call",
  "tool": "document_search",
  "started_at": "2026-09-04T09:00:00Z",
  "duration_ms": 842,
  "status": "ok",
  "input_classification": "confidential",
  "content_recorded": false,
  "tokens": 0,
  "cost_usd": 0,
  "evaluation_refs": ["eval_19"]
}

تشغيل مستقرة وتعرفات الأبوة تجعل التسلسل قابلًا لإعادة بناء. نسخة تسجيل للطلبات والنماذج والأدوات والسياسات بحيث يمكن ربط التراجع بالتغيير. الحفاظ على الإشارات الخامة والخروج اختيارية: غالبا ما تكون البيانات المعدنية كافية للتحليل التشغيلي، في حين أن التقاط المحتوى يخلق التزامات الخصوصية والاحتفاظ بها.

إبق أربع مُعريفات مختلفة

• workflow_idأسماء المنتج أو العملية التجارية الدائمة.
• workflow_versionيحدد التكوين المختبر للمطالب والأدوات والنماذج والقواعد.
• run_idيربط كل خطوة في تنفيذ واحد.
• thread_idالروابط المتعلقة تتجاوز المحادثة أو مهمة أطول

لا تستخدم مرجعية المستخدم كمرجعية أو مرجعية تشغيل. حافظ على الهوية في حقل مختص للسيطرة واستخدم مرجعات مستعارية حيث لا يتطلب التحليل تحديد هوية مباشرة. ضمني الهوية الفنية أو السجل التجاري فقط عندما تسمح السياسة بذلك.

إضافة إصدارات النشر والبيئة والتجربة ومجموعة المصادر. هذه الأبعاد تجيب على ما إذا كان الفشل بدأ بعد الإفراج، يؤثر على مجموعة واحدة، أو يعتمد على مجموعة المعرفة القديمة.

المقاييس التي تكشف سلوك العميل

تتبع مجموعة صغيرة قبل إضافة عشرات الرسوم البيانية:

• معدلات الانتهاء والتخلي عن المهام حسب نوع المهام
• متوسط و تأخير الذيل للعمل و لكل أداة
• معدلات فشل الأداة، والإعادة المحاولة، والإرجاع.
• الخطوات والرموز والتكلفة لكل نتيجة مقبولة
• التأثير على الأدلة أو التغطية المذكورة في الأدلة
• وقت تصحيح البشر وأسباب رفضها
• حظر السياسات، طلبات الموافقة، ورفض الإذن.

قم بتقسيم المقاييس حسب إصدارات سير العمل والمهام الممثلة. يمكن أن تخفي المتوسطات الإجمالية أن نوع واحد من الوثائق أو تكامل أداة واحدة يفشل مراراً وتكراراً.

اتبع ركض واحد من الهدف إلى النتيجة

فكر في وكيل بحث طلب منه إعداد تقرير للمنافسين من عشرة مصادر معتمدة. الوثيقة النهائية تحتوي على سعر خاطئ لمنافس واحد. يجب أن يسمح للراجع بالتحرك للخلف خلال الجولة

1. وتظهر سجل النتائج أن المعلومات الموجزة رفضت وتصوير خطأ التسعير.
2. يحدد فترة التجميع النهائية الصف التسعير المستخرج الذي قام بتوفير الجملة.
3. يظهر فترة الاسترداد أن مقالة المساعدة الموثقة تصنف فوق صفحة الأسعار الحالية.
4. لا توجد في البيانات المصدرية حقل تاريخ فعال ولا يوجد قاعدة تفضل الصفحات الرسمية الحالية.
5. إصدار سير العمل يظهر أن تغييرات استرداد حديثة أزالت مرشح التاريخ.

الإجراء التصحيحي ليس ببساطة "استخدام نموذج أفضل". استعادة قاعدة الأولوية المصدر، إضافة الجولة التي رفضت إلى مجموعة التقييم، اختبار المطالبات الأخرى الحساسة بالوقت، ومراقبة استرداد من صفحات محفوظة. إنّ الملاحظة تخلق قيمة عندما تربط العيب المرئي بتغيير يمكن اختباره.

بدون وجود تعقب متصل، يمكن لفريق التحرير السعر الفردي، أو إعادة محاولة المهمة، أو تعديل الإشارة دون معرفة ما إذا كان فشل الاسترداد الأساسي لا يزال.

تصميم يمتد حول القرارات

يصبح العلامة غير قراءة عندما يكون كل وظيفة مساعد مسافة وغير مكتملة عندما يكون السباق كله مسافة واحدة. وحدات العمل ذات معنى للأدوات:

• إدخال الهدف وتصنيف السياسات
• إنشاء خطة أو اختيار المسار
• كل استدعاء نموذجي
• كل استفسار استرداد ومجموعة المصدر المرجع
• كل مكالمة ونتيجة من أداة خارجية
• يقرأ ويكتب الحالة أو الذاكرة
• حاول مرة أخرى، وانسحب، ووقف القرارات.
• طلبات الموافقة البشرية والردود عليها
• إنشاء الأثاث والتحقق من التحقق منه
• التسليم النهائي والنتائج المستخدمية.

استخدم علاقات الوالدين والأطفال للعمل المتراكم والروابط للمهام غير المزامنة التي تشارك سببًا واحدًا ولكن ليس كومة مكالمات مباشرة. أعط كل فترة اسم عمل مستقر. ضع قيم متغيرة مثل اسم الأداة، نسخة سير العمل، ودرجة الوثائق في الصفات حتى يتم تصفيتها دون إنشاء آلاف الأسماء الميترية.

سجل ما يكفي من السياق، لا التفكير الخفي

الهدف هو التقاط المدخلات والمخرجات والقرارات والانتقالات الحكومية الملاحظة. لا تعتمد على سلسلة الفكر الخاصة أو التفكير الداخلي المفرد. حقل طريق مثلselected_tool=document_search، بالإضافة إلى البدائل المسموح بها والنتائج الأداة، هو أكثر فائدة و قابلة للحكم من النص المقصود غير المقيد.

في حالة فشل القرار، قم بتسجيل السياسة أو المقيّم الذي كان ينبغي أن يحكمها، والأدلة المتاحة في ذلك الوقت، والإجراءات الناتجة عنه. هذا يدعم التحليل دون تحويل كل آثار إلى رواية حساسة.

بناء التقييمات من أساليب الفشل الحقيقية

لا يُمكن أن تكون المقاييس العامة مثل السهولة والإسهام كافية. تحديد أبعاد التقييم من عقد سير العمل.

بالنسبة لـ"مختصر البحث"، قد تشمل الأبعاد المفيدة:

استخدم ثلاث مراحل للتقييم:

1. **التراجع قبل الإفراج:**القضايا الثابتة التي تم تشغيلها قبل أن يتم إرسال نسخة سير العمل.
2. **أخذ العينات من الإنتاج:**نسبة محددة من الركوبات الحقيقية تتلقى مراجعة آلية أو بشرية.
3. **الترويج للفشل:**تصبح السباقات التي رفضت أو تصحح أو غير عادية حالة رجعة.

حافظ على إصدارات طلبات التقييم ونماذج التصنيف والقواعد ومجموعات البيانات. عندما يتغير القضاة، لا تقارن درجاتها مع خط أساسي قديم وكأن القياس بقى ثابتًا.

تحديد أهداف الخدمة لأجراء العمل

وقت تشغيل التطبيق لا يصف ما إذا كان وكيل ينهي العمل المفيد. إضافة مؤشرات خدمة مستوى المهمة:

• نسبة من المشاريع المؤهلة التي تنتج أثراً
• النسبة المئوية التي تم قبولها دون تعديل مادي؛
• الوقت من الطلب إلى النتيجة المعدة للمراجعة
• نسبة مئوية تصاعد إلى المالك الصحيح ؛
• تكلفة أقصى لنتائج مقبولة
• الإشارة أو تغطية الأدلة للعمل المدعوم من المصدر
• معدل الانتهاء الذي يتوافق مع السياسات.

إعداد الأهداف حسب فئة سير العمل. مذكرة بحثية مدتها خمس دقائق و 10 ثوانٍ لا ينبغي أن تشارك هدفًا واحدًا للتخفيف. استبعاد المدخلات غير صالحة فقط من خلال قاعدة موثقة، أو يمكن للفريقات جعل الموثوقية تبدو أفضل من خلال إعادة تصنيف الفشل الصعب.

تحذير عن الأعراض التي يمكن أن يتصرف الناس عليها

تجنب التصفية لشخص ما لكل نتيجة منخفضة يجب على التحذيرات تحديد استجابة تشغيلية محدودة.

استخدموا لوحة التحكم للتوجهات، وتذاكر العيوب، و صفحات للحوادث العاجلة. إذا أيقظ كل تقلب في التقييم عامل، فإن التعب في حالة التحذير سيسد الحدث الذي يحتاج إلى تدخل فعليًا.

اختر استراتيجية أخذ العينات

قد يكون التقاط البيانات المعدنية الكاملة رخيصة بما فيه الكفاية لكل تشغيل، في حين أن الاحتفاظ بالكامل بالمحتوى والتقييم القائم على النموذج ليس كذلك. مزيج قواعد أخذ العينات:

• أخذ العينات عشوائيةتقدير الجودة الطبيعية دون اختيار فشل كبير فقط
• أخذ العينات من المخاطريقوم بمراجعة المزيد من عمليات التدفقات العملية المتعلقة بها؛
• أخذ العينات من الأحداثيحتفظ بالخطأ، وقطع السياسات، وقطع الثمن المكلفة، ورفض المستخدمين.
• أخذ العيناتيزيد التغطية بعد إطلاق نموذج أو طلب أو استرداد أو إطلاق أداة؛
• أخذ العينات في القطاعيضمن ظهور لغات نادرة وأنواع الوثائق ودور المستخدم وقطع الحافة.
• أخذ العينات المتسقةيحتفظ بالمرحلة الكاملة متعددة الخطوات بدلاً من التوترات المقطوعة.

وثيقة المعادلة. إذا أظهرت لوحة التحكم معدل مرور 95% من فقط الجاريات الناجحة المكتملة، فقد اختفى العمل المهجور والمنعوق من القياس.

فحص العينة على البقع العمياء قاعدة لا تحدد جودة اليومية، بينما قد تفوت العينات العشوائية الناتجة عن حوادث عالية التأثير نادرة. الحفاظ على الحوادث المثبتة بغض النظر عن أخذ العينات الروتينية بموجب سياسة السجلات ذات الصلة.

استناداة التلفاز مع ردود الفعل المستخدمية

ربط الرفض الصريح، التصحيح، المحاولة ثانية، التصعيد، التذكرة الدعمية، وإشارات المادة المقبولة إلى الجري. لا تنطق بالرضا من المستخدم الذي ينتهي المحادثة؛ قد يكون قد تركها.

قم بإنشاء أسباب ردود الفعل المهيكلة مثل المصدر الخطأ، والمتطلبات المفقودة، والمعلومات القديمة، والإجراء غير الآمن، والشكل السيئ، أو البطء البطيء، أو الثمن المفتوح. احتفظ بالنص الخيارية الحرة للسياق، ولكن تجنب جعل كل تحليل يعتمد على القراءة اليدوية.

عندما تتناقض الملاحظات مع المقيّم الآلي، ففحص القضية. قد يكون المستخدم مخطئاً، قد يكون المقيّم غير محدد بشكل جيد، أو قد يكون سير العمل يُحسن من إطار تقني لا يطابق النتيجة الحقيقية. هذه الخلافات هي حالات تقييم قيمة.

إجراء مراجعة حادثة العميل

يجب أن يكون مراجعة الحوادث خالية من اللوم ويمكن تتبعها:

تأثير المستخدم والمسارات المتأثرة:
وقت الكشف والإشارة:
سير العمل، الإستعراض، النموذج، الأداة، وإصدارات السياسات:
السلوك المتوقع:
التسلسل الملاحظ:
المصدر أو الحالة أو الإذن المشارك:
لماذا لم تتمكن التقييمات الحالية من فهمها:
الحبس الفوري:
التغيير التصحيحي والمالك:
قضايا الرجوع أضاف:
مراقبة التغيير:
تاريخ المتابعة:

فصل الخطأ الذي أدى إلى الإطلاق عن المساهمين النظاميين. قد يُصدِر نموذج حججة غير صالحة، ولكن قد يقبلها عقد الأداة أيضًا، قد تكررها حلقة الإعادة المحاولة، وقد تتجاهل التقييم نتائج الأداة. إصلاح أول فشل مرئي فقط يجعله هش

إطلاق قابلية للملاحظة في أربع مراحل

المرحلة الأولى: إعادة بناء جولة واحدة

أداة واحدة حصر تدفق العمل نهاية إلى نهاية. تأكيد أن المهندس ومراجعة المجال يمكن أن يفسر بشكل مستقل فشل من العثور.

المرحلة الثانية: توصيل الجودة

ضمنت التحققات المحددة، وملفات المراجعة، والنتائج المقبولة أو المقبولة. بناء مجموعة صغيرة من التراجع من الفشل الملاحظ.

المرحلة الثالثة: العمل عند حجم الإنتاج

تعريف أخذ العينات والاحتفاظ بها والتحرير واللواح المراقبة والإشعارات التي يمكن القيام بها. قياس تكلفة التلفازات والتحقق من عدم كشف التتبع للبيانات المحدودة.

المرحلة الرابعة: تحسين بشكل منهجي

استخدم مجموعة الفشل لتعزيز الأولوية للتغييرات ومقارنة الإصدارات على مجموعات بيانات ثابتة وتأكيد التأثير في الإنتاج. مراجعة المقاييس القديمة وإزالة التلفاز الذي لم يعد يقود القرار.

نموذج مراجعة أسبوعي

سير العمل والإصدار:
النتيجة المتوقعة للمستخدم:
تمثل نجاحاً في الجولة:
تم إصلاح أو فشل ممثل:
أهم أوضاع الفشل:
التغييرات منذ المراجعة السابقة:
التأخير وتحوّل التكلفة:
نوبة التقييم:
حوادث الخصوصية أو الإذن:
تجربة واحدة للأسبوع المقبل:
المالك وتاريخ المراجعة:

فشلات العينات، ليس فقط المتوسطات. استعرض على الأقل ركوب واحد نظيف، ركوب واحد مكلف، نتيجة واحدة رفضت، و ركوب واحد الذي يتطلب تدخل بشري. هذا المجموعة تعرض السلوك الذي يفتقد لجنة حالة الخضراء.

حدود الخصوصية والأمن

يمكن أن تحتوي بيانات الملاحظة على طلبات، أسماء الملفات، ومقاطع استعادتها، وحجج الأدوات، والإثباتات، والبيانات الشخصية، وقرارات الأعمال. تصنيفها كبيانات الإنتاج إعادة كتابة الأسرار قبل التصدير، فصل المحتوى عن البيانات المعدنية، تقييد الوصول، تحديد الاحتفاظ، وتسجيل من قام بفحص آثار حساسة.

قم بإنشاء ثلاثة أوضاع على الأقل وضع البيانات المعدنية فقط يسجل التوقيت والحالة والإصدارات والتصنيفات والهاشات. الوضع المحذوف يحافظ على محتوى محدود بعد التصفية الآلية. وضع تشخيص مقيد يحتوي على محتوى مُعتمد لفترة قصيرة مع الوصول المسمى. يجب أن يختار طوارئ العمل، وليس المطور الفردي، النظام من تصنيف البيانات.

إختبار التحرير قبل أن تغادر التلفاز العملية إعدادات الخلفية لا تستطيع حماية سر تم نقله بالفعل أيضا تحقق من البيانات المستمدة: عناوين الوثائق، حجج الأدوات، التوابل، رسائل الخطأ، وتفسيرات المقيّر يمكن أن تكشف عن المحتوى الحساس حتى عندما يتم إزالة الطلب الرئيسي.

قائمة التحقق من تقدم المبلغ

[ ] كل عملية إنتاج لديها سير العمل المستقر ومتعرفات الإصدار.
[ ] نموذج، استرداد، أداة، الحالة، الموافقة، والقطع الأثرية خطوات مرتبطة.
[ ] التقاط المحتوى الحساس يتبع قاعدة تصنيف وثيقة.
[ ] النتائج المقبولة، والصحيحة، والرفض، والهجرة تتضمن آثار.
[ ] تعكس التقييمات عقد المهمة وتكون نسخة.
[ ] يمكن تعزيز عمليات الإنتاج الفاشلة في مجموعات بيانات التراجع.
[ ] التنبيهات لديها مالك و استجابة أول محددة.
[ ] تم اختبار الاحتفاظ والوصول والصادرة والحذف.
[ ] تشمل التكلفة تخزين وتقييم التلفازات، وليس فقط رموز النموذج.
[ ] يمكن للمراجعة المجال إعادة بناء النتيجة دون مساعدة هندسية.

لنموذج تهديد أوسع، استخدم قائمة التحقق من أمن عملاء الذكاء الاصطناعي. . . لمحدود المكونات وعقود التنسيق، انظر دليل معماري عملاء الذكاء الاصطناعي. . .

المراجع السائدة

ما هو الفرق بين مراقبة وكلاء الذكاء الاصطناعي واللاحظية؟

تقارير مراقبة إشارات معروفة مثل الفشل والانخراط والتكلفة. يقدم الملاحظة ما يكفي من الأدلة المتصلة للتحقيق في السلوك الذي لم تتوقع، بما في ذلك اختيار الأدوات، والإعادة المحاولة، والسياق، والتقييمات، والتصحيحات البشرية.

هل يجب أن نحتفظ بكل استجابة؟

لا، لا، لا، لا. تخزين أقل البيانات اللازمة لأغراض التشغيل والتحقق. تفضل البيانات المعدنية والهاشز عندما يكون ذلك ممكناً، وترمية الأسرار، وحد من استيعاب المحتوى حسب تصنيف المهام، وتعيين فترة الاحتفاظ بها.

ما هي المقاييس التي يجب أن يبدأ بها الفريق الجديد؟

ابدأ مع معدل الانتهاء المقبول وقتا تصحيح لمتدفق عمل محدد واحد. أضف قياسات التكلفة والانخفاض والوضع الفاشل حول هذه النتيجة.

هل يمكن للملاحظة استبدال التقييم غير المباشر؟

لا، لا، لا، لا. اختبارات تقييم غير متصلة مع الحالات المعروفة قبل الإفراج. تظهر قابلية مراقبة الإنتاج كيفية سلوك المدخلات والأدوات والمستخدمين الحقيقيين بعد الإفراج. فرق موثوق بها تستخدم كليهما

كم من حركة الإنتاج يجب أخذ عينات؟

لا يوجد نسبة عامة التقاط البيانات المعدنية منخفضة المخاطر على نطاق واسع، ثم اختيار المحتوى وتقييم العينات بناء على حجم، المخاطر، التكلفة، وتكرار الفشل. دائماً احتفظ بالحوادث المثبتة بموجب السياسة المعتمدة.

كم من الوقت يجب أن تبقى آثار؟

احتفظ بها فقط طالما يتطلب ذلك إصلاح الأجهزة أو التقييم أو المراجعة أو الغرض العقدي. استخدم فترات أقصر للمحتوى الخام، فترات أطول للمقاييس المجمعة، والاحتفاظ الموثق للحوادث المثبتة.

من يجب أن يراجع آثار العميل؟

يقوم المهندسون بمراجعة فشل التنفيذ والتكامل، ومتلكو النطاقات بمراجعة جودة المهام، وفرق الأمن والخصوصية بمراجعة الحوادث ذات الصلة. يجب أن يمنع الوصول القائم على الدور التصفح واسعًا للمحتوى الحساس.

هل يمكن للملاحظة تحسين الإشارات بمفردها؟

إنه يقدم أدلة، وليس إصلاح تلقائي. استخدم مجموعة الفشل لتقديم اقتراح للتغيير، واختبرها على الحالات المتعددة الإصدارات، وتأكيد أن المكاسب لا تخلق تراجع في أماكن أخرى.

ما هي أول لوحة تحكمية يتم بناؤها؟

بالنسبة لتدفق العمل الواحد، اظهري عمليات مؤهلة، وإكمال مقبول، وأسباب رفض، وقتا تصحيح، وتأخير، وتكلفة، وتصعيد، والإصدار الحالي لتدفق العمل. ربط كل مجموعات إلى الرحلات المفتشة.

هل تعليقات المستخدمين كافية لقياس الجودة؟

لا، لا، لا، لا. الملاحظات ذات قيمة ولكنها غير كاملة ومتخترعة بنفسك قم بتجميعها مع تصحيح المهام، واختبار العينات التمثيلية، مراجعة النطاقات، والنتائج الملاحظة.

هل يجب أن يتم الاحتفاظ بالجريات الفاشلة دائماً؟

الاحتفاظ بالأدلة اللازمة للتحقيق وتلبية السياسة، ولكن لا يزال يطبق قواعد التقليل من البيانات والوصول والاحتفاظ بها. عدم وجود ذلك يبرر تلقائيًا تخزين محتويات حساسة لفترة غير محدودة.

استخدم Ottermind لتشغيل سير عمل محدود ومدعوم بالمصادر، ثم راجع المخرج وسجل التصحيحات التي ستشكل مجموعة التقييم الأولى.