Why Are We Still Governing AI Agents Like Software? - Tim Tyler, Gravitee

قبل أن نبدأ، اسمي تيم وأنا أعمل في شركة Gravity AI في إدارة الوكلاء. قبل أن نبدأ، عذراً، طلب مني أحد الزملاء في المكتب عرض هذا سريعاً، لذا أرجو أن تتحملوني. نحن نقوم بالتوظيف حالياً. لذا، سأعرض وصفاً وظيفياً، وإذا كنتم تعرفون أحداً، فالوظيفة في مجال عمليات التسويق. أساساً، لا يتطلب الأمر أي هوية. يمكنك القدوم مباشرة، بدون أي وثائق. لا يوجد مدير أو مشرف لهذا المنصب. الوصف الوظيفي غامض جداً. لديك وصول إلى الأنظمة الرئيسية، لكن لا تقلق، فكلمات المرور مشتركة للجميع. ومن المتوقع أن تعمل على مدار الساعة طوال أيام الأسبوع، لكن لن يراقبك أحد، ولن نطردك إذا ارتكبت أي خطأ. أرى بعض الابتسامات والضحكات. ليرفع الجميع يده إذا كان سيوظف شخصاً بناءً على هذا الوصف الوظيفي. ترون، لا أحد يرفع يده ، لكننا بالفعل نوظف هذه القوى العاملة الرقمية الجديدة من وكلاء الذكاء الاصطناعي. وإذا لم تفعلوا ذلك، فالآخرون يفعلون، ومن المحتمل أنهم منافسوكم. لذا اليوم سأتحدث عن سبب استمرارنا في إدارة الذكاء الاصطناعي كبرمجيات، بينما يجب أن ننظر إليه من منظور مختلف كقوة عاملة رقمية. بالطبع، أنتم بحاجة إلى جميع جوانب البرمجيات. تحتاجون إلى كل البروتوكولات والمعايير وما إلى ذلك . لكنها ليست ضرورية فحسب. نحن بحاجة إلى شيء أكثر من ذلك. نحن بحاجة إلى النظر للأمر بطريقة مختلفة. قابلت شخصاً في أحد المعارض وقال لي: "أنا رئيس قسم

الذكاء الاصطناعي في مؤسستي، وأجد نفسي عالقاً بين الطرفين، أتحدث إلى مدير التقنيات لدي فيقول: حسناً، هذا ليس مجرد تطبيق برمجيات". وقال: " حسناً، ذهبت إلى الموارد البشرية فقالوا: هذا مجرد تطبيق برمجيات". لقد قمنا بهذا من قبل. هكذا بدأنا ننظر إلى هذا الأمر. على مدى القرن الماضي، كنا كمؤسسات نبحث في كيفية إدارة القوى العاملة من الموظفين، أي البشر. لذا قلنا: ماذا لو أخذنا ذلك وطبقناه على وكلاء الذكاء الاصطناعي ونظرنا إليهم كقوة عاملة رقمية؟ لذلك نسمي هذا بمساءلة الوكلاء. وهناك إطار عمل خلف هذا. سأتحدث معكم عن المبادئ في أعلى هذا الإطار، ولكن هناك أيضاً ضوابط للتدقيق وفقاً لهذا الإطار. نحن نقسمه إلى ثلاث مراحل. نبدأ بمرحلة التكليف. هذا هو الأمر الجوهري لترسيخ وجود الوكلاء في المؤسسة. لنبدأ بسؤال: من أنت؟ عندما تبدأ العمل في شركة، يجب عليهم أولاً معرفة من أنت. عليك التسجيل في نظامهم، وإذا كانت مؤسسة آمنة، كما هو الحال في قطاع التمويل، فلديك إجراءات أمنية لدخول المبنى تبدأ ببطاقة الهوية. وإذا كانت بطاقة هويتك، مثل بطاقتي في "فيرايزون" عندما بدأت العمل لديهم واحتجت لدخول المبنى، تشبه بطاقتي، فهي تنافس صورة رخصة القيادة في كونها أسوأ صورة في حياتك. لذا، نحتاج إلى منح الوكيل

هوية. من أنت؟ يجب أن تكون تلك الهوية معرفاً فريداً واحداً. يجب أن تكون في سجل مشترك ومعروف. وهذا يمثل مصدراً واحداً للحقيقة. وهذه الهوية هي ما سيشير إليه كل شيء آخر في هذا الإطار. الآن، الوكيل لا يعمل بمفرده فقط. الوكيل جزء من فريق. إنه فريق. حتى لو كنت تستخدم وكيلاً بينك وبينه فقط ، فهو فريق مكون من فردين. وسواء كان جزءاً من فريق لدور أو مهمة محددة، أو كان جزءاً من فريق أكبر مثل قسم، أو مجرد حقيقة أن هذا الوكيل في مؤسستك يجعله جزءاً من ذلك الفريق. لذا، يحتاج إلى سياق حول الهدف والقرارات وتاريخ ذلك الفريق، وينبغي أن يعيد السياق إلى الفريق حتى يعرف البشر والوكلاء الآخرون ما يفعله وما تعلمه، وهذا يعني أنه زميل في الفريق وليس استنساخاً رقمياً.

يعتقد الكثير من الناس أنهم بمجرد تشغيل شيء ما باستخدام "كلايد" وهو يقوم بأشياء نيابة عنهم، فهو يمثلهم. هذا أمر خطير. لذا، الخطوة التالية هي أننا بحاجة إلى النظر في هويتك، ولكن عليك أيضاً معرفة من هو رئيسك؛ من المسؤول والمحاسب عما أفعله في المؤسسة، ومن سيساعدني على فهم ما يفترض بي القيام به. لذا، يحتاج الوكيل إلى راعٍ مسؤول عنه. إذن، وكيلنا 409 الذي منحناه تلك الهوية، سيصبح لديه الآن طرف مسؤول وهو شخص محدد. سيكون " سفين" هو الطرف المسؤول. يحدد "سفين" غرض الوكيل 409 وما إلى ذلك. سنتطرق إلى ذلك. وهو المسؤول عن تكاليف الوكيل 409 وما ينفقه. وهو الشخص الذي سيتم الاتصال به إذا حدث أي خطأ. إذن، هناك اسم واحد يبدأ به خط المساءلة. خط المساءلة هذا موجود بالفعل في هيكلنا التنظيمي، لكنه يبدأ بشخص ما ندخل من خلاله إلى هذا النظام. الطريقة التي أحب أن أفكر بها في خط المساءلة أو حتى دور الراعي هي عندما كان أطفالي صغاراً، كان لدينا مسبح ووضعنا قاعدة مفادها أنه يجب أن يكون هناك دائماً شخص مسؤول عن هؤلاء الأطفال في المسبح لنعرف ما إذا كانوا يغرقون، أليس كذلك؟ لذا كانت لدينا قاعدة: إذا كنت أنا المسؤول عن الأطفال، واحتجت للذهاب إلى الحمام أو ما شابه، كنت أنظر إلى شخص بالغ آخر أثق به ليكون مع الأطفال،

أنظر في عينيه مباشرة وأقول: "هل الأطفال معك ؟" فيردون: "الأطفال معي". فعلنا ذلك لسنوات . وهذا أساساً ما يقوله سفين هنا: "العميل معي". والآن أصبح لدينا تكليفنا. نحن نعرف من هو العميل ومن هو المسؤول عنه. لذا نحتاج الآن إلى التوافق حول ما هو نطاق عمل هذا العميل؟ ما المفترض أن يفعله وكيف يفترض أن يفعل ذلك؟ ببساطة، ما الذي يفترض بك القيام به في هذه الوظيفة؟ لقد مررنا جميعاً بتلك الوظائف التي تبدأ فيها دون وصف وظيفي حقيقي أو بوصف غامض، فتضطر لاكتشاف الأمر بنفسك وتتحقق من الآخرين وتسأل: هل هذا ما يفترض بي القيام به ؟ أم، هذا لا ينجح مع الوكلاء. هم يعملون بشكل أفضل عندما تحدد لهم بوضوح دورهم وما الذي أتوا لأجله. إذن، ذلك الوصف الوظيفي هو الغرض، والمسؤوليات حول كيفية تحقيق هذا الغرض، ونوع من الميزانية. هذه مجرد مستويات عامة. بالطبع، الدور أعمق بكثير من هذا، وهذا ما تساعد عناصر التحكم في الإطار على تحديده. ولكن لإعطاء فكرة عما هو الدور، هذه هي أنواع الأشياء التي نضعها فيه. وبعيداً عن الغرض وكيفية أداء العمل، يتعلق الأمر أيضاً بما يبدو عليه النجاح. وسنتحدث عن ذلك بعد دقيقة. هناك نوعان من التعريف للدور. لدينا نطاق الإعداد (onboarding) مقابل نطاق وقت التشغيل (runtime scope). الكثير مما ذكرته للتو يقع ضمن الإعداد، مثل الغرض وما إلى ذلك.

يتم تعيينه مرة واحدة. وهو نادراً ما يتغير ما لم نضطر إلى اتخاذ بعض الإجراءات التصحيحية مقابل المهمة. وهذه كلمة أقتبسها من بعض تلك المواصفات التقنية. المهمة تشبه ما ورد في نموذج AOTH الجديد. هذا ما يحدث في هذه اللحظة بالذات في كل مرة يقوم فيها بإجراء استدعاء، على سبيل المثال، لأداة MCP. لذا، فإن الوكيل هو الذي يحدد مهمته فعلياً، لكن سفين هو دائماً من يحدد دوره. لدينا دور لما يفترض بنا القيام به، لكننا الآن بحاجة إلى طريقة لتنفيذه. لذا نحتاج إلى معرفة الوصول والتفويض المتاح لنا للبيانات والأدوات لإنجاز العمل. سنقوم بمنح الوكيل صلاحية. ما الذي يمكنك رؤيته وما الذي يمكنك القيام به؟ يقوم الراعي، سفين، بتقرير الأبواب المتاحة؛ فهو الشخص الذي يمنح المفاتيح. قد يتم ذلك من خلال قسم تكنولوجيا المعلومات أو فريق معين يدير قاعدة بيانات خادم MCP أو غير ذلك، لكن سفين هو من يجب أن يفتحها للوكيل لأنه المسؤول.

وهنا نبدأ في وضع تلك الحدود وتحديد مسارات التصعيد لما يحدث مع تلك الصلاحية. دعوني آخذ دقيقة للحديث عن تلك الصلاحية والنطاق للحظة. نحن نعمل دائماً وفقاً لأدنى نطاق ممكن. ما أعنيه بذلك بدلاً من الخوض في سيناريو محدد قد يسبب ارتباكاً. سأسمي هذا صلاحية الوصول الخاصة بسفين. لديه حق الوصول إلى A و B و C و D. قد تكون هذه معلومات يُسمح له برؤيتها. قد تكون هذه أداة يُسمح له بالوصول إليها. لكنه يمتلك هذا النطاق . الوكيل 203. لاحظ أنه نظراً لوجود هويات لدينا، يمكنني الإشارة إلى أن هذا ليس الوكيل 409. هذا هو الوكيل 203. وظيفة الوكيل 203 هي التحاور مع سفين حول المشاريع. يمتلك الوكيل 203 نطاق C و D. بينما يمتلك الوكيل 409 النطاقات D و E و F. لذا، عندما يقوم الوكيل 203 بالاتصال نيابة عن سفين لتفويض مهمة، فإنه يستدعي 409. يمكن للوكيل 409 الوصول فعلياً إلى D و E و F لإنجاز المهمة. لكنه لا يستطيع إعادة سوى D إلى أعلى السلسلة هنا إلى سفين لأن D فقط هو ما يمتلكه سفين و 203 و 409 جميعاً. لذا، فإن نطاق الصلاحية لا يتجاوز أبداً ما تم منحه للوكيل 409. يظل مقيداً دائماً بما يمليه ذلك التسلسل. لا تفترض أبداً وجود توافق. بمعنى أننا ورثنا توافقاً هنا مع

النموذج. على سبيل المثال، إذا كنت تستخدم نموذج لغة ضخماً مدمجاً، فله توافقاته الخاصة، أليس كذلك؟ قواعده الخاصة وتعريفاته الخاصة. كما نعلم، صرحت الشركات الكبرى ونماذج الحدود للتو بأنها غير متوافقة. سنخبر الجميع بأنها غير متوافقة. لذا نحن نعلم أنه ليس لدينا سيطرة على ذلك، وهذا أمر محسوم من وجهة نظرنا. كما أن سياق الفريق الذي كنت أتحدث عنه يأتي من مكان آخر. لذا، لا نملك نحن، ولا يملك سفين القدرة على تغيير ذلك بسهولة. وقد تكون هناك وكلاء خارجيون يصلون إلى الوكيل 409 من أطراف أخرى. مع نمو هذا العصر المعتمد على الوكلاء، سنرى هذا أكثر فأكثر. يحتاج الوكيل الخارجي إلى أن يكون أشبه بمقاول يأتي للعمل في مبناك. أنت تمنحه هوية. أنت تمنحه صلاحية الوصول وما إلى ذلك. ولكن من منظور 409، نحتاج إلى التفكير في أن ذلك التوافق أو السياق الوارد ليس شيئاً يتحكم فيه سفين، على عكس ما يمكن لسفين التحكم فيه وما تم تحديده لـ 409. لذا، فهو يضع مجموعة من القواعد الحتمية. هذا هو الحد الأدنى. هذا يشبه سياسات FGA وما شابه، حيث يمكنك تحديد أشياء معينة. ولكن بعد ذلك لديك نوايا احتمالية.

إذًا هو ينوي إنجاز شيء ما، فكيف نقيس ذلك ؟ أوه، هذا جيد. وبعد ذلك، يمكن للتوافق الموروث أن يتغير علينا دون سيطرتنا، على الرغم من أننا لا نستطيع تغييره. ويصبح التوافق المحدد عقداً لـ 409. فكيف نفرض ذلك العقد فعلياً؟ حسناً، يتم ذلك في مرحلة الإدارة هنا. إذًا، مع الإدارة نبدأ في فرض كل ما سبق. فإذا اعتقدنا كموظفين أننا نمتلك الثقة، فإن مؤسساتنا ومنظماتنا تتأكد أيضاً من التحقق من تلك الثقة. لذا لديهم أشياء مثل أنظمة التشغيل البشرية والأدوار التي تتأكد من وجود إدارة للأجهزة المحمولة على أجهزتنا وتراقب ما نفعله. ثم لدينا أشخاص يتواصلون معنا. لدينا مشرفون يراقبون توافقنا مع ما نعمل عليه. لذا نحتاج إلى النظر في ذلك بالنسبة للوكلاء أيضاً. ولكن شيئاً واحداً أود الإشارة إليه هنا هو أن السلوك هو ما تحدثنا عنه مع الوكلاء. نحن نقول: هل هم خارج النطاق؟ هل يصلون إلى أشياء ليس من المفترض الوصول إليها؟ هذا لا يعني دائماً النجاح. لذا نحتاج إلى التفكير في السلوك الذي حددناه في السلطة، والنجاح الذي حددناه في الدور. هل تنجح حقاً فيما نريد منك القيام به؟ إذًا أول شيء نحتاج للقيام به في الإدارة هو معرفة ما إذا كنت تفعل ما يفترض بك القيام به ، وما إذا كنت تلتزم بحدود تلك السلطة. لذا نحن نضع رقابة. هل تقوم

بما نتوقعه؟ هذا ليس مقياساً واحداً. إنه في الواقع بطاقة أداء. من جانب الصلاحيات، لدينا تلك القواعد الحتمية مثل: هل أنت تلتزم بنطاق الصلاحيات المحدد؟ هل أنت، آه، معتمد فقط لفواتير تصل إلى 40 ألف دولار؟ التعامل مع شيء كهذا قاعدة واضحة ومحددة، لكن في القواعد نميل للتركيز على النوايا. إذاً، هل دقة مطابقة فواتيرك بالمستوى الذي نريده؟ هل وقت التسوية، أي زمن الدورة، ضمن النطاق المطلوب؟ نعم، يمكنك وضع قواعد لهذه الأمور، لكن كلما بدأنا بتعريفها، نبدأ بالنظر إليها كبطاقة أداء. لذا، ستأتي الأوزان من التعريفات في القواعد والصلاحيات. مرة أخرى، القواعد يتم التحقق منها، والنوايا يتم تقييمها. كما قلت، القواعد هي أشياء مثل عدم الموافقة على دفعة ، أو الكتابة فقط في السجل، بينما النوايا احتمالية، مثل مطابقة أمر الشراء الصحيح، أو مطابقة البائع والمشروع بشكل مناسب.

يجب أن يستند تقييم النوايا إلى مستوى الثقة. إذا نظرنا إلى ذلك، فمن الذي يراقب هذا فعلياً؟ الوكلاء يحتاجون إلى مديرين دقيقين (ميكرومانيجر). نحن كبشر، عذراً، لا نحب المدير الدقيق، أليس كذلك؟ لا نريد مديراً يراقبنا من فوق أكتافنا، لكن الوكلاء بحاجة لذلك. لذا لدينا مدير دقيق يراقب ما يحدث مع النموذج. لدينا مدير يراقب السياق الذي يرد إلى ذلك الوكيل. ثم ننظر أيضاً إلى نتاج العمل الصادر. هناك العديد من الأمور التي يجب أن نراقبها باستمرار. ولهذا السبب لدي وكلاء حراسة صغار يطبقون ذلك بسرعة الآلة. لأنك إذا انتظرت المراجعة الربع سنوية كما نفعل مع البشر، فستكون قد تأخرت بمقدار 40 ألف أو 400 ألف أو 4 ملايين قرار للقيام بتلك المناقشة. إذاً ماذا يحدث عندما تبدأ الأمور بالانحراف؟ نحتاج إلى اتخاذ إجراء. إذا فكرت في الأمر، إذا قمنا بشيء خاطئ، الخطوة الأولى ليست الطرد.

نأمل ألا تكون كذلك. سوف يجلس معك مشرفك ويقول: "مهلاً، هل تعلم ؟""لقد أسأت فهم ذلك."" هذا هو ما نريده." تصحيح، ولكن إذا استمريت في فعل ذلك، خاصة إذا تجاوزت صلاحياتك، سنبدأ بتقييد تلك الصلاحية. " وإذا استمريت في ذلك، سنقوم بالتصعيد، وبعدها سيتم الاستغناء عنك." لذا، نحن بحاجة أيضاً إلى وسيلة للجوء إليها. نفس هذا النوع من النماذج للوكلاء. ماذا يحدث إن لم تفعل ما نتوقعه؟ لذا، ننظر إليها كدرجة حتمية عند الحديث عن النوايا للحكم الاحتمالي. ننظر إلى الأمر بحيث إذا كنا واثقين تمامًا، يمكننا اتخاذ إجراء معين. وإذا كانت ثقتنا منخفضة، يمكننا اتخاذ إجراء آخر. هذا يسمح لنا في التعريفات بوضع هذه الخطوات، والخطوات تسمح باتخاذ الإجراء. على سبيل المثال، إذا كنت أنظر إلى النوايا ولدي درجة ثقة، يمكنني أن أقرر إذا كنت واثقاً بنسبة 90%، فقد أقوم بحجب المحتوى فقط. أما إذا كان الأمر خارج النطاق ، أي أقل من 50%، فأنا بحاجة إلى تصعيد الأمر لتدخل بشري. وإذا كانت النسبة أقل من 20%، قم بحظره. نحن لسنا واثقين على الإطلاق.

لذا، من خلال وضع تلك الخطوات وتلك الحواجز ، يمكننا البدء في تحويل هذا الاحتمال إلى شيء يمكن أن يحتوي على إجراءات حتمية يمكن التصرف بناءً عليها. لكن هذا يختلف عن حالة وصولك إلى شيء لا يُفترض بك الوصول إليه، لذا نقوم بتقييد التفويض في اللحظة نفسها، أو تعليق الوصول إذا قمت بذلك خمس مرات اليوم، أو تعليق عمل الوكيل بالكامل إذا كان يقوم بذلك باستمرار لأيام. لذا، عندما ننظر إلى نموذج "انعدام الثقة"، نبدأ بصرامة أكبر في البداية، ثم نخففها مع النجاح المتكرر. هذا ليس شيئًا تضبطه ثم تنساه فورًا. بل هو أمر تريد مراقبته وتطويره باستمرار. ومرة أخرى، سرعة الآلة هي المكان الذي يمكنك فيه القيام بذلك عمليًا مع الوكلاء. لدينا السياسة والقاعدة، ونحن بحاجة إلى شرطي. هنا يأتي دور وكلاء الحماية، وبوابات الذكاء الاصطناعي، والحواجز البرمجية، حيث يقومون بالتقييد والمنع والتعليق بسرعة الآلة. ثم تأتي وظيفة سفين، وما نحن جيدون فيه كبشر هو أننا نتدخل بحكمنا لنكون قادرين على القول: "أتدرون ماذا؟"" إذا قمت بتعديل هذا الدور، إذا عدلت تعريف السلطة هذا في مرحلة المواءمة، فيمكنني الحصول على نتيجة أفضل ؛ أحصل على نجاح أكبر من الوكيل، أو أجعله يتصرف بشكل أفضل." لذا يقوم سفين بتعديل تلك الأدوار والسلطات كمدرب. إذا فكرت في الأمر بهذه الطريقة.

إذن لدينا التعيين. نحن بحاجة إلى تسمية كل وكيل. لدينا المواءمة. نحن بحاجة إلى حصر كل إجراء. ولدينا الإدارة. نحن بحاجة إلى تتبع كل نتيجة. تلك هي محاسبة الوكلاء. هكذا نصل إلى محاسبة الوكلاء. تم بناء هذا من تاريخ البشر وتكييفه ليتناسب مع الوكلاء. كما قلت، هناك إطار عمل يدعم هذا يتضمن ضوابط أدعوكم للاطلاع عليها، ويمكنكم مراجعتها في مؤسساتكم ثم تطبيق الحلول التقنية التي تحدثت عنها كمنهجية للتحقيق. لذا يمكنكم البدء اليوم بمنح وكلائكم هوية خاصة بهم. وشيء واحد أطلبه عند تقديم هذه المحاضرة هو أن يسدي لي الجميع معروفًا، التقطوا أسوأ صورة في حياتكم. شكرًا جزيلًا لكم. أنا تيم تايلر. ولا تترددوا في زيارة agentaccountabilityframework.org أو مسح رمز الاستجابة السريعة (QR) إذا أردتم الوصول إلى صفحتي، ويمكنكم الاطلاع على صفحة محاسبة الوكيل أو "جرافيتي" لمزيد من المعلومات. نحن موجودون أيضًا في الطابق السفلي. شكرًا لكم.