How a Trading Firm Ships New AI Models the Same Day - Noyan Tokgozoglu, Optiver

اسمي نايان. أنا رئيس هندسة الذكاء الاصطناعي في شركة " أوبتيفير"، وسأتحدث معكم اليوم قليلاً عن كيفية توسيع نطاق الذكاء الاصطناعي في ظل وجود مخاطر على الأرباح والخسائر. لكن ، ماذا يعني ذلك في الواقع؟ أعتقد أنه لوضع الأمور في سياقها ، دعوني أخبركم قليلاً عما نقوم به في " أوبتيفير". نحن شركة صانعة للسوق. وهذا يعني أننا نسهل عمليات التداول. نحن شركة تداول. نحن نتداول بأموالنا الخاصة. وليس لدينا عملاء. من الناحية التقنية، نحن نأخذ الكثير من البيانات، ونبني نماذج، ثم نتخذ قرارات بناءً عليها. يجب أن تعمل هذه القرارات بأداء عالٍ جداً؛ فنحن ننفذ أكثر من 10 ملايين صفقة يومياً، ونقوم بتسعير أكثر من مليون أداة مالية، ونعالج بيتابايت من البيانات يومياً. كما أننا شركة عالمية إلى حد كبير. لدينا أكثر من 10 مواقع حول العالم. وهذا يترتب عليه، كما تعلمون، بعض التبعات التي سنتناولها بعد قليل. عادةً، إذا نظرت إلى شركة تقنية تقليدية، يمكنك التفكير في كيفية قياسهم للأرباح التي يحققونها. الأمر يسير على غرار تنفيذ تغيير ما، وطرحه للمستخدمين ، ثم يستخدمونه لأيام وأسابيع، وما إلى ذلك، حيث تجمع مقاييس المشاركة. ثم على مدى أشهر وأرباع سنوية، وربما سنوات، تنظر إلى الإيرادات، والقيمة طويلة الأمد، وما إلى ذلك. لقد عملت سابقاً في "أبل"، لذا أعرف كيف يسير هذا الأمر. أما في "أوبتيفير"، فنحن ننفذ شيئاً ما. نطرح ذلك التغيير على المتداولين والمحللين الكميين لدينا، وحرفياً في غضون ساعات يمكنك رؤية الأثر على الأرباح والخسائر. في الواقع، في بداية كل يوم، نقوم بتصفير الميزانية العمومية، ثم ننظر في نهاية اليوم إلى مقدار المال الذي جنيناه. هذا له

تبعات معينة حول كيفية اتخاذنا للقرارات المتعلقة بتوسيع نطاق الذكاء الاصطناعي وكيفية بناء الأشياء. أولاً، حلقة التغذية الراجعة فورية أكثر بكثير، أليس كذلك؟ عندما تتخذ قراراً، ستبدأ في رؤية تأثير ذلك القرار بنهاية اليوم. بالطبع، على المدى الطويل، هناك أدوات نتداولها ذات أفق زمني أطول، وهناك قيمة أكبر يمكن اكتشافها، لكنك ستبدأ في رؤية الأثر بشكل فوري. لكن الوجه الآخر لهذه العملة هو أنه إذا فاتتك فرصة، فإن خسارة تلك الفرصة قد تكون مكلفة للغاية. خاصة إذا كان هناك حدث استثنائي في السوق، لنقل طرح أولي لشركة " سبيس إكس" للذكاء الاصطناعي أو شيء من هذا القبيل، وفوتّ الأمر، فقد يكون ذلك مكلفاً حقاً. مما يعني أننا بحاجة إلى اتخاذ القرارات بسرعة كبيرة. نحن بحاجة إلى أن نكون قادرين على قياسها بفعالية وكفاءة عالية. ويجب أن نتبنى نزعة نحو التنفيذ. وهذا يعني أن سقف قيمة وأهمية القرار الذي يمكنك اتخاذه مرتفع للغاية حقاً. في حالة الخدمات الموجهة للمستخدم مثل " سبوتيفاي" أو غيرها، فهم يتنافسون أساساً على قدر محدود من انتباه العملاء. على عكس التداول، فكلما زاد تداولك، زادت أرباحك، أليس كذلك؟ لذا، فإن الجوانب الاقتصادية تختلف قليلاً. ولتحقيق ذلك والقدرة على التوسع والعمل بهذه الطريقة، احتجنا أساساً إلى بناء منصة ذكاء اصطناعي خاصة بنا وفقاً لمبادئ أساسية.

التحرك بسرعة. أعني أننا تحدثنا عن ذلك بالفعل. لكن بالطبع، جزء من التحرك بسرعة هو القدرة على أن تكون مرناً. لأنه في عالم الذكاء الاصطناعي، يظهر كل يوم نموذج جديد، ومنتج جديد، ونمط جديد. نحن نستخدم الحلقات، والآن الأسراب، والرسوم البيانية، إلخ. وعلينا أن نكون قادرين على استيعاب ذلك. وإذا كان ذلك النمط قيماً، قم بقياسه. وإذا كان كذلك ، فقم بدمجه. لأنه بمجرد دمجه، ستبدأ في الحصول على قيمة أكبر. وبالطبع، لفهم ذلك، نحتاج إلى البناء من أجل القياس في كل مستوى. بالطبع، التداول يعني الكثير من الاختبارات التاريخية، إلخ. لكننا نحتاج أيضاً، عند ظهور نموذج جديد، إلى قياس أدائه بمعاييرنا الداخلية بجانب المعايير الخارجية. لأن توزيع البيانات في معاييرنا يختلف عما هو متاح خارجياً. والأمر هو أن المتداولين أشخاص أذكياء جداً. وهم يتمتعون بقدرة عالية على المبادرة. لذا، نريد لمنصتنا أن تكون ذاتية الخدمة بشكل كبير. لكن بالطبع ، في أي وقت توفر فيه خدمة ذاتية بالكامل، قد تصبح الأمور فوضوية للغاية. لذا، نحتاج أيضًا إلى أن نكون قادرين على توفير إعدادات افتراضية جيدة. وإحدى طرقنا في التعامل معهم هي القدرة على النشر المسبق. لدينا فريق هندسة ذكاء اصطناعي بحجم جيد، ونقوم بجعل أفرادنا يجلسون مع المتداولين، ويعملون معهم لفهم كيفية تداولهم، وتعليمهم كيف يمكن للذكاء الاصطناعي أن يضيف لهم قيمة أكبر، ثم التعلم وإعادة ذلك إلى المنصة . بالطبع، لقد سمعتم جميعًا قصصًا مثل OpenAI و Hugging Face وغيرها. لذا، ومع قيامنا بالمزيد والمزيد من أعمال الذكاء الاصطناعي، نحتاج أيضًا إلى التأكد من أننا نقوم بذلك بطريقة آمنة. كما

تتخيلون، قد تكون هناك تأثيرات سلبية للغاية إذا تعطلت الوكلاء وبدأت في القيام بأشياء غير متوقعة في نظامنا. لكنني أريد التأكيد على أن الجميع في الشركة يستخدمون الذكاء الاصطناعي. يستخدمه الجميع بطريقة مختلفة قليلاً ، ولكننا في الأساس " أصليون في استخدام الذكاء الاصطناعي"، أعتقد أن هذا هو المصطلح الذي نستخدمه الآن. وبالطبع، لأننا نعمل في قطاع يخضع لرقابة شديدة ونقدر ملكيتنا الفكرية بعمق ، فإن كل ما نقوم به يتم محليًا. لذا، لدينا وحدات معالجة الرسوميات والبنية التحتية الخاصة بنا في الموقع. الشيء الوحيد الذي نتصل فيه بخارج خدماتنا هو استنتاج النماذج من جهات خارجية. وبالطبع، في تلك الحالات، لدينا اتفاقيات مع هذه الشركات مثل اتفاقيات عدم الاحتفاظ بالبيانات. إليكم نظرة شاملة ومبهرة، تحتوي على الكثير من المعلومات في شريحة عرض واحدة لمنصة الذكاء الاصطناعي الخاصة بنا. لا أتوقع منكم استيعاب كل هذا، ولكن إذا كنتم ترغبون في التقاط صورة والتحدث عني لاحقًا، فليكن ذلك. سأعرض هذه الشريحة مرة أخرى في النهاية. ولكن بشكل عام، ما أريد تسليط الضوء عليه هو أننا مسؤولون عن كل طبقة من طبقات النظام. في الأسفل، لدينا نماذج من مزودي خدمات خارجيين. كما نقوم باستضافة نماذجنا الخاصة والنماذج مفتوحة المصدر ذاتيًا.

لدينا بوابة استنتاج توفر ميزات مثل التوجيه بين هذه النماذج المختلفة. يمكننا قياس مقدار ما ننفقه على كل من هذه النماذج. يمكننا تخصيص الميزانيات وما إلى ذلك. سأتطرق إلى ذلك بعد قليل. وبالطبع، يمنحنا هذا مرونة عالية. على سبيل المثال، إذا توقف أحد المزودين عن العمل، يمكننا دائمًا الانتقال إلى مزود آخر ، وهكذا. لأننا مرة أخرى، أي وقت نتوقف فيه عن العمل، يعني ببساطة أننا لا نجني المال. أم، ولدينا أيضًا منصة الوكلاء الخاصة بنا حيث يكون لدى الوكلاء قدرات مسجلة مثل المهارات والإضافات والأدوات. يمكن لكل وكيل في كل فريق يستخدم وكيلاً أن يجلب معه أنظمة المعرفة والذاكرة الخاصة به. لدينا بوابة وكلاء تعد بمثابة سجل موحد لجميع الوكلاء في الشركة، مما يمكنهم من التفاعل والتواصل وتنسيق العمل بين البشر والوكلاء مع إدارة هوية موحدة، وما إلى ذلك. وهذا يدخل في مفاهيم مثل "سرب الوكلاء" التي ربما سمعت عنها أيضًا. وأخيرًا، ما يهم حقًا بالنسبة لي، كوني متخصصًا في المنتجات أيضًا، هو أن نوفر الواجهات المناسبة لمستخدمينا للتفاعل مع الوكلاء، لأنه يمكنك بناء منصة رائعة ، لكن إذا لم يرغب أحد في استخدامها أو لم يعرف كيف، فلا فائدة من ذلك. لذا قمنا ببناء واجهة ويب خاصة بنا ليتمكن الأشخاص من الوصول إلى جلساتهم، وما إلى ذلك. ولدينا ما نسميه "بيئة عمل الوكيل" وهي في الأساس إدارة للشخصيات. يمكن للفرق بناء ملف تعريف خاص بهم حول كيفية استخدامهم للوكلاء ومشاركته. لدينا مساعد شخصي يمكن لجميع الموظفين في الشركة الوصول إليه. أم، نعم.

لذا مرة أخرى، سأعود إلى هذا لاحقًا، ولكن إذا كانت لديكم أسئلة، يمكننا مناقشتها بعد ذلك. تمام. إذًا، كيف نمضي قدمًا وفق هذه المبادئ؟ أحد المبادئ التي نعتمدها هو أنه إذا تم طرح نموذج متطور جديد للجمهور، فنحن نريد أن نكون قادرين على الاستفادة منه في مسارات العمل الفعلية في نفس اليوم، لأن هناك قيمة هائلة في ذلك إذا كان النموذج مفيدًا. لكن هل هو مفيد حقًا؟ نريد أن نكون قادرين على قياس أدائه بناءً على مجموعات اختبار مرجعية دقيقة. وهذا يعني أننا بحاجة إلى امتلاك إطار عمل تقييم ناضج. أم، وبعد ذلك نتعاون مع فرق تداول رئيسية لدى عملائنا حيث نجمع معايير الأداء الخاصة بهم. نقوم بدمجها في نظامنا ، وكلما حصلنا على نموذج جديد، نقوم بتشغيله على هذه المعايير الجديدة، ونعرف المقاييس فورًا ، ويمكننا مشاركتها مع الزملاء في الشركة لنرى: "مهلاً، هل هذا مفيد حقًا لحالات الاستخدام الخاصة بنا ؟" بالإضافة إلى ذلك، تعلمون، في كل مرة يظهر نموذج مختلف، فهذا يعني عادةً أنه يتعين علينا توفيره عبر بوابتنا، وأن نضمن وجود واجهات برمجة التطبيقات والواجهات الصحيحة، وإعداد إدارة التكلفة، وما إلى ذلك بشكل سليم. غالباً ما تعني النماذج الجديدة ضرورة تحديث أدوات الربط (harnesses) وما شابه ، ونحن نتولى إدارة عمليات التحديث والتسليم هذه أيضاً. وبالطبع، نعم، نحن نطلق النموذج، ولكن هذا يأتي أيضاً مصحوباً ببعض التوقعات. نحن شركة عالمية، لذا نحتاج إلى توفير دعم فني على مدار الساعة. لذا، يمتلك فريقنا، كما تعلمون، دورات دعم في مناطق مختلفة لضمان بقاء النظام متاحاً بنسبة عالية. أعتقد أن بعض الحاضرين هنا اليوم يعملون في فريق الدعم، ولكن على أي حال. وبالطبع، عندما نجري هذه الاختبارات المعيارية، نحتاج أيضاً إلى أن يفهم الموظفون في الشركة الآتي: لقد درسنا هذا النموذج، واختبرناه، وإليكم مدى كفاءته، وكيفية استخدامه، وتوصيتنا بشأنه، مع الحفاظ على قنوات التواصل مفتوحة. شيء

آخر هو أننا نمتلك خيارات بين نماذج مختلفة، فإذا كان أي نموذج يضيف قيمة، فنحن نرغب في دمجه. ونحتاج إلى القدرة على التحوط ضد مخاطر توافر النماذج في مناطق مختلفة، أو عبر مزودي سحابة مختلفين، وما إلى ذلك. كما لدينا متطلب بأن تعمل بعض أعباء العمل لدينا في منطقة معزولة تماماً ( DMZ) داخل مقرنا. هناك أسباب تتعلق بالتكلفة لذلك، وأيضاً أسباب تتعلق بالعزل. لهذه الأسباب، نريد أن نكون مستقلين عن النموذج وأداة الربط، مما يعني أننا نتعامل مع مزودين خارجيين ونماذج داخلية، وكل ذلك يمر عبر بوابة الاستدلال الخاصة بنا. نحن نسجل كل شيء، كل تفاعل مع النماذج يتم تسجيله، ونقوم أيضاً بنقله تلقائياً إلى نظام التقييم الخاص بنا. لدينا مجموعة من أدوات الربط المختلفة التي ندعمها، وفوق ذلك لدينا طبقة "أداة ربط شاملة"(meta harness) تتيح للفرق تهيئة تجربتهم والحصول على بعض المرونة في التنقل بين هذه الأدوات. يمكن للفرق تعريف إعدادات أدوات الربط الخاصة بها في هذه الطبقة الشاملة، والتي ترتبط بقاعدة معارف الفريق.

يتم جمع المعرفة تلقائياً بمرور الوقت ، حيث ننظر إلى المسارات ونستنبط طرقاً للحصول على معرفة إضافية أيضاً. ومن خلال هذه الأداة الشاملة، يمكنك إما نشر وإدارة الوكلاء على منصتنا أو الحصول على إمكانية الوصول إليهم عبر واجهة مستخدم بوابة الويب التي وصفتها سابقاً. أرى بعض الأشخاص يلتقطون صوراً، لذا سأنتظر لحظة. حسناً. إذاً، قد يكون هذا النوع من المخططات مألوفاً للكثير منكم. هذه نسخة توضيحية تقريبية لما ننفقه على الذكاء الاصطناعي، بدون أرقام محددة. لكننا ننجز المزيد باستخدامه. وهنا، كما ترون، في ديسمبر تلاحظون لحظة إطلاق " Claude code" وكيف ارتفعت الأمور. بالمناسبة، نقطة التحول هذه هي وقت انضمامي للشركة، لذا لا أعلم إن كان لي علاقة بذلك. ثم هنا، لدينا كما تعلمون، إطلاق نماذج الذكاء الاصطناعي الكبرى خلال الصيف. كما ترون، قفز الإنفاق بشكل كبير هناك، لكننا سيطرنا عليه لاحقاً لأننا قمنا ببناء تحسينات في العملية ساعدتنا في ضبطه. إذاً، الأمر هو أننا كلما أنفقنا أكثر ، حصلنا على قيمة أكبر.

نحن واثقون تماماً من أننا نستطيع الاستمرار في تحقيق عوائد. نريد التأكد من أننا ننفق بحكمة، أليس كذلك؟ اكتشفنا شيئاً وهو أن لدينا مجموعة من بروتوكولات MCP، وقواعد معرفية ومعلومات، إلخ. وفي الجلسات الجديدة، كنا نلاحظ أحياناً وجود 200 ألف رمز (tokens) كحد أدنى للسياق بشكل افتراضي، وأحياناً أكثر. هذا أمر سخيف، أليس كذلك؟ لأن الجميع كانوا يضعون الكثير من الأشياء هناك. هذه هي مشكلة القيام بالأمور بنظام الخدمة الذاتية بالكامل، أليس كذلك؟ نحن بحاجة إلى أن يكون الجميع مسؤولين عن نتائج أعمالهم. لذا، قمنا بتنفيذ مجموعة من التغييرات المختلفة. أدخلنا ميزة البحث عن أدوات MCP. منحنا الوكلاء خيار امتلاك واجهة سطر أوامر (CLI) خاصة بهم بدلاً من استدعاء MCPs بشكل مباشر ، وهي تغلف مجموعة من الـ MCPs، مما يجعلها أكثر كفاءة. نظرنا في خصائص التخزين المؤقت ، مثل متى يتم إلغاء صلاحية الذاكرة المؤقتة، وما هي المدة المطلوبة لضبط هذه المعايير، وهل نحتاج لضبطها بشكل مختلف أو ديناميكي؟ ثم عملنا مع الفرق الفردية للتوصل إلى مزيد من التحسينات لأدواتهم البرمجية. نحن نضع بعض الأشياء في قاعدة المعرفة بدلاً من وضعها في مطالبات النظام الضخمة. والشيء الجيد في هذه التحسينات هو أنها تتناسب طردياً مع تكلفة الرموز. لذا ببساطة، إذا أصبحت الرموز أكثر تكلفة، فإنك توفر المزيد من خلال هذه الإجراءات.

لكن المغزى هنا هو أنه نعم، يمكنك طرح النماذج وإتاحتها للناس. ولن أتطرق حتى إلى العمل الذي نقوم به في مجالات مثل توجيه النماذج أو تحسينات الوكلاء الفرعيين وما إلى ذلك. في جلسة عمل واحدة، تضيع دائماً فرص للاستفادة بشكل أكبر. ونحن نعمل بجد ودون هوادة لتحقيق ذلك. أجل ، ها نحن ذا. وقد أطلقنا تحسينات في هذا الوقت، ولكن بالطبع هناك دائماً عمليات النشر وغيرها. حزمة التقنيات لدينا مثيرة للاهتمام نوعاً ما عندما يتعلق الأمر بالنشر عبر المناطق العالمية المختلفة. ومن الأشياء الأخرى التي ساعدتنا حقاً على تقليل الإنفاق هو أنه تبين أنه إذا أخبرت الناس بحجم إنفاقهم ومنحتهم مزيداً من الرؤية والتنبيهات، وأعطيتهم القدرة على الإدارة الذاتية، فإنهم يقومون بعمل جيد حقاً. لقد بنينا نظاماً لتمكين الفرق من تعيين تنبيهاتهم وحدودهم الخاصة. وقد رأينا العديد من الفرق تضع لنفسها حدوداً معقولة. خيار آخر هو استكشاف النماذج مفتوحة المصدر. هناك مجموعة من النماذج مفتوحة المصدر التي تعد منافسة جداً لنماذج الذكاء الاصطناعي الرائدة من حيث تكلفة الرموز ( التوكنز). قد لا تكون مناسبة لكل حالة استخدام، لكننا وجدنا فرصاً تكون فيها بديلاً ذا قيمة جيدة.

وقد قمنا بإتاحة ذلك داخلياً بشكل أساسي. ورأينا المزيد والمزيد من الأشخاص يستفيدون منها. وبالطبع هناك أشياء مثل توجيه النماذج وغيرها. لقد استكشفنا طرقاً مختلفة لإرسال المطالبات ديناميكياً إلى نموذج أرخص، أو أحياناً نجد طريقة يتم فيها إنشاء الخطة بواسطة نموذج رائد، بينما يتم تنفيذها بواسطة نماذج أصغر. وأخيراً، أعتقد أن قواعد المعرفة مهمة جداً، فهي لا تساعد فقط في التحكم بالإنفاق إذا أدرتها بفعالية، بل تقلل أيضاً من كمية السياق التي تسترجعها أساساً. باختصار، نحن لا نزال نستثمر ونستخدم الكثير من الرموز، لكن الأمر يتعلق بالحصول على عائد استثمار أكبر من نفس الرموز. وأخيراً، أود أن أتحدث عن تلبية احتياجات المستخدمين في أماكن تواجدهم. قبل بضعة أشهر، كنا في وضع يستخدم فيه الكثير من الناس أدوات تشغيل مختلفة. كان لديهم كل هذه الإعدادات المخصصة والغريبة للعمل ضمن بيئات التطوير الخاصة بهم، وكان البعض يبني واجهات ويب بدائية، وما إلى ذلك. ببساطة، قلنا لأنفسنا: "يا رفاق ، هناك الكثير من الأشخاص يقومون بهذه الأنواع من الأعمال."" لماذا لا نبني نسخة جيدة منها ونوفرها للجميع في الشركة؟" وهذا بالضبط ما فعلناه . في بوابتنا الإلكترونية، أنشأنا نظاماً يتيح لك إدارة جلسات عملك. يمكنك استخدام نوافذ الدردشة. يمكنك إضافة بعض الأدوات والمصادر هناك. هناك منتجات مشابهة تقدمها بعض شركات البرمجيات،

لكننا نشعر أن هذا النظام يتناسب تماماً مع بنيتنا التحتية، ويمكننا تطويره بالسرعة التي نريدها. وصلنا أيضاً إلى مرحلة أصبح فيها مختلف المتداولين في الشركة يساهمون في كتابة الكود البرمجي. عندما يجدون شيئاً مفيداً لسير عملهم، يرسلون طلباً للتعديل (PR)، ونقوم نحن بتحديثه، فأصبح لدينا ميزات مثل التحرير التعاوني للمستندات وغيرها. في الواقع، نحن نصل إلى مرحلة نقوم فيها بتمكين "الوكلاء المتعددين"، حيث أصبحت جلساتي متاحة هناك. يمكننا إنشاء غرف تضم وكلائي ووكلائك ووكلائنا الآخرين، كل ذلك في مكان واحد، مما يساعد الجميع على زيادة إنتاجيتهم. كما أضفنا عميل "سلاك" للعمل أثناء التنقل وغير ذلك. بشكل أساسي، يتمتع مستخدمونا بمبادرة ذاتية عالية جداً. فهم يبادرون ببناء ما يحتاجونه إذا لم نقم نحن ببنائه لهم. لذا، قمنا ببساطة ببناء نسخة أفضل منه. نعم. هذه هي الفلسفة العامة التي اتبعناها في القيام بذلك. لدينا منصة معيارية للغاية، ونستمر في تطويرها.

وحتى الآن، نحقق نتائج جيدة جداً. هذه نهاية العرض التقديمي. لكن، إذا كانت لديكم أي أسئلة حول هذا الموضوع أو أي جانب آخر، يمكننا مناقشتها. وبالمناسبة، لدينا فعالية تواصل هذا المساء. يرجى زيارة منصتنا والتسجيل. ستكون فعالية ممتعة. لدينا جوائز رائعة. هل هناك أسئلة؟ نعم، لقد استكشفنا بالتأكيد مجموعة من الخيارات المختلفة. شخصياً، لست راضياً عن أي من الخيارات المتاحة حالياً. هناك مقايضات، لكن أعني، إذا سألت بعض مختبرات "فرونتير" عما يفعلونه لقاعدة المعرفة، سيقولون ملفات ماركداون ضخمة، أو ماركداون هرمي، إلخ . هناك أماكن تنجح فيها هذه الطريقة، لكن البحث المتجهي له فوائده وعيوبه الخاصة. لدينا نهج هجين يسمح لنا نوعاً ما باستكشاف هذه الخيارات المختلفة. شخصياً، أريدنا أن نقضي وقتاً أطول في القيام بأمور مثل قواعد بيانات الرسم البياني وما شابه، والتي ستكون أكثر قيمة. أعني، أرى كل يوم على تويتر شيئاً مثل طريقة جديدة للتعامل مع الذاكرة والمعرفة. هذه مشكلة نريد قضاء المزيد من الوقت في معالجتها.

أنا لست راضياً عن حلنا الحالي. تفضل. >> هناك حلول مبنية يدوياً أو نعم، سؤال جيد. القيمة المكتسبة من استخدام حلول مبنية يدوياً مقابل "كورتكس". إذاً، هناك بضعة أمور. أعني، إجابة مملة نوعاً ما هي أن كل شيء يقع ضمن بنيتنا التحتية الخاصة، لذا فإن الكثير من هذه الأدوات لا تعمل بالطريقة التي ترغب بها. حتى وقت قريب، لم يكن لدى "كورتكس" خيار تشغيل الوكلاء المدارين أو بعض هذه الأشياء على بنيتك التحتية الخاصة. الآن، بدأوا في تقديمها ونحن نعمل معهم على ذلك بالفعل. لكن، كان ذلك أحد الأسباب التي جعلتنا نبدأ بهذه الطريقة. ثانياً، أعتقد أن العديد من الجهات التي تقدم هذه الأنواع من الحلول تحاول أيضاً حبسك في نموذجها أو في بقية حلولها. لكن في اللحظة التي نسلك فيها هذا الطريق، ننتهي إلى وضع حيث إذا كانت بنيتنا التحتية مستثمرة بشكل مفرط في مزود معين، فإننا نتحرك بالسرعة التي يسمحون لنا بها.

لقد واجهنا ذلك بالفعل مع أحد مزودي بوابات الاستدلال الذين كنا نستخدمهم. وأساساً، كنا نواجه سيناريوهات يظهر فيها شيء ما ونحتاجه، فيقولون: " حسناً، دعنا نتحدث مع فريق الوصول للسوق". " دعنا نضعك في خارطة الطريق". بحلول ذلك الوقت، نكون قد قلنا: " حسناً، لا، نحن بحاجة للتحرك بشكل أسرع في الواقع". لذا، هذا أيضاً أحد الأسباب. وأخيراً، أعتقد أننا في بعض هذه المجالات كنا دائماً سابقين لعصرنا. عند التحدث مع بعض المختبرات الرائدة، حول الطريقة التي ندير بها قدرات الوكلاء وما إلى ذلك، يطلبون منا إخبارهم كيف قمنا بذلك. لا أريد التباهي كثيراً، لكن أعتقد أننا نشعر بثقة كبيرة في هندستنا وخارطة طريقنا. لذا، فقد سارت الأمور بشكل جيد أيضاً. لا أعتقد أن هذا النهج يناسب الجميع، لكنني أظن أن لدينا مزيجاً فريداً من الظروف التي تسمح لنا بذلك. جيد. >> هل يمكنك التحدث قليلاً عن أوه، نعم.

حسناً، فقط لأتأكد من أنني أفهم سؤالك بشكل صحيح. ما هي بعض أفضل الممارسات لكيفية دمج بقية هذا في التقييم والذاكرة؟ صحيح. حسناً ، أعتقد أننا بدأنا من نقطة حيث نقوم بتسجيل كل شيء، كما قلت، كل استدعاء للأداة، والمدخلات، والمخرجات ، إلخ. مجرد تسجيل بيانات. وهذا يذهب إلى نظام التقييم الخاص بنا. التحدي الذي وجدناه في ذلك، وهي مسألة مفتوحة نوعاً ما ، هو أنه عندما تحاول تقييم استدعاء أداة، على سبيل المثال، لدينا وكيل دعم فني نشغله على "سلاك". ونريد تقييم هذا الوكيل. لنقل، ماذا لو قمنا بتشغيل هذا الوكيل على نموذج مختلف؟ حسناً، يعتمد وكيل الدعم على مجموعة من الأدوات التي ترتبط بحالة العالم التي كانت مختلفة في وقت تشغيله. وهذه مشكلة نمطية جداً. لقد كنا نعمل أساساً على أشياء مثل، هل يمكننا أخذ لقطات لحالات العالم باستخدام هذه الأدوات ؟ وبناءً على النظام الذي تتكامل معه، تكون هناك إجابات مختلفة لهذا السؤال. إذا كنت تنظر إلى قاعدة بيانات اختبار تداول، فالأمر سهل. يمكنك دائماً تحديد تلك اللحظة الزمنية. هذا ما نفعله.

لكن إذا كنت تنظر إلى نظام آخر، مثل "سلاك" على سبيل المثال، ما هي حالة "سلاك" عندما تم تقييمه في الأصل؟ ربما توجد طرق لإعادة تشغيل "سلاك" من لحظة زمنية معينة، لكن الأنظمة الأخرى لا تدعم ذلك حقاً. لذا، نحاول تعيين قيمة ثقة لمدى قدرتنا على تحديد اللحظة الزمنية لاستدعاء هذه الأداة المحددة. وما زلنا نسجلها على هذا النحو. وعندما نعيد تشغيل التقييم، سنقوم بتشغيل الأداة مع محاولة الحصول على تلك اللقطة. لدينا ما يشبه الوكيل حول بروتوكولات التحكم في النماذج (MCPs). ولكن، كما تعلم، الأمر ليس مثالياً. ولا أعلم إن كان هناك حل مثالي بخلاف مجرد تسجيل كل شيء، كما تعلم. أجل، ربما لدي وقت لسؤال آخر؟ جيد. نعم. هذه مشكلة كلاسيكية للغاية واجهناها بالفعل عدة مرات. تعلم ، كان لدينا فريق قام ببناء وكيل ذكي للقيام بأعمال البرمجة والتحليل معهم. كان نطاق عمله محصوراً في مستودعهم البرمجي، وتساءلنا: ماذا لو عملنا أيضاً مع هذا الفريق وجعلنا نظامهم متاحاً لنا؟ وفوراً تزداد التعقيدات بشكل هائل. الآن أصبح عليه فحص مستودعات متعددة بصلاحيات مختلفة، وما إلى ذلك، وهي مشكلة نمطية. لذا، كان حلنا الأولي هو الاستكشاف، حسناً، ماذا لو فعلنا ذلك حرفياً؟ ماذا لو أنشأنا وكيلاً جديداً

يجمع كل الوظائف؟ لكن غالباً ما يؤدي ذلك إلى الكثير من الديون التقنية، وأداء سيء للغاية. أعتقد أن إجابتنا الحالية لهذا النوع من النماذج هي أن كل وكيل له إصدار خاص، لذا إذا كانت التغييرات بسيطة يمكنك طرح إصدار جديد للوكيل وتزويده بقدرات جديدة. لكن في المستقبل، سنشجع الناس أكثر على الاستفادة من بوابة الوكلاء الخاصة بنا، بحيث بدلاً من أن يقوم وكيل واحد بعشر مهام مختلفة، اجعل نطاق عمل وكلائك محدوداً بمهمة يجيدونها. يمكنك قياس أدائهم بسهولة. يمكنك إدارة دورة حياتهم بسهولة، وسيكون هناك وكيل آخر يمكنه التحدث إليه بسهولة كما لو كان يعمل بنفسه؛ لأن لدينا بنية تسمح للوكلاء بالمرور عبر سجل واحد، وتشغيل بعضهم البعض، وما إلى ذلك. وهذا سيساعدنا على توسيع هذه الأنواع من الوظائف بشكل أكثر فعالية بدلاً من مجرد إثقال كاهل وكيل واحد بكل شيء. يصبح الأمر أشبه بمشكلة تنسيق بين وكلاء متعددين. لكنني أعتقد أن الحفاظ على قابلية القياس أمر مهم جداً، لأنه إذا أثقلت كاهل الوكيل، فقد ينتهي بك المطاف في سيناريوهات تتحسن فيها بعض الوظائف وتسوء أخرى، ولا يمكنك حقاً تعديلها بسهولة.