Meta Platforms في حدث Meta Connect السنوي في كاليفورنيا مقدم العديد من ميزات الذكاء الاصطناعي الجديدة لتطبيقاتها الشهيرة Facebook, Instagram وWhatsApp، ولكن الابتكار الأكثر إثارة للإعجاب من عملاق التكنولوجيا ربما لم يلاحظه الكثيرون. نحن نتحدث عن نموذج Llama 2 Long AI.
قام فريق من الباحثين من شركة Meta بنشر مقال بهدوء بطريقة أو بأخرى قدموا فيه نموذجًا جديدًا للذكاء الاصطناعي، Llama 2 Long، قادرًا على توليد إجابات متماسكة وذات صلة لاستفسارات المستخدم الطويلة. ويقولون إنها تتفوق على بعض أفضل المنافسين في الصناعة على الأكثر.
اللاما 2 لونج هو امتداد اللاما 2، وهو نموذج ميتا مفتوح المصدر للذكاء الاصطناعي تم إصداره خلال الصيف ويمكنه التعلم من مجموعة متنوعة من مصادر البيانات وتنفيذ مجموعة متنوعة من المهام مثل البرمجة والرياضيات وفهم اللغة والمزيد. ومع ذلك، تم تدريب Llama 2 Long على المزيد من البيانات التي تحتوي على نصوص أطول، وتم تعديل هذه الخوارزمية للتعامل مع تسلسلات أطول من المعلومات. وهذا يسمح لها بالتفوق على GPT-3.5 Turbo وClaude 2 من OpenAI، والتي لها حدود على مقدار السياق الذي يمكن استخدامه لتوليد الاستجابات.
الباحثون مييتااا استخدمت إصدارات مختلفة من Llama 2 - من 7 مليار إلى 70 مليار معلمة، أي القيم التي يمكن لنموذج الذكاء الاصطناعي تغييرها من خلال التعلم من البيانات. لقد أضافوا 400 مليار رمز آخر (وحدات نصية) من البيانات التي تحتوي على نصوص أطول من مجموعة بيانات النموذج الأصلي. لقد قاموا أيضًا بتعديل بنية نموذج الذكاء الاصطناعي بشكل طفيف باستخدام تقنية التضمين الموضعي الدوار (RoPE) بحيث يتمكن النموذج من توليد إجابات دقيقة ومفيدة باستخدام معلومات وذاكرة أقل من الطرق الأخرى.
استخدم الفريق التعلم المعزز من ردود الفعل البشرية (RLHF)، وهي طريقة يتم من خلالها مكافأة نموذج الذكاء الاصطناعي على الإجابات الصحيحة وتصحيحها من قبل المقيمين البشريين، ويتم إنشاء البيانات الاصطناعية بواسطة دردشة Llama 2 نفسها لتحسين أدائها في مختلف المهام. .
تدعي الورقة أن النموذج يمكنه إنشاء استجابات عالية الجودة لمطالبات المستخدم يصل طولها إلى 200 حرف، أي ما يعادل حوالي 40 صفحة من النص. يقول الباحثون إن Llama 2 Long هي خطوة نحو إنشاء نماذج ذكاء اصطناعي أكثر عمومية وتنوعًا يمكنها تلبية الاحتياجات المعقدة والمتنوعة للمستخدمين. كما أنهم يدركون الآثار الأخلاقية والاجتماعية المحتملة لمثل هذه النماذج ويدعون إلى إجراء المزيد من البحث والحوار حول كيفية استخدامها بشكل مسؤول ومفيد.
اقرأ أيضا: