متابعة – أمل علوي
تواجه المؤسسات تحديات كبيرة في تكاليف نشر نماذج الذكاء الاصطناعي، لكن تصميمًا معماريًا جديدًا قد يقدم حلاً لهذه المشكلة. على الرغم من أن قدرات الذكاء الاصطناعي التوليدي جذابة، إلا أن الطلبات الحسابية الكبيرة للتدريب والاستدلال تؤدي إلى تكاليف مرتفعة ومخاوف بيئية متزايدة.
التحول إلى كفاءة جديدة في الذكاء الاصطناعي
تقدم ورقة بحثية جديدة من Tencent AI وجامعة تسينغhua مقاربة مبتكرة تُعرف باسم نماذج اللغة التلقائية المستمرة (CALM). هذه الطريقة تعيد تصميم عملية التوليد لتتنبأ بمتجه مستمر بدلاً من رمز منفصل.
نموذج محسّن لتحقيق أداء أفضل
يستخدم CALM مشفرًا تلقائيًا عالي الدقة يقوم بضغط مجموعة من الرموز إلى متجه مستمر واحد، مما يزيد سعة المعنى. بدلاً من معالجة الكلمات بشكل متسلسل، مثل “الـ”، “قطة”، “جلست”، يقوم النموذج بضغطها إلى خطوة واحدة، مما يقلل بشكل مباشر من عدد خطوات التوليد ويخفف العبء الحاسوبي.
نتائج التجارب وتوفير التكاليف
أظهرت النتائج التجريبية أن نموذج CALM يعزز التوازن بين الأداء والتكلفة. على سبيل المثال، كان نموذج CALM يحتاج إلى 44% أقل من FLOPs (عمليات النقطة العائمة) للتدريب و34% أقل للاستدلال مقارنةً بنموذج Transformer مشابه. هذا يشير إلى توفير في التكلفة الرأسمالية الأولية للتدريب والتكاليف التشغيلية المتكررة للاستدلال.
إعادة بناء الأدوات للعمل في المجال المستمر
انتقالًا من مفردات محدودة إلى مساحة متجهات مستمرة غير محدودة يتطلب تطوير إطار عمل شامل خالٍ من الاحتمالات. استخدم الباحثون هدفًا “خالٍ من الاحتمالات” مع Energy Transformer، مما يكافئ النموذج على التنبؤات الدقيقة دون حساب احتمالات صريحة.
تقليل تكاليف الذكاء الاصطناعي في المؤسسات
تقدم هذه الأبحاث لمحة عن مستقبل حيث لا يُعرَف الذكاء الاصطناعي التوليدي فقط من خلال عدد المعلمات المتزايد، بل من خلال الكفاءة المعمارية. إن المسار الحالي لتوسيع النماذج يواجه حائطًا من العوائد المتناقصة والتكاليف المتزايدة، ويؤسس إطار CALM “محور تصميم جديد لتوسيع النماذج”.
نظرة مستقبلية
بينما لا يعد هذا الإطار منتجًا جاهزًا للاستخدام، فإنه يمثل مسارًا قويًا وقابلًا للتوسع نحو نماذج لغوية فائقة الكفاءة. يجب على قادة التكنولوجيا النظر إلى ما هو أبعد من حجم النموذج وبدء طرح أسئلة حول الكفاءة المعمارية. ستصبح القدرة على تقليل FLOPs لكل رمز مُنتَج ميزة تنافسية رئيسية، مما يمكّن الذكاء الاصطناعي من الانتشار بشكل أكثر اقتصادية واستدامة عبر المؤسسات.
هذا المحتوى تم باستخدام أدوات الذكاء الاصطناعي.
