متابعة – أمل علوي
مع وصول البنية التحتية للذكاء الاصطناعي إلى أبعاد مذهلة، هناك ضغط أكبر من أي وقت مضى لاستخراج أكبر قدر ممكن من الاستدلال من وحدات معالجة الرسومات المتوفرة لديهم. وبالنسبة للباحثين ذوي الخبرة في تقنية معينة، فهذا هو الوقت المناسب لجمع التمويل.
هذا جزء من القوة الدافعة وراء Tensormesh، يتم إطلاقها بشكل خفي هذا الأسبوع بتمويل أولي قدره 4.5 مليون دولار. تمت قيادة هذا الاستثمار من قبل شركة Laude Ventures، مع تمويل إضافي من ملاك رائد قاعدة البيانات مايكل فرانكلين.
تستخدم Tensormesh الأموال لبناء نسخة تجارية من المصدر المفتوح LMCache الأداة المساعدة، التي تم إطلاقها وصيانتها من قبل المؤسس المشارك لـ Tensormesh Yihua Cheng. إذا تم استخدامه بشكل جيد، يمكن لـ LMCache تقليل تكاليف الاستدلال بما يصل إلى 10 أضعاف – وهي قوة جعلته عنصرًا أساسيًا في عمليات النشر مفتوحة المصدر وتم استخلاصه من عمليات التكامل من الضاربين الكبار مثل جوجل و نفيديا. وتخطط Tensormesh الآن لاستغلال هذه السمعة الأكاديمية وتحويلها إلى عمل تجاري قابل للحياة.
جوهر المنتج هو ذاكرة التخزين المؤقت لقيمة المفتاح (أو ذاكرة التخزين المؤقت KV)، وهو نظام ذاكرة يستخدم لمعالجة المدخلات المعقدة بشكل أكثر كفاءة عن طريق تكثيفها وصولاً إلى قيمها الأساسية. في البنى التقليدية، يتم تجاهل ذاكرة التخزين المؤقت KV في نهاية كل استعلام – لكن المؤسس المشارك والرئيس التنفيذي لشركة Tensormesh Junchen Jiang يقول إن هذا مصدر هائل لعدم الكفاءة.
يقول جيانغ: “إن الأمر يشبه وجود محلل ذكي للغاية يقرأ جميع البيانات، لكنه ينسى ما تعلمه بعد كل سؤال”.
بدلاً من التخلص من ذاكرة التخزين المؤقت هذه، تحتفظ أنظمة Tensormesh بها، مما يسمح بإعادة نشرها عندما ينفذ النموذج عملية مماثلة في استعلام منفصل. نظرًا لأن ذاكرة وحدة معالجة الرسومات (GPU) ثمينة جدًا، فقد يعني هذا نشر البيانات عبر عدة طبقات تخزين مختلفة، ولكن المكافأة هي قوة استدلال أكبر بشكل ملحوظ لنفس تحميل الخادم.
يعد التغيير قويًا بشكل خاص بالنسبة لواجهات الدردشة، نظرًا لأن النماذج تحتاج إلى الرجوع باستمرار إلى سجل الدردشة المتنامي مع تقدم المحادثة. تواجه الأنظمة الوكيلة مشكلة مماثلة، مع سجل متزايد من الإجراءات والأهداف.
من الناحية النظرية، هذه هي التغييرات التي يمكن لشركات الذكاء الاصطناعي تنفيذها بنفسها، لكن التعقيد الفني يجعلها مهمة شاقة. ونظرًا لعمل فريق Tensormesh في البحث عن العملية وتعقيد التفاصيل نفسها، تراهن الشركة على أنه سيكون هناك طلب كبير على المنتج الجاهز.
يقول جيانغ: “إن الاحتفاظ بذاكرة التخزين المؤقت KV في نظام تخزين ثانوي وإعادة استخدامها بكفاءة دون إبطاء النظام بأكمله يمثل مشكلة صعبة للغاية”. “لقد رأينا أشخاصًا يوظفون 20 مهندسًا ويقضون ثلاثة أو أربعة أشهر لبناء مثل هذا النظام. أو يمكنهم استخدام منتجنا والقيام بذلك بكفاءة عالية.”
هذا المحتوي تم باستخدام أدوات الذكاء الإصطناعي
