خلف ChatGPT وGoogle Bard وMeta AI وغيرها، هناك ما نسميه LLMs، أي "نماذج اللغة الكبيرة". هذه في الواقع هي محركات روبوتات الدردشة النصية المدعومة بالذكاء الاصطناعي، تلك التي تتعلم و"تفهم" ما يقال لها.
ماذا وراءChatGPT؟ كيفالذكاء الاصطناعيالمولدات النصية؟ مع ظهور أدوات الذكاء الاصطناعي، هناك العديد من الأسئلة التي تحيط بوظيفتها الغامضة.
في الواقع، يوجد خلف ChatGPT ما يسمى “ماجستير»… ماذا؟
ماذا يعني ذلك؟ماجستير» لا أنا ؟
LLM هو اختصار للتعبير الإنجليزي "لنموذج اللغة ارج". يمكن ترجمتها إلى الفرنسية كـ "نموذج لغة كبير". هذه هي نماذج اللغة التي تحتوي عادةً على مليار معلمة على الأقل. وفي الفرنسية يمكننا أن نطلق عليهم أيضًا "نماذج لغوية ضخمة» وتعيينها بالاختصار "مل».
للذهاب أبعد من ذلك
ChatGPT: كيف يعمل وإمكانياته ومخاطره... الدليل النهائي لفهم كل شيء
كيف يعمل النموذج اللغوي الكبير، محرك الذكاء الاصطناعي؟
إن LLM هي في الواقع شبكة عصبية اصطناعية عميقة، أو برنامج مستوحى تصميمه من عمل الخلايا العصبية البيولوجية. تحتوي كل خلية عصبية حسابية (أو رسمية) على مدخلات (تتوافق مع التشعبات) بالإضافة إلى مخرجات (تتوافق مع المحور العصبي). باستخدام القواعد الدقيقة التي نشير إليها، يمكن للخلية العصبية الرسمية تحويل المدخلات إلى مخرجات. ترتبط هذه الخلايا العصبية الاصطناعية في الشبكات وفقًا لأنواع مختلفة من الاتصالات (بعضها سيكون له وزن أكبر، أو سيؤدي مهمة بشكل أكثر انتظامًا).
تكمن قوة نظام الشبكة العصبية هذا في أنه، كما هو الحال في الحيوانات، يمكنه "يتعلم» من نفسه: هوالتعلم الآلي. ولكن يمكننا المضي قدمًا في التعلم الآلي (يُسمىالتعلم العميقباللغة الإنجليزية)، والتي لها ميزة كبيرة: أنها لا تحتاج إلى إنسان للدخول “باليد» كل ما تحتاج الآلة إلى تعلمه. يكفي لزيادة القوة النهائية للنظام عشرة أضعاف.
لكي تتعلم LLM، عليك أن تعطيها نصًا، الكثير من النص. لهذا يمكننا ببساطة أن نأخذويكيبيديا:بحسب مؤسسة ويكيميديا، تحتوي الموسوعة الإلكترونية على أكثر من 58 مليون مقال بما يقرب من 300 لغة. هناك أيضًا مجموعات بيانات نصية متخصصة لتدريب حاملي الماجستير في القانون، والتي تكون في بعض الأحيانمفتوح المصدر.
تعتمد جودة التعلم أيضًا على ما يسمى بتصنيف البيانات. في مجال الذكاء الاصطناعي، يعتبر وضع العلامات بمثابة عملية إعطاء إجابة لمهمة مطلوبة بناءً على بيانات محددة. بالنسبة للنص، يمكن أن تكون التسمية، على سبيل المثال، مؤهلة للنص على أنه "واقعي» في أسلوبه، من “العائلات» في قاموسه، أو “إهانة» فيما يقول.
عندما تتم مشاركة نص الإدخال مع chatbot، يتم تحويله إلى أرقام بواسطة LLM، ثم يتم تحليله، ويتم تشكيل الإخراج إلى أرقام أيضًا، قبل تحويله إلى نص الإخراج. وتسمى هذه الأرقام في الواقع المتجهات. كما ذكر01netهذه الأرقام هي التي تجعل من الممكن تحديد درجات القرب بينهما. كلما زاد عدد أرقام الرقم، أصبح النموذج أكثر تعقيدًا، وبالتالي أكثر كفاءة. إنه نوع من الرياضيات للنص الذي يحدث وهذا ما يسمح للخوارزمية بتقليد اللغة البشرية.
ما تغيرت بنية المحولاتالتعلم العميق
في عام 2017، سيهز التغيير التكنولوجي عالم الذكاء الاصطناعي: إنشاء بنية المحولات. إنها نتيجة مجموعة طويلة من العمليات التقنية، والعمل الذي يعود تاريخه إلى سنوات عديدة.
و "محول»، وهو نموذج للتعلم العميق، مصمم بشكل أساسي لما يسمى بمعالجة اللغة الطبيعية. عندما تقوم الشبكات العصبية التقليدية مثل الشبكات العصبية المتكررة بمعالجة مدخلات الاستعلام بشكل تسلسلي (من بداية الجملة إلى النهاية)، يمكن للمحول أن يوازن هذا الإدخال، لتقليل أوقات التدريب بشكل كبير. إن تقليل أوقات التدريب يعني الحصول على مزيد من التدريب مقابل تكلفة تشغيل خادم متساوية والمضي قدمًا.
ومن الأمثلة الجيدة على الاهتمام بهذه الهندسة المعمارية ما رواه الفيلسوف دانييل أندلر في عملهالذكاء الاصطناعي، الذكاء البشري: اللغز المزدوج. بالنسبة للجملة "لدي أخ، وهو مهندس معماري», «أخ» وآخر «ايل» تعيين نفس الشخص: بناء الجملة بسيط والمصطلحان يتبعان بعضهما البعض. لكن في الجملة "عندما غضب أخي من شريكه، اعترفت له أنني لم أحبه أبدًا», «أخي» وآخر «له» بعيدة. هذا هو المكان الذي يستخدم فيه المحول "الاهتمام التلقائي"، والذي يأخذ في الاعتبار"تمت إزالة هذه الآثار من السياق". هذه الآلية هي التي تجعل من الممكن أخذ سياق في معالجة المدخلات. آلية تعمل على مبدأين: "أقنعة» و"الرموز».
بالنسبة للأول هناك نوعين من الأقنعة:
- ال "مرشحات السببية» والذي سيعدل وزن بعض المتجهات اعتمادًا على السياق الذي توفره الجملة؛
- ال "مرشحات الحشو» والتي تضمن أن جميع الجمل لها نفس الطول الرياضي (مثل العديد من الأرقام فيها)، وذلك عن طريق إضافة كلمات غير ضرورية لم تؤخذ في الاعتبار في المعالجة.
هذه هيالرموزوالتي تسمح للشبكات العصبية "لفهم» كل كلمة من خلال التعامل معها، وليس فقط واحدة تلو الأخرى. كما أنها تنسب الروابط بين الكلمات.
الأول "حقيقي»نماذج اللغة: GPT وBERT
تم نشر درجتين ماجستير في القانون، يمكن اعتبارهما رائدين، في عام 2018 في غضون أسابيع قليلة من بعضهما البعض. الأول هو GPT، للمحولات التوليدية المدربة مسبقًاOpenAI. والثاني هو بيرت من ديب مايند (والتي تملكها جوجل). وبفضل بنية المحولات، فقد أثبتت أنها ثورات في ماجستير إدارة الأعمال.
إنهم جيدون جدًا في فهم اللغة الطبيعية بالإضافة إلى إنشاء النصوص. يمكنهم إكمال المهام ببساطة عن طريق سؤالهم نصيًا: "لتلخيص», «يترجم», «يكتب". إنها أيضًا إحدى المرات الأولى التي لا يتم فيها تدريب النماذج اللغوية مسبقًا على مهمة معينة، ولكن على مجموعة كاملة، لا نعرف حتى مدى مدى ذلك.
لماذا نتحدث عن "إعدادات» لنموذج اللغة؟
عندما نتحدث عن LLM، نتحدث كثيرًا عن "إعدادات»: كلما زاد عدد النماذج، أصبح النموذج أكثر قوة وكفاءة. وهذا صحيح، لكنه ليس حقيقة عامة. في الواقع، تحتوي الشبكات العصبية على عقد متعددة، عبر طبقات متعددة. كما هو موضحخدمات الويب الأمازون, «ترتبط كل عقدة في كل طبقة بجميع العقد في الطبقة التالية". لكل منها وزن وانحراف مختلف: هذه الأوزان وهذه الانحرافات هي في الواقع معلمات LLM. لهذا السبب نستطيعبسهولة» لدينا عشرات المليارات. ما تقدمه الإعدادات هو القدرة على التقاط المزيد من الفروق الدقيقة والتعقيد في اللغة. وهذا يجعل من الممكن أن تأخذ في الاعتبار بيانات المدخلات الأكبر والمخرجات الأكبر. ومع ذلك، كلما تقدمت درجة LLM في "فهم»، كلما زاد عدد المعلمات التي يحتاجها (أضعافًا مضاعفة) والطاقة (الخوادم). خلال مرحلة التدريب، يتم تعديل الأوزان والفجوات بشكل متكرر.
ما هينماذج لغوية كبيرة؟
تكمن القوة الكبيرة لـ LLMs على وجه التحديد في أنه ليس لديهم استخدام محدد، حيث لم يتم تدريبهم على قدرة معينة. ويعني أدائهم العصبي أنهم مدربون على التنبؤ بتسلسل محتمل بناءً على مدخلات معينة (سلسلة من الكلمات).
إذا طلبت من ChatGPT أن يروي لك قصة، قصة أطفال على سبيل المثال، فمن المحتمل أن تبدأ بـ "كان ياما كان"، لأنها كلاسيكية جدًا. ثم احتمال ما سيحدث بعد ذلك هو "في مملكة"، أو "أميرة"، شيء من هذا القبيل. في الواقع،ماجستير في القانون لا "يفهم» ليس النصوصالذي تدربوا عليه ولا ما كتب لهم.LLMs هي ببساطة أنظمة إحصائية، يتم تطبيقها على اللغويات. فهي لا تحدد الكلمات فحسب، بل تحدد أيضًا تركيب الجملة والتصريف وعلامات الترقيم التي تشكل اللغات.
إن ما يجعل LLM ناجحًا يعتمد على عدة عوامل. أولا وقبل كل شيء، هناك عدد من المعلمات. كلما زاد عدد العوامل، زادت العوامل التي سيتمكن نموذج اللغة من أخذها بعين الاعتبار في استجابته، مما سيجعله أكثر دقة. علاوة على ذلك، نكتشف قدرات معينة من خلال توسيع النموذج، من خلال زيادة عدد المعلمات. كما كتب دانييل أندلر، "فالملكية تظهر من حجم معين، دون أن نعرف اليوم السبب.» القدرة على الترجمة، ومحاكاة العواطف أو الفكاهة هي بعض الأمثلة.
ويعتمد ذلك أيضًا على قوة الحوسبة المخصصة لتشغيل LLM. وأخيرًا، هناك جودة البيانات المقدمة لها كمدخلات من قبل المستخدم. من الواضح أنه كلما كان طلبك إلى ChatGPT أكثر دقة، كلما زاد السياق والمعلومات التي يقدمها LLM لتزويدك بإجابة دقيقة. تتضمن جودة البيانات أيضًا اتساع نطاق مجموعة البيانات التي كان عليها التدريب عليها، بالإضافة إلى جودة تصنيفها. كلما كانت عملية وضع العلامات أكثر تقدمًا، زادت قدرة النموذج على "يفسر» بيانات التدريب وتلك المقدمة أثناء الطلب.
ما هي النماذج اللغوية الرئيسية الموجودة؟
منذ ظهور النماذج اللغوية الرئيسية الأولى قبل بضع سنوات، تم إنشاء المزيد منها. مختارات صغيرة لما هو موجود بالفعل فيما يتعلق بالذكاء الاصطناعي التوليدي النصي.
جي بي تي أوبن إيه آي
GPT هو الأكثر شهرة، وهو الذي يقف خلف ChatGPT (مكتوب في الاسم) وهو بلا شك أحد أكثر التطبيقات التي يمكن الوصول إليها حتى الآن. ومن خلاله بدأ الانفجار (الإعلامي والاقتصادي) للذكاء الاصطناعي. أحدث إصدار هوجي بي تي-4، صدر عن OpenAI في مارس الماضي. وهو لا يزال "أكثر موثوقية وإبداعًا وقدرة على التعامل مع تعليمات أكثر دقة من GPT-3.5»، كتب الشركة. كل هذا لأنه قادر على التعامل مع المزيد من السياق كمدخل (خاصة لأنه قادر على التعامل مع الصور).
ولسوء الحظ، لا نعرف حجمها ولا هندستها المعمارية ولا طريقة تدريبها: OpenAI، على الرغم من الاسم الذي يوحي بأن الشركة "يفتح» ولم يذكر بعد أي تفاصيل حول هذا الموضوع.ومع ذلك، تزعم الشائعات أن هناك 100.000 مليار معلمة، مقارنة بـ 175 مليارًا لـ GPT-3. في الوقت الحالي، يمكن استخدام GPT-3.5 مجانًا عبر ChatGPT وGPT-4 محجوز للمشتركين فيشات جي بي تي بلس، الاشتراك المدفوع لبرنامج chatbot. ويمكن استخدامه أيضًا فيمساعد الطيار، الشات بوت الخاص بـمايكروسوفتولكن في نسخة أقل قوة.
PaLM وGemini من جوجل
من الواضح أن جوجل، باعتبارها عملاقًا رقميًا، مهتمة جدًا بالذكاء الاصطناعي. أقوى ماجستير في القانون يسمى PaLM، لنموذج لغة المسارات. مع ما يقرب من 540 مليار معلمة، فإن الإصدار الأحدث هوبالم 2(يقتصر على 340 مليار معلمة). لديه أيضًا مجموعة واسعة من المهام: التفكير الرياضي، وتوليد الأكواد، والترجمة. في الوقت الحالي، لا يتمكن سوى مطورين محددين من الوصول إليه. كما قامت شركة جوجل، من خلال شركتها الفرعية المتخصصة DeepMind، بتطويرميد بالم، نموذج لغوي مخصص للإجابة على الأسئلة الطبية. حتى أنه حصل على إذن لممارسة الطب في الولايات المتحدة.
روبوت الدردشة جوجل,بارد، ولكن لا يعمل مع PaLM، ولكن معلامدا(صبالنموذج اللغوي لتطبيقات الحوار)، نموذج آخر للغة الأعمال. إنه يعمل مع 137 مليار معلمة وهو فعاللدرجة أن أحد مهندسي Google اعتقد أنه يتمتع بالوعي.
في بداية ديسمبر 2023،كشفت جوجل عن برج الجوزاء، نموذجه اللغوي الرئيسي الجديد. أقوى نسخة له ستكون أفضل من GPT-4. في الوقت الحالي، يتم نشر LLM الجديد هذا على Google Bard ومن المفترض نشره على نطاق أوسع في الأشهر المقبلة. حتى أن النسخة تصل إلىالعمل محليًا على Pixel 8 Pro.
لهب الهدف
في عام 2023،ميتايوجد أيضًا مع LLM خاص به: LLaMA، لـنموذج لغة كبير Meta AI. تجد الشركة عدة استخدامات له: فهو وكيل محادثة ومساعد برمجة. الإصدار ذو الحجم الأكبر هو 65 مليار معلمة. يوليو الماضي،تم الإعلان عن LLaMA 2، يتم بيعها كشهادة LLM مجانية ومفتوح المصدركل ذلك بالشراكة مع مايكروسوفت. يجب دمجه في Azure AI وWindows، ولكن أيضًا في الهواتف الذكية المزودة بشرائح Qualcomm. بالمقارنة مع LLaMA 1، تم تدريب LLaMA 2 على بيانات أكثر بنسبة 40%.
نظام ذكاء اصطناعي يبدو أنه يعمل على جهاز كمبيوتر بسيط: في الأشهر الأخيرة، تضاعفت المظاهرات. في الوقت الحالي، لا تستخدمه أي خدمة Metaقدمت ميتا ميتا AI، chatbot والذي سيكون متاحًا علىواتساب,رسول,انستغرام، بل أيضًا علىميتا راي بانوميتا كويست 3. نوع من المساعد مثل مساعد الطيار، أوسناب شات بلدي الذكاء الاصطناعي.
Grok de xAI (إيلون ماسك)
وفي يوليو 2023، أطلق إيلون ماسكxAI، شركة متخصصة في الذكاء الاصطناعي. وبعد فترة وجيزة، جاء دورجروك، نموذج لغوي خاص بها، مع 33 مليار معلمة. سيكون أفضل من منافسيه في مهام معينة. على عكس الآخرين، فإنه يريد أن يكون "المتمردين» وبدون حدود كثيرة، مستخدماً الفكاهة والسخرية في ردوده. على أية حال، هذا ما نراه في النصوص التي تم إنشاؤها، والتي يمكننا قراءتها عبر لقطات الشاشة التي يشاركها أعضاء xAI.
في الوقت الحالي، لا يتوفر Grok في أي مكان، ولكن من المفترض أن يكون متاحًا في الأشهر المقبلة. يمكن فقط لمستخدمين أمريكيين محددين اختباره في الوقت الحالي.
لغة سامسونج غاوس
هذه واحدة من أحدث الوافدين:لغة سامسونج غاوس. إن LLM هو الذي سيعمل على تشغيل Galaxy AI،المساعد الذي سيتم دمجه في هواتف Galaxy الذكية القادمة. تم تسميته على اسم عالم الرياضيات كارل فريدريش غاوس، الذي تُستخدم نظريته للتوزيع الطبيعي في التعلم الآلي.
تتيح لك Gauss Language تنفيذ مهام مختلفة: الترجمة، وتلخيص المستندات، وكتابة رسائل البريد الإلكتروني، وما إلى ذلك. وهناك إصدار مخصص للمساعدة في برمجة الكمبيوتر، وهو Samsung Gauss Code. مع ذلك،سامسونجولم تكشف عن أمثلة لقدرات نصها الجديد AI.
تيتان: نموذج أمازون المخصص للمحترفين
كان ذلك في إبريل الماضيقدمت أمازون تيتان، نموذج لغة محلي الصنع، قادر بشكل أساسي على فهم النص. يمكنه بالتأكيد توليدها، لكن لا يمكن استخدامها على هذا النحو.أمازونتبيعه أكثر كأساس للشركات الراغبة في إنشاء الذكاء الاصطناعي الخاص بها القائم على النصوص. التوفر حاليًا محدود، لكنه سيتوسع في الأشهر المقبلة.
ل'اليكسا إل إل إمموجود أيضًا مؤخرًا: إنه نموذج اللغة الذي أنشأته أمازون لتحقيق المزيد “ذكي» ابنمساعد صوتي. هذه النسخة الجديدة مناليكساسيكون متاحًا اعتبارًا من عام 2024 مسبقًا.
وينبغي أن تظهر نماذج أخرى في الأشهر المقبلة.رفعت جوجل الحجاب بشكل خاص عن برج الجوزاءولا يزال بوسع اللاعبين الآخرين أن يبرزوا بحلول بديلة.
