ما المقصود من معالجة اللغة الطبيعية (NLP)؟

تم تحديد معالجة اللغة الطبيعية (NLP)

معالجة اللغة الطبيعية (NLP) هي فرع من فروع الذكاء الاصطناعي (AI) والذي يتيح لأجهزة الكمبيوتر فهم اللغة البشرية وإنشائها ومعالجتها. معالجة اللغة الطبيعية لديها القدرة على استجواب البيانات مع نص اللغة الطبيعية أو الصوت. ويطلق عليه أيضًا اسم "اللغة". قد يتفاعل معظم المستهلكين مع معالجة اللغة الطبيعية دون إدراك ذلك. على سبيل المثال، NLP هي التكنولوجيا الأساسية وراء المساعدين الافتراضيين، مثل Oracle Digital Assistant (ODA) أو Siri أو Cortana أو Alexa. عندما نطرح أسئلة عن هؤلاء المساعدين الافتراضيين ، فإن NLP هو ما يتيح لهم فهم طلب المستخدم فقط ، ولكن أيضًا الاستجابة باللغة الطبيعية. ينطبق NLP على النص المكتوب والكلام، ويمكن تطبيقه على جميع اللغات البشرية. ومن الأمثلة الأخرى على الأدوات التي تدعمها NLP البحث على شبكة الإنترنت، وتصفية البريد الإلكتروني العشوائي، والترجمة التلقائية للنص أو الكلام، وتلخيص المستندات، وتحليل المشاعر، والتدقيق النحوي/الإملائي. على سبيل المثال، يمكن لبعض برامج البريد الإلكتروني اقتراح رد مناسب تلقائيًا على رسالة تستند إلى محتواها-تستخدم هذه البرامج معالجة اللغة الطبيعية لقراءة رسالتك وتحليلها والاستجابة لها.

هناك العديد من المصطلحات الأخرى التي تترادف تقريبًا مع معالجة اللغة الطبيعية. يشير فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG) إلى استخدام أجهزة الكمبيوتر لفهم وإنتاج اللغة البشرية على التوالي. لدى NLG القدرة على توفير وصف شفهي لما حدث. ويطلق على ذلك أيضًا اسم "اللغة الخارجية" عن طريق تلخيص معلومات ذات معنى في نص باستخدام مفهوم يعرف باسم "رسم الرسومات".

في الممارسة العملية، تستخدم NLU لتعني NLP. فهم أجهزة الكمبيوتر لهيكل ومعنى جميع اللغات البشرية، مما يسمح للمطورين والمستخدمين بالتفاعل مع أجهزة الكمبيوتر باستخدام الجمل الطبيعية والاتصالات. علم اللغة الحاسوبي (CL) هو المجال العلمي الذي يدرس الجوانب الحسابية للغة البشرية ، في حين أن NLP هو الانضباط الهندسي المتعلق ببناء البيانات الاصطناعية التي تفهم اللغة البشرية أو تولدها أو تتلاعب بها.

بدأ البحث عن NLP بعد فترة وجيزة من اختراع أجهزة الكمبيوتر الرقمية في الخمسينيات، ويستند NLP على كل من اللغويات والذكاء الاصطناعي. ومع ذلك ، تم دعم الإنجازات الرئيسية في السنوات القليلة الماضية من خلال التعلم الآلي ، وهو فرع من الذكاء الاصطناعي الذي يطور الأنظمة التي تتعلم وتعميم من البيانات. التعلم العميق هو نوع من التعلم الآلي الذي يمكنه تعلم أنماط معقدة للغاية من مجموعات البيانات الكبيرة، مما يعني أنه مناسب بشكل مثالي لتعلم تعقيدات اللغة الطبيعية من مجموعات البيانات التي يتم الحصول عليها من الويب.

تطبيقات معالجة اللغة الطبيعية

أتمتة المهام الروتينية: يمكن لروبوتات المحادثة المدعومة من NLP معالجة عدد كبير من المهام الروتينية التي يعالجها الوكلاء البشريون اليوم، مما يؤدي إلى تحرير الموظفين للعمل على مهام أكثر تحديًا ومثيرة للاهتمام. على سبيل المثال، يمكن لروبوتات المحادثة والمساعدون الرقميون التعرف على مجموعة واسعة من طلبات المستخدمين، ومطابقتها مع الإدخال المناسب في قاعدة بيانات الشركة، وصياغة استجابة مناسبة للمستخدم.

تحسين البحث: يمكن أن تتحسن معالجة اللغة الطبيعية عند البحث عن مطابقة الكلمات الأساسية للمستند واسترجاع الأسئلة المطروحة بشكل متكرر من خلال تفكيك مستشعرات الكلمات استنادًا إلى السياق (على سبيل المثال، "شركة النقل" تعني شيئًا مختلفًا في السياقات الطبية الحيوية والصناعية)، ومطابقة المترادفات (على سبيل المثال، استرجاع المستندات التي تشير إلى "سيارة" نظرًا للبحث عن "محمول آلي")، ومع أخذ التباين المورفولوجي في الاعتبار (وهو أمر مهم للاستعلامات غير الإنجليزية). يمكن أن تعمل أنظمة البحث الأكاديمية الفعالة التي تدعم NLP على تحسين الوصول بشكل كبير إلى البحوث المتطورة ذات الصلة للأطباء والمحامين وغيرهم من المتخصصين.

تحسين محرك البحث: إن معالجة اللغة الطبيعية هي أداة رائعة للحصول على تصنيف أعمالك أعلى في البحث عبر الإنترنت من خلال تحليل عمليات البحث لتحسين المحتوى الخاص بك. تستخدم محركات البحث معالجة اللغة الطبيعية لترتيب نتائجها - ومعرفة كيفية استخدام هذه التقنيات بفعالية يجعل من السهل تصنيفها فوق منافسيك. وسيؤدي ذلك إلى زيادة إمكانية رؤية شركتك.

تحليل وتنظيم مجموعات كبيرة من المستندات: تعمل تقنيات معالجة اللغة الطبيعية مثل تجميع المستندات ونمذجة الموضوعات على تبسيط مهمة فهم تنوع المحتوى في مجموعات المستندات الكبيرة، مثل تقارير الشركات أو المقالات الإخبارية أو المستندات العلمية. وغالبا ما تستخدم هذه التقنيات في أغراض الاكتشاف القانوني.

تحليلات الوسائط الاجتماعية: يمكن أن يحلل NLP مراجعات العملاء وتعليقات الوسائط الاجتماعية لفهم كميات كبيرة من المعلومات بشكل أفضل. يحدد تحليل المشاعر التعليقات الإيجابية والسلبية في تدفق من تعليقات الوسائط الاجتماعية، مما يوفر مقياسًا مباشرًا لمشاعر العملاء في الوقت الفعلي. وهذا يمكن أن يؤدي إلى دفع مبالغ كبيرة أسفل الخط، مثل زيادة رضا العملاء والإيرادات.

رؤى السوق: مع العمل على تحليل لغة عملاء شركتك، سيكون لديك التعامل بشكل أفضل مع ما يريدونه، بالإضافة إلى فكرة أفضل عن كيفية التواصل معهم. يكتشف تحليل المشاعر الموجه للمنظور المشاعر المرتبطة بجوانب أو منتجات معينة في الوسائط الاجتماعية (على سبيل المثال، "لوحة المفاتيح كبيرة، ولكن الشاشة شديدة الخفوت")، مما يوفر معلومات قابلة للتنفيذ بشكل مباشر لتصميم المنتج وتسويقه.

إدارة المحتوى: إذا كانت أعمالك تجذب كميات كبيرة من تعليقات المستخدمين أو العملاء، فإن NLP تمكنك من ضبط ما يقال من أجل الحفاظ على الجودة والتكيف من خلال تحليل الكلمات ليس فقط، ولكن أيضًا نغمة ونية التعليقات.

الصناعات التي تستخدم معالجة اللغة الطبيعية

تعمل معالجة اللغة الطبيعية على تبسيط وأتمتة مجموعة واسعة من عمليات الأعمال، وخاصة تلك التي تتضمن كميات كبيرة من النصوص غير المهيكلة مثل رسائل البريد الإلكتروني والاستطلاعات ومحادثات الوسائط الاجتماعية وغير ذلك الكثير. مع معالجة اللغة الطبيعية، يمكن للشركات تحليل بياناتها بشكل أفضل للمساعدة في اتخاذ القرارات الصحيحة. فيما يلي بعض الأمثلة على التطبيقات العملية لـ NLP:

• الرعاية الصحية: مع انتقال أنظمة الرعاية الصحية في جميع أنحاء العالم إلى السجلات الطبية الإلكترونية، فإنها تواجه كميات كبيرة من البيانات غير المنظمة. يمكن استخدام معالجة اللغة الطبيعية لتحليل والحصول على رؤى جديدة في السجلات الصحية.
• قانوني: للتحضير لقضية ما، يجب على المحامين في كثير من الأحيان قضاء ساعات في فحص مجموعات كبيرة من المستندات والبحث عن مواد ذات صلة بقضية معينة. يمكن لتقنية NLP أتمتة عملية الاكتشاف القانوني ، والتخلص من كل من الوقت والخطأ البشري من خلال التحريك عبر كميات كبيرة من الوثائق.
• الإدارة المالية: يتحرك العالم المالي بسرعة كبيرة، وأية ميزة تنافسية مهمة. في المجال المالي ، يستخدم التجار تقنية NLP لتعدين المعلومات تلقائيًا من مستندات الشركات والإصدارات الإخبارية لاستخراج المعلومات ذات الصلة بحافظاتهم وقراراتهم التجارية.
• خدمة العملاء: تستخدم العديد من الشركات الكبيرة المساعدين الافتراضيين أو روبوتات المحادثة للمساعدة في الإجابة على استفسارات العملاء الأساسية وطلبات المعلومات (مثل الأسئلة الشائعة)، مع طرح الأسئلة المعقدة على البشر عند الضرورة.
• التأمين: تستخدم شركات التأمين الكبيرة معالجة اللغة الطبيعية للتنقل عبر المستندات والتقارير المتعلقة بالمطالبات، في محاولة لتبسيط طريقة إنجاز الأعمال.

نظرة عامة على تقنية معالجة اللغة الطبيعية

نماذج التعلم الآلي لـ NLP: لقد ذكرنا سابقًا أن معالجة اللغة الطبيعية الحديثة تعتمد بشكل كبير على نهج الذكاء الاصطناعي المسمى التعلم الآلي. يجعل التعلم الآلي التنبؤات من خلال تعميم الأمثلة في مجموعة بيانات. تسمى مجموعة البيانات هذه بيانات التدريب، وتدرب خوارزميات التعلم الآلي على بيانات التدريب هذه لإنشاء نموذج تعلم آلي ينجز مهمة مستهدفة.

على سبيل المثال، تتكون بيانات تدريب تحليل المشاعر من جمل مع مشاعرهم (على سبيل المثال، المشاعر الإيجابية أو السلبية أو المحايدة). تقرأ خوارزمية التعلم الآلي مجموعة البيانات هذه وتنتج نموذجًا يأخذ الجمل كمدخلات ويُرجع مشاعرهم. يُطلق على هذا النوع من النماذج، الذي يأخذ الجمل أو المستندات كمدخلات ويُرجع تسمية لتلك المدخلات، نموذج تصنيف مستند. يمكن أيضًا استخدام تصنيفات المستندات لتصنيف المستندات حسب الموضوعات التي تذكرها (مثل الرياضة والتمويل والسياسة وما إلى ذلك).

يتم استخدام نوع آخر من النماذج للتعرف على الكيانات وتصنيفها في المستندات. لكل كلمة في مستند، يتنبأ النموذج بما إذا كانت هذه الكلمة جزءًا من الكيان المذكور، وإذا كان الأمر كذلك، فما نوع الكيان المعني. على سبيل المثال، في "أسهم XYZ Corp المتداولة مقابل 28 دولارًا أمس"، "XYZ Corp" هو كيان شركة، و"28 دولارًا" هو مبلغ عملة، و"الأمس" هو تاريخ. بيانات التدريب للتعرف على الكيانات هي مجموعة من النصوص، حيث تُسمى كل كلمة بأنواع الكيانات التي تشير إليها الكلمة. يُطلق على هذا النوع من النماذج، الذي ينتج عنه تسمية لكل كلمة في المدخلات، نموذج تسمية تسلسل.

التسلسل إلى نماذج التسلسل عبارة عن إضافة حديثة للغاية إلى مجموعة النماذج المستخدمة في معالجة اللغة الطبيعية. يأخذ نموذج التسلسل إلى التسلسل (أو seq2seq) جملة كاملة أو مستندًا كمدخلات (كما في مصنف المستند) ولكنه ينتج جملة أو تسلسل آخر (على سبيل المثال، برنامج كمبيوتر) كمخرجات. (ينتج مصنف المستند رمزًا واحدًا فقط كمخرجات). ومن أمثلة تطبيقات نماذج seq2seq الترجمة الآلية، التي تأخذ على سبيل المثال جملة إنجليزية كمدخلات وترجع جملتها الفرنسية كمخرجات؛ وتلخيص المستندات (حيث تكون المخرجات عبارة عن ملخص للمدخلات)؛ وتحليل دلالي (حيث تكون المدخلات استعلامًا أو طلبًا باللغة الإنجليزية، والمخرجات عبارة عن برنامج كمبيوتر ينفذ ذلك الطلب).

التعلم العميق والنماذج التي تم التدريب عليها ونقل التعلم: التعلم العميق هو النوع الأكثر استخدامًا من التعلم الآلي في معالجة اللغة الطبيعية. في الثمانينات ، طور الباحثون شبكات عصبية ، حيث يتم دمج عدد كبير من نماذج التعلم الآلي البدائية في شبكة واحدة: من خلال القياس مع أدمغة ، تسمى نماذج التعلم الآلي البسيطة أحيانًا "القرآن". يتم ترتيب هذه الخلايا العصبية في طبقات، وشبكة العصبية العميقة هي واحدة مع العديد من الطبقات. التعلم العميق هو التعلم الآلي باستخدام نماذج الشبكات العصبية العميقة.

ونظرًا لتعقيداتها، فإنها تتطلب عمومًا الكثير من البيانات لتدريب شبكة عصبية عميقة، كما أنها تستغرق الكثير من الوقت والطاقة الحاسوبية. يتم تدريب نماذج NLP للشبكة العصبية العميقة الحديثة من مجموعة متنوعة من المصادر ، مثل جميع ويكيبيديا والبيانات المبعثرة من الويب. قد تكون بيانات التدريب بحجم 10 جيجا بايت أو أكثر، وقد يستغرق الأمر أسبوعًا أو أكثر في مجموعة عالية الأداء لتدريب الشبكة العصبية العميقة. (يجد الباحثون أن التدريب على نماذج أكثر عمقًا من مجموعات البيانات الأكبر أداءً أعلى ، لذلك يوجد حاليًا سباق لتدريب نماذج أكبر وأكبر من مجموعات البيانات الأكبر والأكبر).

ويبدو أن البيانات المتردية ومتطلبات الحوسبة للشبكات العصبية العميقة ستحد بشدة من فائدتها. ومع ذلك ، يتيح تعليم النقل شبكة عصبية عميقة مدربة لمزيد من التدريب لتحقيق مهمة جديدة مع بيانات تدريب أقل بكثير وجهد حوسبة. ويسمى أبسط نوع من تعليم النقل الضبط الدقيق. وهي تتألف ببساطة من التدريب الأول للنموذج على مجموعة بيانات عامة كبيرة (على سبيل المثال، ويكيبيديا) ثم المزيد من التدريب ("التوليف الدقيق") النموذج على مجموعة بيانات أصغر بكثير خاصة بالمهمة التي تحمل اسم المهمة المستهدفة الفعلية. قد يكون من المستغرب أن تكون مجموعات البيانات الدقيقة صغيرة للغاية، وربما تحتوي فقط على مئات أو حتى عشرات من أمثلة التدريب، والتدريب الدقيق يتطلب دقائق فقط على وحدة معالجة مركزية واحدة. يسهّل نقل التعلم نشر نماذج التعلم العميق في جميع أنحاء المؤسسة.

يوجد الآن نظام بيئي كامل من مقدمي الخدمات يقدمون نماذج تعلم عميقة تم تدريبهم على مجموعات مختلفة من اللغات ومجموعات البيانات والمهام التظاهرية. ويمكن تحميل هذه النماذج المدربة مسبقا وضبطها لمجموعة واسعة من المهام المستهدفة المختلفة.

عينة من تقنيات المعالجة المسبقة لـ NLP

المقطع: يقوم التحويل إلى مقاطع بتقسيم النص الأولي (على سبيل المثال، جملة أو مستند) إلى تسلسل من المقاطع، مثل الكلمات أو أجزاء الكلمات الفرعية. غالبًا ما تكون عملية التحويل إلى مقاطع هي الخطوة الأولى في مسار معالجة معالجة المعالجة الطبيعية. عادة ما تكون المقاطع متسلسلة متكررة من النص يتم التعامل معها كوحدات ذرية في المعالجة اللاحقة. قد تكون عبارة عن كلمات أو وحدات كلمات فرعية تُسمى المورفيم (على سبيل المثال، بادئات مثل "غير" أو لاحقة مثل "-ing" باللغة الإنجليزية) أو حتى أحرف فردية.

نماذج فئة الكلمات: تتعامل نماذج حقيبة الكلمات مع المستندات على أنها مجموعات غير مرتبة من المقاطع أو الكلمات (كيس مثل مجموعة، باستثناء أنها تتتبع عدد مرات ظهور كل عنصر). نظرًا لأنها تتجاهل ترتيب الكلمات تمامًا ، فإن نماذج حقيبة الكلمات ستخلط بين جملة مثل "رجل عضات الكلاب" و "رجل لدغات". ومع ذلك ، غالبًا ما تستخدم نماذج حقيبة الكلمات لأسباب تتعلق بالكفاءة في مهام استرداد المعلومات الكبيرة مثل محركات البحث. يمكنها إنتاج نتائج قريبة من أحدث مع وثائق أطول.

إيقاف إزالة الكلمة: "إيقاف الكلمة" هو مقطع يتم تجاهله في المعالجة اللاحقة. عادة ما تكون كلمات قصيرة ومتكررة مثل "a" أو "the" أو "an". غالبًا ما تتجاهل نماذج حقيبة الكلمات ومحركات البحث كلمات التوقف لتقليل وقت المعالجة وتخزينها داخل قاعدة البيانات. عادة ما تأخذ الشبكات العصبية العميقة ترتيب الكلمات في الاعتبار (أي أنها ليست نماذج حقيبة الكلمات) ولا توقف إزالة الكلمات لأن كلمات التوقف يمكن أن تنقل الفروق الدقيقة في المعنى (على سبيل المثال ، "تم فقدان الحزمة" و "فقد حزمة" لا تعني نفس الشيء ، على الرغم من أنها هي نفسها بعد إيقاف إزالة الكلمة) .

الدمجة والتحول: تعتبر مورفيميس أصغر عناصر لغة تحمل معنى. عادة ما تكون الأشكال أصغر من الكلمات. على سبيل المثال، تتكون "revisited" من البادئة "re-"، و"visit" الجذرية، واللاحقة العشرة الماضية "-ed". ترسم الكلمات إلى أشكالها الجذرية (على سبيل المثال، "إعادة زيارة" + PAST). يعد التشبيهات والتناقض خطوات حاسمة في نماذج التعلم قبل العميق ، ولكن نماذج التعلم العميق تتعلم بشكل عام هذه الانتظامات من بياناتها التدريبية ، لذلك لا تتطلب خطوات صريحة لوقف أو التحوّل.

وضع علامات على جزء من الكلام وتحليل الصياغة: وضع علامة على جزء من الكلام (PoS) هو عملية وضع علامة على كل كلمة في جزء من الكلام (مثل الاسم، الفعل، الصفة، إلخ). يحدد المحلل اللغوي الصياغة كيفية دمج الكلمات في صياغة العبارات والفقرات والجمل بأكملها. PoS العلامة هي مهمة تسمية تسلسل، والتحليل الصوتي هو نوع ممتد من مهمة تسمية التسلسل، وNntworks العصبية العميقة هي التكنولوجيا الحديثة لكل من تمييز PoS وتحليل الصياغة. قبل التعلم العميق ، كان وضع العلامات PoS وتحليل الصياغة خطوات أساسية في فهم الجملة. ومع ذلك ، فإن نماذج التعلم العميق الحديثة NLP تستفيد بشكل عام فقط بشكل هامشي (إذا كان على الإطلاق) من PoS أو معلومات الصياغة ، لذلك لا يتم استخدام علامات PoS أو تحليل صوتي على نطاق واسع في التعلم العميق NLP.

لغات برمجة NLP

Python:

تتوفر مكتبات NLP ومجموعات الأدوات بشكل عام في Python ، ولهذا السبب تم تطوير غالبية مشاريع NLP في Python. تسهل بيئة التطوير التفاعلية لـ Python تطوير التعليمات البرمجية الجديدة واختبارها.

Java وC++:

لمعالجة كميات كبيرة من البيانات، غالبًا ما يُفضل استخدام C++ وJava لأنها يمكن أن تدعم تعليمة برمجية أكثر كفاءة.

المكتبات وبيئات التطوير في هولندا

فيما يلي أمثلة لبعض مكتبات NLP الشائعة.

TensorFlow وPyTorch: هاتان هما أكثر مجموعات أدوات التعلم العميق شيوعًا. وهي متاحة بحرية للأغراض البحثية والتجارية. ولئن كانت تدعم لغات متعددة، فإن لغتهم الأساسية هي Python. فهي تأتي مع مكتبات كبيرة من المكونات التي تم إنشاؤها مسبقًا، لذا فغالبًا ما تتطلب نماذج معالجة اللغة الطبيعية المتطورة جدًا توصيل هذه المكونات ببعضها البعض. كما أنها تدعم البنية الأساسية عالية الأداء للحوسبة، مثل مجموعات من الآلات المزودة بمسرعات وحدة معالجة رسومية (GPU). لديهم وثائق ممتازة والدروس.

AllenNLP: هذه مكتبة من مكونات معالجة اللغة الطبيعية عالية المستوى (على سبيل المثال، روبوتات المحادثة البسيطة) التي يتم تنفيذها في PyTorch وPython. الوثائق ممتازة.

HuggingFace: تقوم هذه الشركة بتوزيع مئات من نماذج معالجة اللغة الطبيعية للتعلم العميق المختلفة التي تم تدريبها مسبقًا، بالإضافة إلى مجموعة أدوات برامج التوصيل والتشغيل في TensorFlow وPyTorch التي تمكن المطورين من التقييم السريع لمدى جودة أداء النماذج المختلفة التي تم التدريب عليها في مهامهم المحددة.

Spark NLP: Spark NLP هي مكتبة معالجة نصية مفتوحة المصدر لمعالجة اللغة الطبيعية المتقدمة للغات البرمجة Python وJava وScala. هدفها هو توفير واجهة برمجة التطبيقات (API) لخطوط أنابيب معالجة اللغة الطبيعية. وهو يقدم نماذج الشبكة العصبية المدربة، وخطوط الأنابيب، وحفلات الزفاف، فضلا عن دعم تدريب النماذج المخصصة.

SpaCy معالجة اللغة الطبيعية: SpaCy هي مكتبة مجانية ومفتوحة المصدر لمعالجة ملفات NLP المتقدمة في Python، وقد تم تصميمها خصيصًا للمساعدة في إنشاء التطبيقات التي يمكنها معالجة كميات كبيرة من النصوص وفهمها. ومن المعروف أن SpaCy بديهية للغاية ويمكنها التعامل مع العديد من المهام اللازمة في مشاريع معالجة اللغة الطبيعية المشتركة.

باختصار، تعتبر معالجة اللغة الطبيعية مجالًا مثيرًا من مجالات تطوير الذكاء الاصطناعي التي تغذي مجموعة واسعة من المنتجات الجديدة مثل محركات البحث وروبوتات المحادثة وأنظمة التوصية وأنظمة الكلام إلى النص. مع استمرار الوصلات البشرية مع أجهزة الكمبيوتر في الابتعاد عن الأزرار والنماذج واللغات الخاصة بالمجال ، سيستمر الطلب على النمو في معالجة اللغة الطبيعية في الزيادة. ولهذا السبب، تلتزم Oracle Cloud Infrastructure بتوفير أداء محلي مع أشكال وأدوات الحوسبة المُحسّنة للأداء من أجل معالجة اللغة الطبيعية. توفر Oracle Cloud Infrastructure صفيفًا من أشكال وحدات معالجة الرسومات (GPU) التي يمكنك نشرها في دقائق لبدء التجربة مع NLP.