محرك البحث ماهر

[الدكتور داود داود]

محرك البحث ماهر هو محرك لفهرسة و استرجاع الوثائق العربية، و يتميز هذا المحرك بقدرته الفائقة على الربط بين الأشكال المختلفة التي قد تظهر بها المفردة العربية نتيجة للتنوع والغنى الصرفي والاشتقاقي وما يتبعها من تأثيرات إملائية و إعرابية.
فمثلا هذه الصيغ المختلفة: تستدعي، سيستدعي, واستدعيت, استدعى, استدعوه, استدعت, استدعي, يستدعي:يستدعي، تستدعيه اضافة الى واستدعاء, استدعائه, استدعاؤه, استدعاء, الاستدعاء ترتبط بمفهوم واحد.
لذلك يصبح من شروط البحث بدقة في اللغة العربية قدرة محرك البحث على الربط بين الأشكال الظاهرية ،و في المقابل فأن فشل محرك البحث أو عدم قدرته على الربط بين هذه الأشكال المختلفة يؤدي حتما الى قلة الدقة و حجم استرجاع المعلومات.
إن أهم ميزة لمحرك البحث ماهر قدرته على التعامل مع الخصائص اللغوية للغة العربية وإزالة الإختلافات الظاهرية بين هذه المفردات والقيام بالفهرسة و الاسترجاع بناء على ذلك.
ولتوضيح هذه الفكرة فإن البحث عن كلمة "دعاء" في صحيح البخاري باستخدام محرك البحث ماهر، يتم استرجاع 433 حديثا شريفا لها علاقة بهذا المفهوم ، في المقابل فإن البحث عن نفس الكلمة بالطريقة التقليدية (التطابق) تؤدي إلى استرجاع 14 حديثا فقط .
هنا يصبح الفرق واضحا، مما يؤدي إلى حرمان الباحثين (في حال استخدام طرق غير ملائمة) من معلومات قيمة قد يكون بحاجة لها ولكن حرم منها لاستخدامه طرق بحث لا تلائم طبيعة اللغة العربية.
أرجو من الأخوة تجريبه على الموقع التالي:

https://www.maherinfo.com

[s___s]

أهلا وسهلا بك يا د. داود أولا في موقع الجمعية، بما أنه هذه أول مداخلة لك
وشكرا جزيلا على هذه المعلومة عن هذا الموقع والذي به إضافة لغوية جميلة من خصائص اللغة العربية والتي لا ينتبه لها من لم يدرس اللغة العربية وفق مفاهيمها وخصائصها التي تتفرّد بها
أهلا وسهلا ومرحبا

[s___s]

لو تختبر البرنامج بالكلمة التالية صهب، ثم الكلمة التالية صهيب ولاحظ الفرق بين النتيجتين، أتمنى أن تكون هذه الملاحظة مفيدة لك في تطوير البرنامج نحو الأفضل، وربما يكون نقاشنا تحت العنوان والرابط التالي مفيد في جوانب أخرى


أول محلل صرفي للعربية بإشراف المنظمة العربية للثقافة والعلوم

http://www.atinternational.org/forums/showthread.php?t=7516

ما رأيكم دام فضلكم؟

[الدكتور داود داود]

ماهر لايستخدم الجذر كأساس للفهرسة والبحث لأسباب معروفة، كما لا يعتمد التحليل الصرفي بطريقته الكلاسيكية.
ماهر يعمل على مستويين :

Level 1 : Morphological variations linked to the internal structure of words, by virtue of which a term can appear in different forms (prefixes, suffixes, infixes, spelling variations). For instance: تستدعيه, تستدعي, سيستدعي, واستدعيت, استدعى, استدعوه, استدعت, استدعي, يستدعي, يستدعى are reduced to “استدعى” which is considered to be identical for all these morphologically and conceptually related terms.



Level 2: MAHER tries to expand the above conflation class to accommodate semantically related derivatives: واستدعاء, استدعائه, استدعاؤه, استدعاء, الاستدعاء are also reduced to “استدعى” .

عندي سؤال، ما هي سرعة المحلل الصرفي الذي تحدثت عن؟ مثل كم من الوقت يحتاج لمعالجة صفحة (خمسون سطرا)؟

[Aratype]

بارك الله فيك، هذا موضوع مهم بلاشك، وخاصة أنَّ أهل هذا المحرك بيننا

سؤال أولي، هل يعمل محرك البحث مع نظام "جملة" joomla ؟

[s___s]

ماهر لايستخدم الجذر كأساس للفهرسة والبحث لأسباب معروفة، كما لا يعتمد التحليل الصرفي بطريقته الكلاسيكية.
ماهر يعمل على مستويين :

level 1 : Morphological variations linked to the internal structure of words, by virtue of which a term can appear in different forms (prefixes, suffixes, infixes, spelling variations). For instance: تستدعيه, تستدعي, سيستدعي, واستدعيت, استدعى, استدعوه, استدعت, استدعي, يستدعي, يستدعى are reduced to “استدعى” which is considered to be identical for all these morphologically and conceptually related terms.

level 2: Maher tries to expand the above conflation class to accommodate semantically related derivatives: واستدعاء, استدعائه, استدعاؤه, استدعاء, الاستدعاء are also reduced to “استدعى” .

عندي سؤال، ما هي سرعة المحلل الصرفي الذي تحدثت عن؟ مثل كم من الوقت يحتاج لمعالجة صفحة (خمسون سطرا)؟

بالنسبة لأي شيء عن مواصفات المحلّل الصرفي الذي تكلمنا عنه في الموضوع الآخر، فأظن حامد السحلي يستطيع الإجابة عن سؤالك


ولكن عفوا د. داود هل يمكن أن تحدد ما هي الأسباب المعروفة التي تكلمت عنها بالنسبة للجذر والفهرسة؟ فأنا مثلا لا أعرف ما عنيت بها؟!!! مع الشكر الجزيل مقدما

ما رأيكم دام فضلكم؟

[حامد السحلي]

السلام عليكم ورحمة الله

أعتذر أني لم أجرب المحرك بما يكفي واكتفيت فقط ببعض الأمثلة التي تمت مناقشتها هنا أو في المحلل الصرفي
وللمقارنة طلبت من المحرك البحث عن "ضرب زوجة" ثم "ضرب زوجه" "ضرب امرأته" ولم يتمكن المحرك من إحضار نص عن ضرب الزوجة أو المرأة إلا في الحالة الأخيرة أي أن المحرك لا يدرس العلاقة بين الكلمات المدخلة وإنما ينشئ بحثا لكل كلمة ثم يقاطعها
أتمنى من الدكتور داوود شرحا ولو مجملا عن آلية عمل المحرك كي يمكننا إجراء مقارنات صحيحة

أما بالنسبة لسؤال الدكتور أسامة فالمحرك موضوع على صفحة موقع جملة أما مدى ارتباطه بجملة وقدرته على جلب fetch قاعدة بياناتها أو صفحاتها فهذا ما لا أعلمه ولكن هناك برمجيات حرة قوية ومتعددة لهذه الغاية يمكنها فهرسة موقع أو مواقع على أساس مدخلات معينة وببساطة يمكنك أن تبحث في سورس فورغ عن spider

[الدكتور داود داود]

بالنسبة لأي شيء عن مواصفات المحلّل الصرفي الذي تكلمنا عنه في الموضوع الآخر، فأظن حامد السحلي يستطيع الإجابة عن سؤالك


ولكن عفوا د. داود هل يمكن أن تحدد ما هي الأسباب المعروفة التي تكلمت عنها بالنسبة للجذر والفهرسة؟ فأنا مثلا لا أعرف ما عنيت بها؟!!! مع الشكر الجزيل مقدما

ما رأيكم دام فضلكم؟

هناك نقاش كبير حول هذا استخدام الجذور في البحث والاسترجاع، وشخصيا أنا أميل لعدم استخدامها للأسباب التالية:
1- قصد و قصيدة مختلفتين دلاليا، و لكن لهم نفس الجذر
2- التعامل مع الأسماء الجامدة فاستخراج جذر "بوصلة" يؤدي إلى نتائج خاطئة حيث يربطها مع الكلمات التي لها الجذر "وصل"
3- عملية استخراج الجذر من المفردة بشكل عام بها نسبة خطأ عالية نسبيا
4- عملية استخراج الجذر مكلفة حاسوبيا (وقت المعالجة"

بشكل عام استخدام الجذر سيزيد من الاسترجاع Recall و سيقلل من الدقة Precision

[الدكتور داود داود]

بارك الله فيك، هذا موضوع مهم بلاشك، وخاصة أنَّ أهل هذا المحرك بيننا

سؤال أولي، هل يعمل محرك البحث مع نظام "جملة" joomla ؟

بالتأكيد

[الدكتور داود داود]

السلام عليكم ورحمة الله

أعتذر أني لم أجرب المحرك بما يكفي واكتفيت فقط ببعض الأمثلة التي تمت مناقشتها هنا أو في المحلل الصرفي
وللمقارنة طلبت من المحرك البحث عن "ضرب زوجة" ثم "ضرب زوجه" "ضرب امرأته" ولم يتمكن المحرك من إحضار نص عن ضرب الزوجة أو المرأة إلا في الحالة الأخيرة أي أن المحرك لا يدرس العلاقة بين الكلمات المدخلة وإنما ينشئ بحثا لكل كلمة ثم يقاطعها
أتمنى من الدكتور داوود شرحا ولو مجملا عن آلية عمل المحرك كي يمكننا إجراء مقارنات صحيحة

أما بالنسبة لسؤال الدكتور أسامة فالمحرك موضوع على صفحة موقع جملة أما مدى ارتباطه بجملة وقدرته على جلب fetch قاعدة بياناتها أو صفحاتها فهذا ما لا أعلمه ولكن هناك برمجيات حرة قوية ومتعددة لهذه الغاية يمكنها فهرسة موقع أو مواقع على أساس مدخلات معينة وببساطة يمكنك أن تبحث في سورس فورغ عن spider

ماهر يعمل كأي نظام حاسوبي لاسترجاع المعلومات، من هنا لا أرى أي مشكلة في المثال الذي أوردته.
والآن دعني أورد بعض المقاييس الكمية التي قد توضح كفاءة ماهر في مجال الفهرسة :indexing
1- معامل الربط(Number of words per conflation class )
2- معامل الضغط (Index Compression)
فعند فهرسة مكنزcorpus يحتوي على 70000 كلمة مختلفة حقق ماهر النتائج التالية:
معامل الربط : 7.5
معامل الضغط : 0.87
وهي نتيجة ممتازة جدا إذا علمت أن light 10 stemmer حقق 2، 0.5 بالترتيب
عودة للمحلل الصرفي كيف لي أن أجربه، حيث أن لي اهتمامات بهذا الموضوع، فقد قمت ببناء واحد أثناء عملي في مشروع Universal Networking Language في اليابان.

[حامد السحلي]

شكرا للدكتور داود

http://groups.google.com/group/avrst/files?hl=ar

هنا تجد النسخة الأخيرة من محلل الخليل
وهنا تجد عرضا للمحلل التابع لقطرب

http://arabicmorphoanalyzer.appspot.com/main/

وأستغل هذه الفرصة لأشجعك على إدراج بياناتك في قاعدة بيانات المهتمين بحوسبة العربية هنا

http://e3rab.com/moodle/mod/data/view.php?id=11

[s___s]

هناك نقاش كبير حول هذا استخدام الجذور في البحث والاسترجاع، وشخصيا أنا أميل لعدم استخدامها للأسباب التالية:

1- قصد و قصيدة مختلفتين دلاليا، و لكن لهم نفس الجذر
2- التعامل مع الأسماء الجامدة فاستخراج جذر "بوصلة" يؤدي إلى نتائج خاطئة حيث يربطها مع الكلمات التي لها الجذر "وصل"
3- عملية استخراج الجذر من المفردة بشكل عام بها نسبة خطأ عالية نسبيا
4- عملية استخراج الجذر مكلفة حاسوبيا (وقت المعالجة"

بشكل عام استخدام الجذر سيزيد من الاسترجاع Recall و سيقلل من الدقة Precision

شكرا جزيلا، إن كان كذلك، إذن لو أردنا تعريف طريقة عمل ماهر، هي في أنه اعتمد على مفهوم اللواصق واللواحق ،وهذا المفهوم يشمل اللغات غير العربية كذلك، وكما تبين أنه لا يغطي كل احتياجات اللغة العربية كما لو كان مبني على الجذر واشتقاقاته.

بالمناسبة في النصف الثاني من التسعينات من القرن الماضي كانت مؤسسة الإتصالات الإماراتية، قد وفرت خدمة البحّار على الشابكة (الإنترنت)
http://portal.ahram.org.eg/Right.asp?ID=130

وهي النسخة المعرّبة وفق احتياجات اللغة العربية المبنيّة على الجذر واشتقاقاته لما كان يعرف ألتا فيستا بالتعاون مع شركة أبتك، وكان أحد القائمين على المشروع زميلي في الدراسة الله يذكره بالخير (يوسف يغمور) وهو كذلك من نفس مدينة د. عبدالرحمن السليمان سبحان الله، كما هو حال استاذي د. تمّام عَدِيّ واستاذ استاذي د. نِزار قصّاب

ما رأيكم دام فضلكم؟

[الدكتور داود داود]

شكرا جزيلا، إن كان كذلك، إذن لو أردنا تعريف طريقة عمل ماهر، هي في أنه اعتمد على مفهوم اللواصق واللواحق ،وهذا المفهوم يشمل اللغات غير العربية كذلك، وكما تبين أنه لا يغطي كل احتياجات اللغة العربية كما لو كان مبني على الجذر واشتقاقاته.

بالمناسبة في النصف الثاني من التسعينات من القرن الماضي كانت مؤسسة الإتصالات الإماراتية، قد وفرت خدمة البحّار على الشابكة (الإنترنت)
http://portal.ahram.org.eg/Right.asp?ID=130

وهي النسخة المعرّبة وفق احتياجات اللغة العربية المبنيّة على الجذر واشتقاقاته لما كان يعرف ألتا فيستا بالتعاون مع شركة أبتك، وكان أحد القائمين على المشروع زميلي في الدراسة الله يذكره بالخير (يوسف يغمور) وهو كذلك من نفس مدينة د. عبدالرحمن السليمان سبحان الله، كما هو حال استاذي د. تمّام عَدِيّ واستاذ استاذي د. نِزار قصّاب

ما رأيكم دام فضلكم؟

عزيزي أبو صالح
دعني أوضح التالي:
محرك البحث ماهر قادرعلى التعامل مع اللواصق واللواحق، إضافة إلى التغيرات الإملائية كما يحدث في الهمزة، ويستطيع الربط بين المشتقات ذات العلاقة الدلالية، كما يستطيع التعامل مع المفاهيم المركبة Multi-word concepts، وحسب علمي لا يوجد محرك بحث بمثل هذه المواصفات ويحقق النتائج التي ذكرتها سابقا(ربما الإدريسي ولكن مشكلته الرئيسية أنه يعتمد على الجذر)

[s___s]

عزيزي أبو صالح
دعني أوضح التالي:
محرك البحث ماهر قادرعلى التعامل مع اللواصق واللواحق، إضافة إلى التغيرات الإملائية كما يحدث في الهمزة، ويستطيع الربط بين المشتقات ذات العلاقة الدلالية، كما يستطيع التعامل مع المفاهيم المركبة multi-word concepts، وحسب علمي لا يوجد محرك بحث بمثل هذه المواصفات ويحقق النتائج التي ذكرتها سابقا(ربما الإدريسي ولكن مشكلته الرئيسية أنه يعتمد على الجذر)

من طريقة شرحك لا أظن تقصد المعنى الدلالي كما هو مفهومه باللغة العربية،

المعجم الدلالي والمصطلح الدلالي والمعنى الدلالي مسألة مطروحة للنقاش

http://www.atinternational.org/forums/showthread.php?t=1162

ولكن أظن تقصد الترادف في المعنى كما هو مفهومه في اللغات الأخرى، أليس كذلك؟!


من جهة أخرى أنا لا أظن الجذر مشكلة في أي حال من الأحوال إن لم يكن هو واشتقاقاته مفتاح الحلول، ولا أدري أي إدريسي تقصد فهناك أكثر من تطبيق له نفس الاسم، وإن كان يستخدم الجذر والاشتقاق كأساس بالعكس هذه احدى ميزات الإدريسي إن كان عمله مبني عليها، ولكن عيب الإدريسي "د. نبيل علي (صخر)"إن كان هناك أي عيب به من وجهة نظري هو في طريقة تعامله مع الجذر واشتقاقاته، حيث أنه لم يكن وفق مفاهيم اللغة العربية بشكل كامل

ما رأيكم دام فضلكم؟