اعمل على التشذيب النصي واحتاج لقواعد بيانات من فضلكم

[الحساني]

بسم الله الرحمن الرحيم
السلام عليكم ورحمة الله وبركاته

اهنئكم على هذا المنتدى الطيب الذي استفدت حقيقة منه. وهذه هي اول مشاركة لي.
انا الآن احضر لرسالة دكتوراة في التشذيب النصي textmining العربي. واحتاج لتطبيق الخوارزمية التي وصلت لها الى قواعد البيانات التالية:

معجم السوابق
معجم اللواحق
جدول التوافقات بين السوابق واللواحق
الكلمات غير المشتقة
الاوزان العربية
معجم الجذور

اكون شاكرة جدا لو زودني احدكم بهذه القواعد او يوجهني الى حيث احصل عليها ؟

[حامد السحلي]

عليكم السلام ورحمة الله وبركاته

أهلا بك في هذا الحقل واسمحي لي قبل أن أجيبك أن أطرح بعض الأسئلة ليس للفضول أو أي أمر آخر ولكن لأعرف لماذا لا يستطيع بعض الأشخاص الوصول لهذه المصادر بسهولة وأظن أنك ستستفيدين من الأسئلة كما سيستفيد المجموع أرجو أن تجيبي على الأسئلة بالتسلسل فهو مهم جدا
1-هل لديك خلفية عامة أو بحثت في المشاريع القائمة التي تستخدم هذه المصادر؟
2- هل بحثت في مواقع هذه المشاريع؟
3- طالما أنها رسالة دكتوراه فأنت اطلعت على الرسائل المشابهة؟ أليس من بينها رسالة أتاحت بعض هذه المصادر؟
4- أنت تطلبين مصادر حرة مفتوحة المصدر هل يعني هذا أن بحثك مفتوح المصدر؟ أو سينتهي مفتوحا؟
5- أخيرا هل اتصلت بالأبحاث الموازية والتي بمكن أن تستفيد من عملك وتفيده فهذه أبحاث تستغرق سنوات وهي تتواصل فيما بينها

[الحساني]

بسم الله الرحمن الرحيم

1-هل لديك خلفية عامة أو بحثت في المشاريع القائمة التي تستخدم هذه المصادر؟

الرسالة هي في خوارزميات ماركوف الخفية وتطبيقاتها في لتشذيب النصي. والرسالة في الاول كانت للغات اخرى وليس للعربية وقمت بتغييرها بالاتفاق مع مدير الدكتوراه الى العربية بدل اللغة الفرنسية التي كان فيها البيانات متوفرة لحرصى على استثمار ما ساقوم به لشئ يفيد هذه الامة.
فعندي بعض الاطلاع : اطلعت على اجتماع خبراء المحللات الحاسوبیة 2009/4/ 28 - دمشق 26
وخصوصا على التقريرات التتي قامت بها د/ سلوى السيد حماده وعلى بعض المقالات العلمية في العربية.

2- هل بحثت في مواقع هذه المشاريع؟

لا ...

3- طالما أنها رسالة دكتوراه فأنت اطلعت على الرسائل المشابهة؟ أليس من بينها رسالة أتاحت بعض هذه المصادر؟

اطلعت لكنها ليست في اللغة العربية بل اما تتعلق بماركوف او بلغات اخرى.

4- أنت تطلبين مصادر حرة مفتوحة المصدر هل يعني هذا أن بحثك مفتوح المصدر؟ أو سينتهي مفتوحا؟

نعم ان شاء الله يكون مفتوح المصدر فهو في اطار التطوير العلمي وليس في اطار تجاري. وهل ممكن ان تكون قواعد بيانات غير مفتوحة المصدر ؟ مثلا التي ابحث عنها ؟

5- أخيرا هل اتصلت بالأبحاث الموازية والتي بمكن أن تستفيد من عملك وتفيده فهذه أبحاث تستغرق سنوات وهي تتواصل فيما بينها

اتصلت ببعض الاساتذة الذين اعرفهم ويعملون على الموضوع الحقيقة اما لا يجيبوني او لا تكون عندهم قواعد البيانات. وليس عندنا تعاون مع ان هناك اعمال متفرقة سواء في نفس البلد او ببلدان عربية الاخرى التي في نفس الاتجاه لكن نفتقر الى التعاون والتاطير الرسمي. كما ان بعض ممن تكلمت معهم لم يكونوا متحمسين للغة العربية.

[الحساني]

بسم الله الرحمن الرحيم
بانتظار جوابكم ان شاء الله. مع الشكر.

[حامد السحلي]

السلام عليكم

معظم المصادر موجودة في قواميس المدقق الإملائي أيةسبل وهو مدقق مفتوح المصدر
هناك قائمة بريدية للمشروع

http://groups.google.com/group/ayaspell-dic

يدير المشروع الأخ طه زروقي من الجزائر وهو يعمل حاليا على إصدار جديد يمكنك الاتصال به وقد أرسلت له الرابط ليعلق هنا

هذا في عجالة
وسأعود ربما مساءا إن شاء الله لأضيف تفصيلا

[linuxscout]

شكرا للأخ حامد على التنويه
حاليا هناك العديد من اﻷعمال العربية في هذا المجال،
ويمكن إيجاد قواعد بيانات لا بأس بها وكذا أدوات مناسبة
لأن الكثير من العاملين في هذا المجال أدركوا أهمية المصدر المفتوح، وآثره على موت مشاريعهم في مكاتبهم. ومنها على سبيل المثال:
1- مشروع الخليل، المحلل الصرفي http://www.google.com/url?sa=t&sourc...SZFxKQ&cad=rja .
2- نظام صرف http://sarf.sf.net
3- نظام قطوف qutuf.com
4- اﻷصمعي arabicmorphoanalyzer.appspot.com
5- مكتبة تاشفين للتحليل الصرفي pypi.python.org/pypi/Tashaphyne/
6- قائمة الكلمات المستبعدة arabicstopwords.sf.net

مدونات:
1- مدونة أحمد عبد العالي aracorpus.e3rab.com
2- مدونة وطن http://sites.google.com/site/mouradabbas9/corpora

مصادر إضافية

http://sites.google.com/site/dyaafayedsite/

ويوجد غيرها والحمد لله

[الحساني]

بسم الله الرحمن الرحيم

السلام عليكم ورحمة الله وبركاته

شكرا جزيلا استاذ حامد السحلي والاخ الكريم لينوكس سكاوت.

ساتصل ان شاء الله بالعاملين على هذه المشاريع.

شكرا لكم مرة اخرى

[حامد السحلي]

عليكم السلام

لينكس سكاوت (كشاف) هو طه زروقي

[الحساني]

عليكم السلام

لينكس سكاوت (كشاف) هو طه زروقي

اشكر الاخ الكريم طه الزروقي.

[الحساني]

الاخ الكريم
s___s

نعم هناك فرق كبير جدا بين اللغة العربية وباقي اللغات.
والذي يعمل على العربية عليه ان يعي هذا الامر.

بالنسبة لعملي الحالي هو مرتبط بخوارزمية رياضية فكرتها تعليم الكمبيوتر عن طريق بيانات تعليمية طريقة التعامل مع بيانات جديدة...
فهو نظام احصائي وليس بالاعتماد على القواعد اللغوية... ولن يعطي نتائج "جيدة" الا بدمجه مع نظام يعتمد على القواعد لكي يزيل الاشتباه عند وجود اكثر من احتمال.

وازالة الاشتباه تكون بالاعتماد على الماضي بخطوات.

اسال الله سبحانه ان اوفق فيما سافعل.

شكرا لمداخلتك

[s___s]

أظن ما ورد تحت العنوان والرابط التالي يفتح لك آفاق جديدة في هذا المضمار

تأثير النحو العربي في نظرية تشومسكي
http://www.atinternational.org/forums/showthread.php?t=7045

ما رأيكم دام فضلكم؟

[الحساني]

شاكرة جدا للبحث الذي وضعته وان شاء الله اقرؤه.
واهنئكم على منتداكم المتخصص التفاعلي.