خدمة گوگل لتشكيل النصوص العربية

[زهير سوكاح]

<o>
</o>

أطلقت شركة گوگل مؤخرا خدمة لغوية جديدة خاصة باللغة العربية وهي التشكيل الآلي للنصوص العربية غير المشكلة.

<o></o>

<o>
</o>

وإليكم الرابط للتجربة، مع إشارة أن التشكيل الآلي بدوره لايخلوا أيضا من أخطاء.

<o>
</o>

http://tashkeel.googlelabs.com<o></o>

<o>
</o>

[حامد السحلي]

شكرا أخي زهير
هذه الخدمة ليست من غوغل بل ينتجها خبراء حوسبة عرب ومهتمون بالعربية
ونقلتها غوغل إلى منصة مختبرها
والخدمة ضعيفة جدا
هناك برمجيات عربية أقوى منها

[مصطفى أحمد أبو كشة]

هناك برمجيات عربية أقوى منها

مثلاً ..؟؟؟؟

[حامد السحلي]

في حوار أنهيته اللحظة مع الأخ طه زروقي رجحنا أن آلية غوغل إحصائية بحكم تتبع أخطائها وأن بعض نصوصها المرجعية تحوي خطأ لأنها تدخل تنوينا وسط الكلمة ولا تلغي التقاء الساكنين
برمجية متاحة لا يوجد لأن البرمجيات تجريبية

http://mghamdi.com/MGSDM.pdf

الأرجح أن هذه هي الطريقة ولكن نتائج غوغل أقل دقة

[حامد السحلي]

طه زروقي: بما أنّ غووغل لم يعلن عن طريقتها في التشكيل
2:00 PM يمكننا أن نضع بعض الفرضيات لنفهم آلية العمل
من هذه الفرضيات:
1-هل ينبني هذا المشكّل على محلل صرفي؟
2- هل ينبني على ذاكرة إحصائية، اي مقارنة بالنصوص المشكولة في فهرسها العملاق؟
2:01 PM 3- هل ينبني على طريقة تتابع الحروف؟
نضع لكل فرضية أمثلة ونحاول إثباتها عن طريق بع الأمثلة
2:02 PM ما رأيك حتى الآن


حامد السحلي: أتصور أن هناك تحليلا نحويا بسيطا
وليس صرفيا
طه زروقي: فلننافش الفرضية الأولى
2:03 PM حامد السحلي: أي يعتمد على مجموعة قواعد مستقرأة
طه زروقي: تحليل صرفي أو نحوي، ما الفرق
لاحظ المثال الآتي
أرجو أن تشغل تطبيق التشكيل لتجرب معي الامثلة
2:04 PM حامد السحلي: أنا فيه
طه زروقي: هَذَا الْمَشْرُوْعِ يَهْدِفْ لِلْسَيْطَرَةٌ عَلَىَ الْعَالَمِ
حامد السحلي: وأقرأ التعليقت
2:05 PM طه زروقي: لو كان يعتمد على محلل صرفي مبني على قاموس ما، لكان تعرف على كلمة سيطرة وتوقّع أنها مسبوقة بحرف جر
لاحظ أن كلمة للسيطرة مرفوعة
حامد السحلي: لهذا قلت إنه لا يوجد محلل صرفي
طه زروقي: يعني الفرضية الأولى مرفوضة
هل توافقني في الرأي
حامد السحلي: لاحظ المشروع مجرورة
2:06 PM أجل أنا قلت إنه لا يوجد تحليل صرفي
طه زروقي: يلاحظ أنه يجر الأسماء في بداية الجملة دائما.
2:07 PM حامد السحلي: المشروع ليست بداية
طه زروقي: خذ مثالا آخر، وستلاحظ ذلك،
2:08 PM ?كما نلاحظ أنه يضع الشّدة بعد الحركة، فإذا كتبت كلمة السلام، فتبدو الفتحة على السين وكأنها كسرة، وهو في الحقيقة يضعها قبل الشدة مما يجعلها تبدو كذلك
2:09 PM هل نناقش الفرضية الثانية؟
حامد السحلي: هل لاحظت أن للسيطرة منونة بالرفع
أي أنه اعتبرها اسما غير معرف
طه زروقي: هذه مشكلة أيضا،
2:10 PM حامد السحلي: وبدون لواصق
طه زروقي: يبدو أنه يقوم بتحليل مبني على تتابع الحروف
حامد السحلي: هل يمكنك تخيل اسم قريب منها؟
طه زروقي: لا على الإطلاق
حامد السحلي: مشكلة أخرى
2:11 PM طه زروقي: على الأقل إذا كان موجودا، لا يعرفه غوغل على الأقل
حامد السحلي: همزة مقصورة مفتوحة؟
هل اعتبرها ياءا بأسلوب الكتابة المصرية
2:12 PM طه زروقي: كما أنّه لا يمكن لاسم ما أن يحتوي هذا العدد من الحروف الأصلية، في كلمة للسيطرة، وإلاّ كان أعجميا، وحينها يكون ممنوعا من الصرف.
2:13 PM إذا افتراضنا أنه يعتبر الألف المقصورة ياء، فلا يمكن أن تكون الياء مضمومة وهي متأخّرة،
حامد السحلي: جزم الفعل يهدف ما هو المبرر المحتمل له؟
2:14 PM طه زروقي: ربما يطبّق قاعدة "سكّن تسلم"
حامد السحلي: لا أنا أحاول أن أنفي وجود تحليل نحوي
2:15 PM لاحظ أن الخدمة مقسمة إلى جزئين
جزء بدون علامات إعراب
أي يترك أواخر الكلمات بدون تشكيل وهذا الأصل أن يعتمد على تحليل صرفي
طه زروقي: نعم
حامد السحلي: وزقراءة السياق
2:16 PM طه زروقي: وتشكيل الأواخر يعتمد على محلل نحوي
توجد طريقة أخرى لا تحتاج إلى تحليل نحوي لتشكيل الاواخر
يرجى الاطلاع على مقال للدكتور منصور الغامدي
حامد السحلي: أجل ولكن ليس هناك منطق قاعدي لتصرفات التشكيل النحوي
أين؟
2:17 PM وما هي الطريقة؟
2:18 PM طه زروقي: · الشافعي، مصطفى وحسني المحتسب ومنصور الغامدي (1427هـ) التوليد الآلي لعلامات التشكيل في اللغة العربية. مؤتمر 2006 العالمي حول علوم وهندسة الحاسب وتطبيقاتها. لاسفيقاس، الولايات المتحدة الأمريكية. 26-29/6/2006م. (بالإنجليزية)

http://mghamdi.com/MGSDM.pdf

الغامدي، منصور و محمد خورشيد و مصطفى الشافعي و فايز الحرقان و أبو أوس الشمسان و محمد الكنهل و سعد القحطاني و سيد زيشان مظفر و ياسر التويم و عدنان يوسف و حسني المحتسب (1427هـ) نظام حاسوبي لتشكيل النص العربي <http://mghamdi.com/ATD.pdf>. (التقرير النهائي لمشروع: 02 - 25 - ح م) مدينة الملك عبد العزيز للعلوم والتقنية، الرياض.
المقال الثاني بالعربية
2:19 PM وطريقة الغامدي تعتمد على إحصاء لاحتمالات تتابع الحروف وتشكيلاتها على أساس مقطع رباعي الأحرف.
وهذا ما أعتقد أنه مستعمل في غوغل
2:20 PM والدليل على ذلك أكتب اي كلمة طويلة جدا في تشكيل وسوف يقوم بتشكيلها
2:21 PM حامد السحلي: ولكن الغامدي ذكر خطأ بنسبة 27%
بينما في غوغل الخطأ أكثر بكثير
طه زروقي: ربما قاموا بتقليده ولم يتمكنوا بعد من التقنية
2:22 PM حامد السحلي: السؤال بالنسبة للطريقة الإحصائية
هو كيف يمكن تكميل عملها لإلغاء الخطأ
تحليل صرفي نحوي؟
إذا لا حاجة للإحصاء بداية
2:23 PM فالفائدة من الآليات الإحصائية سرعتها
طه زروقي: أتساءل هل من يصمم برنامج تشكيل عربي
2:24 PM عربي على غرار "من تكلّم العربية فهو عربي"
حامد السحلي: أتصور أنها بدون الأسلوب الإحصائي مرحلة لاحقة للتدقيق النحوي
طه زروقي: أي إجادة العربية، لغة ومنطقا
حامد السحلي: أي تصميم برنامج للتشكيل
2:25 PM يمكننا استقرأء آلية غوغل بإدخل نصوص مختارة بعناية
لنعرف مسار تحليلها
طه زروقي: هاك بعض الأمثلة
2:26 PM إنما يخشى الله من عباده العلماء
??الفرضية الثانية :?2- هل ينبني على ذاكرة إحصائية، اي مقارنة بالنصوص المشكولة في فهرسها العملاق؟
هذا المثال قد يكون خاضعا لهذه الفرضية
2:27 PM لأنّ أي محلل نحوي مهما كانت قوته سيخطئ في هذه الجملة
لأنها تحتاج إلى تحليل معنوي
حامد السحلي: قبل الجملة كاملة
إنما
2:28 PM هل يمكن أن يأتي بعدها غير فعل؟
عاد غوغل ليضع ضمة على الألف المقصورة
طه زروقي: نعم، ومن ذلك قول الشاعر
حامد السحلي: إذا هو يعتبرها فعلا ياء في نهاية الفعل
2:29 PM حتى لو كان مقارنة بنصوص عربية
طه زروقي: إنما الأمم الخلاق ما بقيت، فإن هم ذهبت أخلاقهم ذهبوا
حامد السحلي: صح
طه زروقي: لا يصح أن نقول يخشيُ بضم الآخر
2:30 PM حامد السحلي: بما أنه لا يوجد تحليل صرفي
إذا لا مشكلة يمكن لغوغل اعتبار الكلمة قابلة للرفع
إنما يضربُ مثلا
2:31 PM هل لاحظت أن هذا الخطأ الوحيد في هذا المثال؟
2:32 PM طه زروقي: الأخ خالد حسني يقول :
لا أعرف تفاصيل عن هذا المشروع تحديدا، لكن جوجل عادة ما تعتمد على القوة الغاشمة وليس الدراسات اللغوية مستعينة بالقدرة الحاسوبية الهائلة التي تمتلكها. فمثلا مترجم جوجل يعتمد الطريقة الإحصائية بتغذية بآلاف الوثائق المترجمة بعدة لغات (البداية كانت وثائق الأمم المتحدة ولهذا كانت العربية مدعومة مبكرا) ومقارنة وتحليل هذه الوثائق، ولذا تجد نتائجه تتحسن مع الوقت فكلما غذيته بوثائق أكثر كلما أعطى نتائج أفضل. وأظن خدمة التشكيل هذه لا تبتعد عن هذا، وأعرف دراسات في جامعة سعودية (مدينة الملك عبد العزيز؟) تعتمد الطريقة الإحصائية ودون أي علم مسبق بقواعد اللغة وتزعم دقة أكثر من 90? لكن لم أرى منها سوى وريقات بحثية منشورة ولا شيء يمكن تجربته.
حامد السحلي: هذا صحيح
2:33 PM ولكن لديهم آلية مقارنة نريد معرفتها
فالنصوص المشكولة نسبتها قليلة جدا
القرآن أشهرها
رغم ذلك هناك خطأ في الآية
طه زروقي: نعم
2:34 PM حامد السحلي: يمكن أن يكون الخطأ راجع
طه زروقي: وهكذا نقول أنّ الفرضية الثانية عن استخدام طريقة إحصائية قد لا تكون صحيحة
حامد السحلي: أي القرآن مستخدم كمرجع
ولكن كمرجع للآلية الإحصائية
2:35 PM أي قاموا بالآلية الإحصائية اعتمادا على مقارنات من قاعدة البيانات الهائلة
طه زروقي: اعتقد ذلك
حامد السحلي: ثم وضعوا قواعد تكرار وتدفق
وطبقوها
2:36 PM لأنني لا أعتقد أنهم دمجوا البرمجية ضمن حزمة البرمجيات التي تقرأ القاعدة لحظيا
طه زروقي: والفرضية الثالثة عن تتابع الحروف، لاحظ هذه العبارة
اسْتَعَملْخِدْمَةتَعْرِيُبللإِدْخَالِمِثلْكُتّب
2:37 PM لاحظ التنوين داخل الكلمة
2:40 PM حامد السحلي: كتب كاتب مكتوب إلى مكتوبته فكتبت له كتابا مستكتبة كتابات مكاتباتهن هي ومستكتبتهن المنكتبة ككتيبات المكتبة المكتوتبة بكتاتيب الكتبية باستكتاب كتبي من الكتيبة
كُتِبَ كَاتِبٍ مَكْتُوْبُ إِلَىَ مَكْتَوّبَتِهُ فَكُتِبَتْ لَهُ كِتَابا مُسْتَكْتَبَة كِتَابَاتٌ مُكَاتَبَاتِهُنَ هِيَ وَمُسَتَكَتَبَتِهُنَ المُنكتَبةً كَكُتُيِّبَاتِ الْمَكْتَبَةُ الْمكْتوَتَبةً بَكْتَاتِيبُ الْكُتُبِيَّة بِاسْتِكُتَابِ كُتُبِيّ مِنْ الْكَتِيبَةِ
2:41 PM هل لاحظت أنه يتخطى بعض الكلمات
2:42 PM إذا لديه حالة يقول فيها لا أعرف
طه زروقي: غير المفهوم هو التنوين في وسط الكلمة
حامد السحلي: صح وهذا يرجح في رأيي أمرين اثنين معا
أولا أن العملية إحصائية
2:43 PM وثانيا أن بعض النصوص الأساسية التي تم الاعتماد عليها
فيها خلل
هل رأيت مثلا ذاكرة الترجمة المفتوحة ميدان
لو كانت نصا أساسيا
فستؤدي لخلل
2:44 PM لأنها تحوي أخطاء قاتلة
2:45 PM أنظر مثلا وضع سكون على حرف المد الذي سبقته حركة من جنسه
أيضا هذا وإن كان صحيحا
إلا أنه يشير لخطأ تحليلي ولعدم وجود قواعد
2:46 PM من الكتيبة
التقاء ساكنين لم تتم إزالته
2:48 PM أنا أتصور الاحتمال الأكبر
2:49 PM أسلوب إحصائي مرجعه المقارن يحوي أخطاء
طه زروقي: ربما هذه هي الطريقة
2:50 PM حامد السحلي: السؤال
ما هي الطريقة التي يتصورها الواضعون للإستفادة من تصحيحات المستخدمين
لتحسين النتائج
كما حصل في خدمة الترجمة
2:51 PM أعتقد حتما أن هناك تصور
2:53 PM طه زروقي: هل نصل في الأخير إلى اتفاق أنّ الطريقة المتبعة هي طريقة احصائية
حامد السحلي: لا يمكن الجزم تماما
ولكنها مرجحة بنسبة عالية
2:54 PM ولكنني أتصور أن هناك خطة لدعمها بتحليل سياقي من نوع ما
وإلا فلا يمكنها أن تتطور
مهما أضاف المستخدمون
2:58 PM طه زروقي: لما يطلقون خدمة بهذا الشكل، قبل اكتمالها ولوجزئيا، مليئة بالأخطاء
2:59 PM حامد السحلي: في تصوري أنها جزء من عملية جمع ردود أفعال وتصحيحات
طه زروقي: هم يعتمدون كثيرا على المستخدمين
حامد السحلي: لاحظ أنها ليست رسمية بل هي في الإختبار
3:00 PM طه زروقي: وهذا ما يجب ان نأخذه بعين الاعتبار في برمجة التطبيات
حامد السحلي: وقد سبق لغوغل لاب أن أطلق خدمات تسبب أسوأ من خلل
طه زروقي: التطبيقات*
حامد السحلي: تقصد أن لا ندعمها
ونشجع على عدم دعمها
3:01 PM طه زروقي: هل سيكون نقاشنا هذا إذا نشرناه دعما لتشكيل غوغل
3:02 PM حامد السحلي: أتصور شيئا من هذا
ولكنه أيضا سيكون مفيدا للباحثين العرب
3:03 PM ما رأيك بنشره كرأي وانتظار الرد؟

http://www.googlelabs.com/show_details?app_key=agtnbGFiczIwLXd3d3IVCxIMTGFic0FwcE1vZGVsGIronAEM

3:05 PM طه زروقي: مناسب جدا
أنا سانشره في مجتمع لينكس
3:08 PM حامد السحلي: أعطني الرابط
طه زروقي: http://www.linuxac.org
3:09 PM حامد السحلي: أعرف الموقع أقصد رابط النشر بعد النشر
3:10 PM طه زروقي: سانشره وأوافيك بالرابط
هل ننشر الحوار كما هو أم نعيد ترتيبه
3:12 PM حامد السحلي: أنا لا أرى مانعا من نشره كما هو
إلا إن كان هناك إضافة
3:14 PM طه زروقي: سؤال؟
حامد السحلي: تفضل
طه زروقي: لماذا لم تشتر غوغل برنامجا آخر للتشكيل بدلا من تصميمه
مثلا برنامج مؤسسة حرف جيد
حامد السحلي: هل يوجد؟
طه زروقي: نعم
حامد السحلي: لم أجربه
3:15 PM وأعتقد أن غوغل تعتمد شبكة عمل
أي أن الترجمة والتشكيل جزء من توجه كامل مبني على استخدام طاقة محرك البحث
3:16 PM وتطوير آلياته
تمهيدا لجعله معنويا
طه زروقي: هذه هي قوتها الفعلية، الفهارس الضخمة التي تملكها تجعلها في الصدارة
حامد السحلي: ولو اشترت برنامجا
ستبذل نفس الجهد لربطه بنظامها
3:17 PM طه زروقي: هل تعلم أن طريقة الاعتماد على البيانات والفهارس في التحليل الصرفي وفي التشكيل هي ما يصنع الفرق بين العربية واللغات الأخرى
حامد السحلي: فليست الغاية من تشكيل أو الترجمة أو حتى المدقق الإملائي والنحوي الذي قرأت أنهم يعدونه هو الخدمة
3:18 PM بل تطوير المحرك
طه زروقي: التحليل الصرفي في اللغات اللاتينية ليس قويا جدا، وغاية في البساطة،
حامد السحلي: أعلم أن العربية لها مشاكلها فهي ناقصة من حيث الكتابة
طه زروقي: لا، اقصد العكس تماما
حامد السحلي: ونظام صرفها معقد نسبيا
طه زروقي: اقصد أن العربية أقوى من هذه الناحية
3:19 PM الطريقة التي يتم التعامل معها الآن هي طريقة خاطئة
حامد السحلي: تقصد أنها أقدر على الاستفادة من الفهرسة والإحصاء؟
3:20 PM طه زروقي: اقصد أننا لو تعاملنا معها بذكاء أكثر وخصوصية لأمكننا الوصول إلى نتائج أحسن
دون الحاجة للفهرسة والإحصاء
حامد السحلي: أتصور ذلك
طه زروقي: حاجة اللغات اللاتينية للفهرسة والاحصاء ناتج عن فقر منطقها اللغوي فقرا شديدا
3:21 PM حامد السحلي: لو تم وضع آلية مناسبة لتحليل المحتوى العربي صرفيا ونحويا ومعنويا
ستكون استفادتها من محتوى الشبكة قفزة هائلة
طه زروقي: مما يجعل الفهرسة هي موردها الرئيس في التحليل، أما العربية فخوارزمياتها أقوى
3:22 PM وهو ما يجعلنا حاليا في المؤخرة، بسبب اعتمادنا على طرق غير مناسبة
ولم نستفد من مزاياها بعد
حامد السحلي: مثلا نبهني أحدهم الآن إلى أن صرف يحوي نقصا في المداخل
تلامس من لمس
طه زروقي: مثلا لاحظ أنّ برنامج المحلل الصرفي الذي أطلقته يمكن أن يشكل الأفعال بطريقة ذكية جدا
3:23 PM حامد السحلي: غير موجود
طه زروقي: نظام صرف، خطوة صحيحة على الطريق الصحيح، ينبغي أن نستفيد منه
3:24 PM وفي هذا الجانب لا ينبغي أن نغفل تماما الفهارس والاحصائيات،
حامد السحلي: هذه أنا معك
أقوم بمقارنة بين قواعد بيانات صرف
وقواعد الخليل
طه زروقي: فاستعمالا كلمة ما في اللسان العربي، هو ما يجعلها صحيحة وليس صحة اشتقاقها
حامد السحلي: ولاحظت أن قواعد الخليل مولدة آليا من صرف مع بعض الإضافات
طه زروقي: برنامج الخليل يقتبس معظم بياناته من نظام صرف وهذا جيد
3:25 PM حامد السحلي: لهذا أظن أن دمجهما سيعطي نتيجة رائعة
محلل يعتمد على مصرف
3:26 PM طه زروقي: هي نفس فكرتي في تحليل الأفعال، محلل يعتمد على مصرّف

[Farouq_Mawasi]

تحية فاروقية

جربت أكثر من مرة، فقدم لي الموقع شكلاً من عجب العجاب، لذا فأقولها بملء فمي: لا تركنوا إلى التشكيل فهو بمعظمه خطأ في خطأ، وقد حاولت أن أراسل غوغل لخطورة ما يقومون فيه، فلم أفلح بالوصول إليهم.
ومن الغريب أنني أعطي نصًا بالعبرية لتشكيله في موقع عبري، فلا أكاد أقع على خطأ، فهل اللعنة تلاحقنا هنا أيضًا؟

[s___s]

بالمناسبة لمن يبحث عن برامج للتشكيل الآلي مقبولة ومنطقية الإنتاج وهي كثيرة للعلم ومن ضمنها مواقع الشركات على الشابكة (الإنترنت) والتي حاولنا مناقشة نتاجها في المنتدى التالي على سبيل المثال

الترجمة الآلية Machine Translation

http://www.atinternational.org/forums/forumdisplay.php?f=52

ما رأيكم دام فضلكم؟

[عبدالرحمن السليمان]

ومن الغريب أنني أعطي نصًا بالعبرية لتشكيله في موقع عبري، فلا أكاد أقع على خطأ، فهل اللعنة تلاحقنا هنا أيضًا؟

[align=justify]
أجل يا أبا السيد: اللعنة تلاحقنا حتى في الشكل!!!

دام لك الإبداع، وشكرا للأخ الأستاذ زهير على الخبر،
وتحية عبدرحمانية!

[/align]

[s___s]

بالمناسبة برامج معالجة كتابة النصوص العربيّة تحوي ميزة التشكيل الآلي، ومن ضمنها أظن حتى برنامج وورد من مايكروسوفت مع حزمة برامج دعم العربية وهنا لا أقصد النسخة الإنجليزية، وميزة التشكيل الآلي أظن كانت حتى موجودة في آخر نسخة من برنامج الأستاذ لشركة صخر وهو الذي على نسخته الأولى تم بناء الوورد العربي حسب ما أذكر للعلم، صحيح أن النتائج ليست مثالية، ولكن شيء أفضل من لا شيء

ما رأيكم دام فضلكم؟

[حامد السحلي]

http://e3rab.com/moodle/mod/forum/discuss.php?d=21

يبدو وكأنه محرك بحث ذي خصائص اجتماعية مرتبط مع فيس بوك يقدم خدمات بحث ذكية مرتبطة بالعربية

http://www.yamli.com

وهناك خدمة ترجمة فورية تربط ترجمة غوغل مع إمكانية التصحيح وبالتالي فهم يجمعون ذاكرة ترجمة
هناك محرر تفاعلي يحول الكتابة بأحرف لاتينية إلى عربية يمكن إضافته إلى أي موقع مجانا
رغم أن الخدمة تستهدف العرب لا يوجد ترجمة عربية لاتفاقية الترخيص وهي لصالح شركة للتحليل اللغوي مقرها في ولاية كامبريدج بولاية مساشوستس وتبدو الاتفاقية نسخة عن اتفاقية غوغل
في ختام عرضي السريع هذا أقول
رغم أن هذه الخدمة ستكون مفيدة للعرب مرحليا ولكن

1. هل ستكون مفيدة للغة العربية؟ أتصور لا بل ستزيد من تكاسل العرب الذين يستخدمون انترنت وستساهم في نشر اللغة الفصعى وهو الاسم الذي أراه مناسبا لما يسمى حاليا الفصحى على انترنت
2. هل ستكون مفيدة للعرب؟ لا أظن فهي تزيد من هيمنة غوغل على سوق انترنت العربي وسيجعلها تتحكم بأذواقنا ليس انطلاقا من نظرية المؤامرة.. ولكن لأنهم بشكل طبيعي سيطورون وينشرون ما يفيدهم ويفهمونه أي مفردات سوقهم وسيهملون ما يهمنا ويفيدنا


هذه مقدمة سريعة ولي عودة إنشاء الله
إلا أن يسبقني أحد بتحليل أشمل لهذه الخدمة