جستجوي پيشرفته | کتابخانه مجازی الفبا

در پردازش زبان طبیعی سعی بر این است که کامپیوتر توانایی استخراج معنی از منابع زبان طبیعی را داشته باشد. به دلیل پیچیدگی پردازش زبان طبیعی و برای سادگی برخورد با چالش‌های پیشِ روی آن از ابزارهای مختلف و تخصصی برای مواجهه با هر یک از مشکلات استفاده شود. برچسب‌گذار نحوی اجزای کلام یکی از ابزارهایی است که می‌تواند به فرایند پردازش زبان طبیعی کمک کند. وظیفه برچسب‌گذار مشخص کردن نقش دستوری کلمات در جملاتی است که به‌عنوان ورودی به کامپیوتر داده می‌شود. این ابزار پایه‌ای می‌تواند در مترجم‌های ماشینی، غلط‌یاب‌ها، خلاصه‌سازهای متون و سایر موارد استفاده شود.در این پایان‌نامه ابتدا به معرفی روش‌های تعیین نقش دستوری برای زبان فارسی می‌پردازیم. برچسب‌گذاری به‌صورت عمده به دو گونه مبتنی بر قانون و آماری تقسیم می‌شود. در این پایان‌نامه به بررسی روش‌های تعیین نقش دستوری در زبان فارسی می‌پردازیم. با توجه به مشکلات برچسب‌گذاری مبتنی بر قانون عمده پیاده‌سازی‌های انجام‌شده در زبان فارسی، با استفاده از روش‌های آماری بوده‌اند. روش‌های آماری مدل مارکوف، مبتنی بر حافظه و تخمین احتمال بیشینه پرکاربردترین روش‌های آماری برای زبان فارسی هستند که سعی شده با انعکاس نتایج، مقایسه‌ای را بین آن‌ها انجام دهیم. در پایان نتایج بررسی‌ها نشان می‌دهد الگوریتم مدل مارکوف بیشترین اقبال را چه ازنظر تعداد استفاده چه ازنظر درصد موفقیت برای زبان فارسی دارا است. نکته قابل‌توجه در کارهای پیشین تمرکز بیشتر آن‌ها بر روی تعیین نقش دستوری کلمات ناشناخته است. برای این کار روش‌های پیش‌پردازش متن، تحلیل‌گر ساخت‌واژی و حدس برچسب کلمات ناشناخته مورد استفاده قرار گرفته بود. دراین‌بین کمتر اثری را می‌توان یافت که ضمن ارائه الگوریتمی جدید به موفقیت قابل‌توجه دست پیداکرده باشد.ما برای ارائه الگوریتم جدید، مدل مخفی مارکوف را با توجه به بررسی کارهای گذشته به‌عنوان مبنای کار خود قراردادیم. سپس با ارائه روش‌های مختلف تلاش کردیم درنتیجه به‌دست‌آمده توسط این روش بهبود حاصل کنیم. یکی از رو‌ش‌ها بررسی انتقال‌های پرتکرار و انتقال‌ها با درصد خطای بالا برای وضع قوانین بهبود دهنده برای آن‌ها است. تغییر نسبت وزنی فاکتورهای اصلی مدل مارکوف به دنبال یافتن نسبت بهینه بین این فاکتورها روش دیگر مورد استفاده بود، که نشان داد نسبت یک‌به‌یک بهترین انتخاب است. بررسی تأثیر نقش کلمات بعدی به‌جای کلمات قبلی، بر روی تعیین نقش دستوری کلمات انجام گرفت، چرا که تأثیر برچسب‌های قبل و بعد بر روی تعیین نقش دستوری کلمات برای هر زبان قابل توجه است. نتیجه به دست آمده 96.89 درصد است. برچسب‌گذاری دو مرحله‌ای با استفاده از دسته‌بندی اولیه برچسب‌ها روشی است که می‌تواند کیفیت نتیجه را بهبود دهد هرچند نتیجه کمی آن از 95.91 درصد فراتر نرفت؛ اما نقطه قوت این پایان‌نامه اضافه کردن فاکتورهایی مانند P(t_(i-1) |t_i ) به مدل مارکوف و پیدا کردن نسبت بهینه بین آن‌ها با استفاده از روش‌های جستجوی مختلف ازجمله الگوریتم ژنتیک است. این روش توانست با موفقیت 97.06 درصدی نتیجه‌ای بهتر از روش‌های موجود ارائه دهد.