جستجوي پيشرفته | کتابخانه مجازی الفبا

با توجه به رشد روزافزون اسناد الکترونیکی، نیاز به یک دسته بند کارا در حوزه داده کاوی واضح است. اخیراً به منظور افزایش دقت دسته بندی، استفاده از آنتولوژی لغوی به عنوان مرجع خارجی و نیز استخراج دانش از متون در فرآیند دسته بندی، مطرح شده است؛ از این رو، هدف از انجام این پروژه ارائه و پیاده سازی سیستم دسته بندی خودکار اسنادی است که آنتولوژی لغوی فارس نت را در عملیات دسته بندی داخل می نماید. این امر منجر به افزایش اوزان کلمات مرتبط با دانش پیش زمینه متن می شود. راهکار پیشنهادی برای استفاده از آنتولوژی لغوی، تمرکز بر روی بردار مشخصه ی معنایی را محور فعالیت های خود قرار داده است؛ تا بدین وسیله فرآیند دسته بندی را بهبود بخشد. در این پروژه ضمن بررسی و مطالعه ی روش های بکارگیری آنتولوژی لغوی در فرآیند دسته بندی، آنتولوژی لغوی فارس نت را به منظور استخراج روابط معنایی استفاده می نماییم.در سیستم ارائه شده، کلیه ی اجزاء تشکیل دهنده ی سیستم دسته بندی شامل پردازشگر لغوی، کاهنده ی ویژگی، انتخاب کننده ی ویژگی، وزن دهی به ویژگی و طبقه بندی کننده اسناد، لحاظ شده است. در این پروژه الگوریتم χ^2 در بخش انتخاب مشخصه و روش وزن دهی ویژگی نرمال شده TFIDF در بخش وزن دهی به کار گرفته می شود. پیش از اعمال روش وزن دهی به مشخصه ها، بردار مشخصه معنایی برای هر کلمه کلیدی توسط مفاهیم استخراج شده از آنتولوژی لغوی فارس نت، ایجاد می شود. نتایج ارزیابی های انجام شده نشان دهنده ی بهبود قابل توجهی در کارایی و دقت الگوریتم دسته بندی با بکارگیری آنتولوژی لغوی فارس نت است.

سیستم‌های مدیریت سوالات متداول کاربران، FAQ، در سال‌های اخیر توجه بسیاری را به خود جلب نموده است. این سیستم‌ها تا حد زیادی هزینه‌های پشتیبانی محصولات تولیدکنندگان را کاهش می‌دهند. هدف از این تحقیق پیاده‌سازی سیستم مدیریت سوالات متداول فارسی مبتنی بر هستان‌شناسی و پروفایل‌های کاربری می‌باشد. در این تحقیق، هستان‌شناسی فارسی برای مفاهیم حوزه کامپیوتر ایجاد می‌شود. ابتدا سوالات ورودی، که همگی به زبان محاوره‌ای می‌باشند، به حالت رسمی فارسی تبدیل می‌شوند. پس از انجام پیش‌پردازش‌های لازم، به کمک روش پیشنهادی جدید، میزان شباهت معنایی پرسش‌ها با یکدیگر سنجیده می‌شود و در یک ماتریس شباهت ذخیره‌سازی می‌گردد. با استفاده از الگوریتم خوشه‌بندی پیشنهادی، این پرسش‌ها در خوشه‌هایی که پرسش‌های داخل هر خوشه، از نظر معنایی به یکدیگر شباهت دارند، قرار داده می‌شوند. پرسش‌هایی که در خوشه‌های با اعضای بیشتری هستند، به عنوان پرسش‌های پرتکرار در نظر گرفته می‌شوند و با استفاده از این خوشه‌ها، لیست پرسش‌های متداول استخراج می‌گردد.هر کاربر با وارد کردن پرس و جوی موردنظر خود، لیستی از پرسش‌های مرتبط با پرس وجوی ورودی را دریافت می‌کند. در حین کار با سیستم، برای هر کاربر با توجه به شیوه کار با سیستم و پرس وجوهای ورودی، پروفایل‌هایی ایجاد می‌شود که در پرس و جوهای بعدی از این پروفایل‌ها برای بهبود نتایج جستجو استفاده می‌شود. با یک الگوریتم بازیابی نوین، با استفاده از پروفایل‌های کاربری، نتایج مرتبط پرسش کاربر استخراج می‌شود.

خوشه‌بندی یا دسته‌بندی بدون نظارت با سازمان‌دهی پیکره‌های بزرگ متنی، نقش کلیدی در پیمایش و مرور آسان انبوهی از متون دارد. نقش این سازمان‌دهی در موتورهای جستجو برای ارائه‌ خوشه‌های معنادار مرتبط با پرس‌و‌جو، جهت پیشگیری از سردرگمی کاربر در حجم عظیمی از اسناد بازیابی شده بیشتر نمایان می‌شود. علاوه بر مشکلاتی نظیر تعداد ابعاد بسیار زیاد و تحلیل خوشه‌ای، متاسفانه دیدگاه متعارف خوشه‌بندی‌های افرازی و سلسله‌مراتبی، به متن، همانند کیسه‌ای از کلمات است که در نتیجه در مقایسه‌ها فقط شباهت‌های ظاهری اسناد مورد توجه قرار می‌گیرد. در این نوع دیدگاه، کلمات یا تِرم‌ها کاملا ناهمبسته‌اند و به روابط کلمات (مثل هم‌معنایی و شمول) توجهی نمی‌شود. همچنین تلاشی برای رفع ابهام از کلمات چند‌معنایی صورت نمی‌گیرد. عدم توجه به این گونه مسائل غالبا منجر به خوشه‌بندی با ‌کیفیت پایین و یا غیرمعنایی می‌شود.در این تحقیق، زبان فارسی با توجه به اهمیت آن به عنوان یکی از زبان‌های زنده دنیا و رشد روزافزون متون الکترونیکی به زبان نوشتاری فارسی، مورد توجه قرار گرفته است. ایده اصلی یافتن توصیف‌های مناسب برای دانش پس‌زمینه و غنی‌سازی متن فارسی با استفاده از آن جهت افزایش کیفیت خوشه‌بندی است. برای نیل به این مقصود از منبع دانش خارجی با نام واژ-هستان‌شناسی فارس‌نت استفاده شده است. با کمک فارس‌نت عملیات رفع ابهام از دسته‌های معنایی کلمه صورت پذیرفته، روابط هم‌معنایی و شمول مربوط به معنای کلمه رفع ابهام شده، وارد بردار کلمات متن می‌شود. همچنین برای خوشه‌بندی متنی بر رهیافت نمایش مبتنی بر اجزاء یا فاکتورگیری نامنفی ماتریسِ ترم-متن تاکید شده است. نتایج ارزیابی‌های صورت گرفته بر روی پیکره استاندارد متنی همشهری، نشان از بهبود کیفیت خوشه‌بندی متون فارسی غنی‌شده (بخصوص با رابطه شمول) در مقایسه با خوشه‌بندی خام دارد. همچنین تاثیر این روابط در بهبود کیفیت خوشه‌بندی و نیز توضیح خوشه‌ای بر پایه فاکتورگیری نامنفی ماتریس بیشتر از خوشه‌بندی Bisecting Kmeans بوده است.

پرس‌وجو برای بیان نیازهای کاربران به اطلاعات موجود در صفحات وب و سایر منابع، مطرح می‌شود. پرس‌وجوهای کاربران معمولاً «بسیار کوتاه» و شامل دو یا سه کلمه می‌باشند. قابلیت زبان‌های مختلف در بیان یک مفهوم با چندین کلمه مترادف و وجود یک کلمه با بیش از یک معنی، منجر به مشکل «عدم تطابق کلمه» و «مبهم بودن پرس‌وجو» می‌شوند. در نتیجه تعداد زیادی اسناد غیرمرتبط بازیابی شده و دقت کاهش می‌یابد. برای رفع این مشکلات از تکنیک گسترش پرس‌وجو استفاده می‌شود که از طریق پیشنهاد و افزودن واژگان مناسب به پرس‌وجوی کاربر، موجب بهبود دقت بازیابی خواهد شد. مهمترین مسئله، تشخیص و انتخاب واژه خوب برای افزودن به پرس‌وجوی کاربر می‌باشد. در مباحث گسترش پرس‌وجو دو عامل مهم «روش انتخاب واژگان گسترش» و «منابع واژگان گسترش» وجود دارد. در این پایان‌نامه با درنظر گرفتن ویژگی‌های زبان فارسی و مسائل مرتبط با آن، به بررسی گسترش پرس‌وجو در موتور جستجوی فارسی می‌پردازیم. برای این کار از هستان‌شناسی عمومی فارس‌نت و شبکه مفهوم استفاده می‌کنیم که در برگیرنده روابط میان مفاهیم و کلمات می‌باشد. پس از دریافت پرس‌وجوی کاربر از طریق مطابقت آن با شبکه مفهوم، گروهی از کلمات مرتبط با پرس‌وجوی کاربر استخراج می‌شوند و در مرحله بعد مطابق الگوریتم ارائه شده، رتبه‌بندی می‌شوند. در پایان تعدادی از کلمات بسیار مرتبط با پرس‌وجوی کاربر به صورت خودکار به پرس‌وجوی اولیه کاربر افزوده می‌شوند و پرس‌وجوی گسترش یافته مورد جستجو قرار می‌گیرد. نتایج آزمایش‌های انجام شده، نشان دهنده بهبود عملکرد و افزایش دقت بازیابی می‌باشد.

نتایج پژوهش نشان داد که پاسخ به پرسش (1) می تواند مثبت باشد؛ با توجه به بسامد بالای 156 استعاره در 81 خبر، که تقریبا 2 استعاره در هر خبر است، می توان استعاره را نوعی از شگردهای بیان تلویحی در متون مطبوعاتی دانست.در پاسخ به پرسش (2) پژوهش و بر اساس تقسیم بندی لیکاف از انواع استعاره می توان گفت استعاره های جان بخشی با نسبت 24 به 156 حدودا 15 درصد از استعاره های موجود در پیکره را شامل می شدند. بعد از آنها استعاره های جهتی با 13 مورد رتبه دوم را داشتند و استعاره های ظرف و مظروف با فقط 8 مورد و 5 درصد از استعاره های موجود در پیکره، از کمترین بسامد برخوردار بودند. پاسخ پرسش (3) بیشترین ارتباط با وقوع همزمان در 69 خبر بین استعاره و ارزش خبری برخورد دیده می شود. بعد از آن ارزشهای خبری شهرت و شگفتی هستند که هر یک در 35 خبر با استعاره وقوع همزمان دارند. در رتبه سوم، ارزش خبری تازگی است که در 33 خبر وقوع همزمان با استعاره دارد. در 30 خبر وقوع همزمان استعاره و ارزش خبری مجاورت دیده می شود. در 26 خبر وقوع همزمان استعاره و ارزش خبری بزرگی را شاهدیم. و در پایان در 23 خبر وقوع همزمان استعاره و ارزش خبری دربرگیری را داریم. پس بیشترین ارتباط استعاره را می توان با ارزش خبری برخورد مشاهده کرد و ارزشهای خبری بعدی به ترتیب فوق در ارتباط با استعاره دیده می شوند. حال به بررسی صحت و سقم فرضیه های پژوهش بپردازیم. آنچنان که در نمودارهای فصل 4 دیدیم، بسامد استعاره های موجود در تیتر و لید خبرهای پیکره تحقیق در بین 81 خبر به 156 استعاره می رسد؛ یعنی به طور متوسط 92/1 استعاره در هر خبر و این یافته فرضیه (1) پژوهش را در محدوده پیکره مورد بررسی تایید می کند. در مورد فرضیه (2) از میان 156 استعاره موجود در کل پیکره، 31 استعاره در تیترها و 125 استعاره در لیدها وجود دارد. استعاره های ظرف و مظروف دارای کمترین بسامد –هشت- و استعاره های جان بخشی دارای بیشترین بسامد -24- بوده اند. در میان ارزشهای خبری بیشترین بسامد -76- را ارزش خبری «برخورد» دارد؛یعنی از 81 خبر تنها پنج خبر فاقد این ارزش بوده اند. بدین ترتیب فرضیه (2) نیز پذیرفته می شود.اما در رد فرضیه (3) اذعان به این نکته ضروری است که در پیکره مورد بررسی استعاره های ظرف و مظروف از بسامد بسیار کمی برخوردار بودند؛ یعنی 8 استعاره در 81 خبر که چیزی حدود 10 درصد می شود و اگر بسامد نسبت به تعداد کل استعاره ها نیز در نظر گرفته شود به میزان ناچیز 5 درصد می رسیم.