جستجوي پيشرفته | کتابخانه مجازی الفبا

با توجه به گسترش روزافزون اطلاعات در دسترس از طریق اینترنت، لزوم استفاده از روش های خلاصه سازی خودکار متن، بیش از پیش احساس می شود. روش هایی که با استخراج مهمترین مطالب موجود در اسناد مانع از مطالعه کامل حجم انبوه از آنها شوند. خلاصه سازی عبارت است از فشرده سازی متن (متون) منبع و تولید یک نسخه کوتاه تر از آن به نحوی که محتوای اطلاعاتی آن حفظ شود. اغلب سیستم های خلاصه ساز با استفاده از روش های سطحی و معیارهای آماری به استخراج مهمترین بخش های متن منبع پرداخته و خلاصه نهایی را شکل می دهند. هدف این پژوهش استفاده از یک روش مبتنی بر پایگاه دانش در فرآیند خلاصه سازی است. در این راستا از پایگاه دانش هستی شناسی فارس نت به منظور دستیابی به مفاهیم موجود در متون و تولید خلاصه آنها استفاده خواهد شد. هستی شناسی یکی از مباحث مربوط به علم فلسفه است که یک ساختار سلسله مراتبی از همه موجودیت های عالم هستی به همراه روابط حاکم بر آنها فراهم می کند. در این پژوهش ابتدا با نگاشت متن مورد خلاصه سازی با پایگاه دانش هستی شناسی، گرافی تحت عنوان گراف موضوعی شکل می گیرد که حامل شمای مفهومی متن منبع است. سپس با استفاده از معیارهای مختلف تعیین اهمیت گرافی، اهمیت نسبی هر یک از گره های گراف ارزیابی می شود. سرانجام از این مقادیر به منظور تعیین اهمیت جملات مختلف موجود در متن منبع و ساخت خلاصه نهایی استفاده خواهد شد. نتایج حاصل از ارزیابی خلاصه های تولید شده، حاکی از برتری روش پیشنهاد شده در این پژوهش نسبت به سیستم های خلاصه ساز موجود است.

سیستم‌های مدیریت سوالات متداول کاربران، FAQ، در سال‌های اخیر توجه بسیاری را به خود جلب نموده است. این سیستم‌ها تا حد زیادی هزینه‌های پشتیبانی محصولات تولیدکنندگان را کاهش می‌دهند. هدف از این تحقیق پیاده‌سازی سیستم مدیریت سوالات متداول فارسی مبتنی بر هستان‌شناسی و پروفایل‌های کاربری می‌باشد. در این تحقیق، هستان‌شناسی فارسی برای مفاهیم حوزه کامپیوتر ایجاد می‌شود. ابتدا سوالات ورودی، که همگی به زبان محاوره‌ای می‌باشند، به حالت رسمی فارسی تبدیل می‌شوند. پس از انجام پیش‌پردازش‌های لازم، به کمک روش پیشنهادی جدید، میزان شباهت معنایی پرسش‌ها با یکدیگر سنجیده می‌شود و در یک ماتریس شباهت ذخیره‌سازی می‌گردد. با استفاده از الگوریتم خوشه‌بندی پیشنهادی، این پرسش‌ها در خوشه‌هایی که پرسش‌های داخل هر خوشه، از نظر معنایی به یکدیگر شباهت دارند، قرار داده می‌شوند. پرسش‌هایی که در خوشه‌های با اعضای بیشتری هستند، به عنوان پرسش‌های پرتکرار در نظر گرفته می‌شوند و با استفاده از این خوشه‌ها، لیست پرسش‌های متداول استخراج می‌گردد.هر کاربر با وارد کردن پرس و جوی موردنظر خود، لیستی از پرسش‌های مرتبط با پرس وجوی ورودی را دریافت می‌کند. در حین کار با سیستم، برای هر کاربر با توجه به شیوه کار با سیستم و پرس وجوهای ورودی، پروفایل‌هایی ایجاد می‌شود که در پرس و جوهای بعدی از این پروفایل‌ها برای بهبود نتایج جستجو استفاده می‌شود. با یک الگوریتم بازیابی نوین، با استفاده از پروفایل‌های کاربری، نتایج مرتبط پرسش کاربر استخراج می‌شود.

نتایج پژوهش نشان داد که پاسخ به پرسش (1) می تواند مثبت باشد؛ با توجه به بسامد بالای 156 استعاره در 81 خبر، که تقریبا 2 استعاره در هر خبر است، می توان استعاره را نوعی از شگردهای بیان تلویحی در متون مطبوعاتی دانست.در پاسخ به پرسش (2) پژوهش و بر اساس تقسیم بندی لیکاف از انواع استعاره می توان گفت استعاره های جان بخشی با نسبت 24 به 156 حدودا 15 درصد از استعاره های موجود در پیکره را شامل می شدند. بعد از آنها استعاره های جهتی با 13 مورد رتبه دوم را داشتند و استعاره های ظرف و مظروف با فقط 8 مورد و 5 درصد از استعاره های موجود در پیکره، از کمترین بسامد برخوردار بودند. پاسخ پرسش (3) بیشترین ارتباط با وقوع همزمان در 69 خبر بین استعاره و ارزش خبری برخورد دیده می شود. بعد از آن ارزشهای خبری شهرت و شگفتی هستند که هر یک در 35 خبر با استعاره وقوع همزمان دارند. در رتبه سوم، ارزش خبری تازگی است که در 33 خبر وقوع همزمان با استعاره دارد. در 30 خبر وقوع همزمان استعاره و ارزش خبری مجاورت دیده می شود. در 26 خبر وقوع همزمان استعاره و ارزش خبری بزرگی را شاهدیم. و در پایان در 23 خبر وقوع همزمان استعاره و ارزش خبری دربرگیری را داریم. پس بیشترین ارتباط استعاره را می توان با ارزش خبری برخورد مشاهده کرد و ارزشهای خبری بعدی به ترتیب فوق در ارتباط با استعاره دیده می شوند. حال به بررسی صحت و سقم فرضیه های پژوهش بپردازیم. آنچنان که در نمودارهای فصل 4 دیدیم، بسامد استعاره های موجود در تیتر و لید خبرهای پیکره تحقیق در بین 81 خبر به 156 استعاره می رسد؛ یعنی به طور متوسط 92/1 استعاره در هر خبر و این یافته فرضیه (1) پژوهش را در محدوده پیکره مورد بررسی تایید می کند. در مورد فرضیه (2) از میان 156 استعاره موجود در کل پیکره، 31 استعاره در تیترها و 125 استعاره در لیدها وجود دارد. استعاره های ظرف و مظروف دارای کمترین بسامد –هشت- و استعاره های جان بخشی دارای بیشترین بسامد -24- بوده اند. در میان ارزشهای خبری بیشترین بسامد -76- را ارزش خبری «برخورد» دارد؛یعنی از 81 خبر تنها پنج خبر فاقد این ارزش بوده اند. بدین ترتیب فرضیه (2) نیز پذیرفته می شود.اما در رد فرضیه (3) اذعان به این نکته ضروری است که در پیکره مورد بررسی استعاره های ظرف و مظروف از بسامد بسیار کمی برخوردار بودند؛ یعنی 8 استعاره در 81 خبر که چیزی حدود 10 درصد می شود و اگر بسامد نسبت به تعداد کل استعاره ها نیز در نظر گرفته شود به میزان ناچیز 5 درصد می رسیم.

با توجه به رشد روزافزون اسناد الکترونیکی، نیاز به یک دسته بند کارا در حوزه داده کاوی واضح است. اخیراً به منظور افزایش دقت دسته بندی، استفاده از آنتولوژی لغوی به عنوان مرجع خارجی و نیز استخراج دانش از متون در فرآیند دسته بندی، مطرح شده است؛ از این رو، هدف از انجام این پروژه ارائه و پیاده سازی سیستم دسته بندی خودکار اسنادی است که آنتولوژی لغوی فارس نت را در عملیات دسته بندی داخل می نماید. این امر منجر به افزایش اوزان کلمات مرتبط با دانش پیش زمینه متن می شود. راهکار پیشنهادی برای استفاده از آنتولوژی لغوی، تمرکز بر روی بردار مشخصه ی معنایی را محور فعالیت های خود قرار داده است؛ تا بدین وسیله فرآیند دسته بندی را بهبود بخشد. در این پروژه ضمن بررسی و مطالعه ی روش های بکارگیری آنتولوژی لغوی در فرآیند دسته بندی، آنتولوژی لغوی فارس نت را به منظور استخراج روابط معنایی استفاده می نماییم.در سیستم ارائه شده، کلیه ی اجزاء تشکیل دهنده ی سیستم دسته بندی شامل پردازشگر لغوی، کاهنده ی ویژگی، انتخاب کننده ی ویژگی، وزن دهی به ویژگی و طبقه بندی کننده اسناد، لحاظ شده است. در این پروژه الگوریتم χ^2 در بخش انتخاب مشخصه و روش وزن دهی ویژگی نرمال شده TFIDF در بخش وزن دهی به کار گرفته می شود. پیش از اعمال روش وزن دهی به مشخصه ها، بردار مشخصه معنایی برای هر کلمه کلیدی توسط مفاهیم استخراج شده از آنتولوژی لغوی فارس نت، ایجاد می شود. نتایج ارزیابی های انجام شده نشان دهنده ی بهبود قابل توجهی در کارایی و دقت الگوریتم دسته بندی با بکارگیری آنتولوژی لغوی فارس نت است.

پرس‌وجو برای بیان نیازهای کاربران به اطلاعات موجود در صفحات وب و سایر منابع، مطرح می‌شود. پرس‌وجوهای کاربران معمولاً «بسیار کوتاه» و شامل دو یا سه کلمه می‌باشند. قابلیت زبان‌های مختلف در بیان یک مفهوم با چندین کلمه مترادف و وجود یک کلمه با بیش از یک معنی، منجر به مشکل «عدم تطابق کلمه» و «مبهم بودن پرس‌وجو» می‌شوند. در نتیجه تعداد زیادی اسناد غیرمرتبط بازیابی شده و دقت کاهش می‌یابد. برای رفع این مشکلات از تکنیک گسترش پرس‌وجو استفاده می‌شود که از طریق پیشنهاد و افزودن واژگان مناسب به پرس‌وجوی کاربر، موجب بهبود دقت بازیابی خواهد شد. مهمترین مسئله، تشخیص و انتخاب واژه خوب برای افزودن به پرس‌وجوی کاربر می‌باشد. در مباحث گسترش پرس‌وجو دو عامل مهم «روش انتخاب واژگان گسترش» و «منابع واژگان گسترش» وجود دارد. در این پایان‌نامه با درنظر گرفتن ویژگی‌های زبان فارسی و مسائل مرتبط با آن، به بررسی گسترش پرس‌وجو در موتور جستجوی فارسی می‌پردازیم. برای این کار از هستان‌شناسی عمومی فارس‌نت و شبکه مفهوم استفاده می‌کنیم که در برگیرنده روابط میان مفاهیم و کلمات می‌باشد. پس از دریافت پرس‌وجوی کاربر از طریق مطابقت آن با شبکه مفهوم، گروهی از کلمات مرتبط با پرس‌وجوی کاربر استخراج می‌شوند و در مرحله بعد مطابق الگوریتم ارائه شده، رتبه‌بندی می‌شوند. در پایان تعدادی از کلمات بسیار مرتبط با پرس‌وجوی کاربر به صورت خودکار به پرس‌وجوی اولیه کاربر افزوده می‌شوند و پرس‌وجوی گسترش یافته مورد جستجو قرار می‌گیرد. نتایج آزمایش‌های انجام شده، نشان دهنده بهبود عملکرد و افزایش دقت بازیابی می‌باشد.