جستجوي پيشرفته | کتابخانه مجازی الفبا

سیستم‌های مدیریت سوالات متداول کاربران، FAQ، در سال‌های اخیر توجه بسیاری را به خود جلب نموده است. این سیستم‌ها تا حد زیادی هزینه‌های پشتیبانی محصولات تولیدکنندگان را کاهش می‌دهند. هدف از این تحقیق پیاده‌سازی سیستم مدیریت سوالات متداول فارسی مبتنی بر هستان‌شناسی و پروفایل‌های کاربری می‌باشد. در این تحقیق، هستان‌شناسی فارسی برای مفاهیم حوزه کامپیوتر ایجاد می‌شود. ابتدا سوالات ورودی، که همگی به زبان محاوره‌ای می‌باشند، به حالت رسمی فارسی تبدیل می‌شوند. پس از انجام پیش‌پردازش‌های لازم، به کمک روش پیشنهادی جدید، میزان شباهت معنایی پرسش‌ها با یکدیگر سنجیده می‌شود و در یک ماتریس شباهت ذخیره‌سازی می‌گردد. با استفاده از الگوریتم خوشه‌بندی پیشنهادی، این پرسش‌ها در خوشه‌هایی که پرسش‌های داخل هر خوشه، از نظر معنایی به یکدیگر شباهت دارند، قرار داده می‌شوند. پرسش‌هایی که در خوشه‌های با اعضای بیشتری هستند، به عنوان پرسش‌های پرتکرار در نظر گرفته می‌شوند و با استفاده از این خوشه‌ها، لیست پرسش‌های متداول استخراج می‌گردد.هر کاربر با وارد کردن پرس و جوی موردنظر خود، لیستی از پرسش‌های مرتبط با پرس وجوی ورودی را دریافت می‌کند. در حین کار با سیستم، برای هر کاربر با توجه به شیوه کار با سیستم و پرس وجوهای ورودی، پروفایل‌هایی ایجاد می‌شود که در پرس و جوهای بعدی از این پروفایل‌ها برای بهبود نتایج جستجو استفاده می‌شود. با یک الگوریتم بازیابی نوین، با استفاده از پروفایل‌های کاربری، نتایج مرتبط پرسش کاربر استخراج می‌شود.

با توجه به گسترش روزافزون اطلاعات در دسترس از طریق اینترنت، لزوم استفاده از روش های خلاصه سازی خودکار متن، بیش از پیش احساس می شود. روش هایی که با استخراج مهمترین مطالب موجود در اسناد مانع از مطالعه کامل حجم انبوه از آنها شوند. خلاصه سازی عبارت است از فشرده سازی متن (متون) منبع و تولید یک نسخه کوتاه تر از آن به نحوی که محتوای اطلاعاتی آن حفظ شود. اغلب سیستم های خلاصه ساز با استفاده از روش های سطحی و معیارهای آماری به استخراج مهمترین بخش های متن منبع پرداخته و خلاصه نهایی را شکل می دهند. هدف این پژوهش استفاده از یک روش مبتنی بر پایگاه دانش در فرآیند خلاصه سازی است. در این راستا از پایگاه دانش هستی شناسی فارس نت به منظور دستیابی به مفاهیم موجود در متون و تولید خلاصه آنها استفاده خواهد شد. هستی شناسی یکی از مباحث مربوط به علم فلسفه است که یک ساختار سلسله مراتبی از همه موجودیت های عالم هستی به همراه روابط حاکم بر آنها فراهم می کند. در این پژوهش ابتدا با نگاشت متن مورد خلاصه سازی با پایگاه دانش هستی شناسی، گرافی تحت عنوان گراف موضوعی شکل می گیرد که حامل شمای مفهومی متن منبع است. سپس با استفاده از معیارهای مختلف تعیین اهمیت گرافی، اهمیت نسبی هر یک از گره های گراف ارزیابی می شود. سرانجام از این مقادیر به منظور تعیین اهمیت جملات مختلف موجود در متن منبع و ساخت خلاصه نهایی استفاده خواهد شد. نتایج حاصل از ارزیابی خلاصه های تولید شده، حاکی از برتری روش پیشنهاد شده در این پژوهش نسبت به سیستم های خلاصه ساز موجود است.

تاریخ ادبیات مانند علوم دیگر به بررسی و تحلیل نیاز دارد . این علم وابسته به سبک شناسی وجغرافیا و جامعه شناسی و.... وهریکی از این علوم در سیر وتحول تاریخ ادبی نقشی مهمی دارد . بعضی از منتقدان می گویند که اصلاً تاریخ ادبیات علم نیست وگروهی دیگر اشکالشان با تاریخ ادبیات در اینست که تاریخ ادبیات نه فقط ایران بلکه همه ملتهای دیگر مخصوصاً بررسی در تاریخ نوشته‌های که با اسلوب متعالی نوشته‌اند نیست بلکه گاهی اوقات تاریخ ادبیاتنثرهای علمی و طبی ذیل نام تاریخ ادبیات گذاشته شده است . مشخص کردن مرز نثرهای علمی از ادبی در تاریخ ادبیات ایران واقعاً دشوار است بر سبیل مثال کتاب تاریخ بیهقی که شامل داستانهای و روایات است اما به عنوان اثر ادبی تدریس می شودو مثالهای زیادی از این نوع هستند. واین موضوع نه فقط در دوران اسلامی بلکه حتی در روزگاران پیش ازاسلام هم هست چنانکه در تاریخ تفضلی که سنگنبشته‌ها و مهرها و سفال در هنگام سخنش از ادبیات آورده . و این امر به علت کم بودن متون ادبی یا از بین رفتن آنها یا حتی عدم وجود آنها چون چنانکه ذکر شد روایات و اشعار در زمانهای قدیم در سینه حفظ می شد . اما در دوران ساسانیایرانیها زیاد به نوشتن توجه کردند واین موضوع ادامه داشت تا ورود اسلام به ایران اما خط پهلوی نوبتش را به خط قرآن که عربی است داده . و ایرانیها به نوشتن مولفاتشان به زبان عربی همت گماشتند مخصوصاً در سالهای نخستین ورود اسلام به ایران اما بعد و هنگامی که ایرانیهای ضد ستم بنی امیه قیام کردند .این امر منجر شد به استقلال ایرانی‌ها و تشکیل حکومت‌های ایرانیکه ایران دوست بودند مخصوصاً سامانیان که متعصب به نژاد ایرانی شان بودند و امیران این سلسله ووزیران آن اهل علم و ادب بودند و به تشویق مردم نوشتن به زبان ایرانی و ترجمه از عربی فارسی اقدام نمودند و این موجب رشد و گسترش ادبیات فارسی شد ایرانیها اینجا متوقف نشدند بلکه با ترجمه‌های آنان از متون پهلوی بر شناساندن عربها به تمدن ایرانی قبل از اسلام ( ساسانی ) نقشی بسزا داشتند. پس ادبیات عربی بر ادبیات فارسی تأثیر گذاشت که این تأثیر تا امروز دوام یافته است و ادبیات فارسی در ادبیات عربی موثر بود واین در بسیاری از آثار و اشعار عربی متجلی و روشن است .

خوشه‌بندی یا دسته‌بندی بدون نظارت با سازمان‌دهی پیکره‌های بزرگ متنی، نقش کلیدی در پیمایش و مرور آسان انبوهی از متون دارد. نقش این سازمان‌دهی در موتورهای جستجو برای ارائه‌ خوشه‌های معنادار مرتبط با پرس‌و‌جو، جهت پیشگیری از سردرگمی کاربر در حجم عظیمی از اسناد بازیابی شده بیشتر نمایان می‌شود. علاوه بر مشکلاتی نظیر تعداد ابعاد بسیار زیاد و تحلیل خوشه‌ای، متاسفانه دیدگاه متعارف خوشه‌بندی‌های افرازی و سلسله‌مراتبی، به متن، همانند کیسه‌ای از کلمات است که در نتیجه در مقایسه‌ها فقط شباهت‌های ظاهری اسناد مورد توجه قرار می‌گیرد. در این نوع دیدگاه، کلمات یا تِرم‌ها کاملا ناهمبسته‌اند و به روابط کلمات (مثل هم‌معنایی و شمول) توجهی نمی‌شود. همچنین تلاشی برای رفع ابهام از کلمات چند‌معنایی صورت نمی‌گیرد. عدم توجه به این گونه مسائل غالبا منجر به خوشه‌بندی با ‌کیفیت پایین و یا غیرمعنایی می‌شود.در این تحقیق، زبان فارسی با توجه به اهمیت آن به عنوان یکی از زبان‌های زنده دنیا و رشد روزافزون متون الکترونیکی به زبان نوشتاری فارسی، مورد توجه قرار گرفته است. ایده اصلی یافتن توصیف‌های مناسب برای دانش پس‌زمینه و غنی‌سازی متن فارسی با استفاده از آن جهت افزایش کیفیت خوشه‌بندی است. برای نیل به این مقصود از منبع دانش خارجی با نام واژ-هستان‌شناسی فارس‌نت استفاده شده است. با کمک فارس‌نت عملیات رفع ابهام از دسته‌های معنایی کلمه صورت پذیرفته، روابط هم‌معنایی و شمول مربوط به معنای کلمه رفع ابهام شده، وارد بردار کلمات متن می‌شود. همچنین برای خوشه‌بندی متنی بر رهیافت نمایش مبتنی بر اجزاء یا فاکتورگیری نامنفی ماتریسِ ترم-متن تاکید شده است. نتایج ارزیابی‌های صورت گرفته بر روی پیکره استاندارد متنی همشهری، نشان از بهبود کیفیت خوشه‌بندی متون فارسی غنی‌شده (بخصوص با رابطه شمول) در مقایسه با خوشه‌بندی خام دارد. همچنین تاثیر این روابط در بهبود کیفیت خوشه‌بندی و نیز توضیح خوشه‌ای بر پایه فاکتورگیری نامنفی ماتریس بیشتر از خوشه‌بندی Bisecting Kmeans بوده است.

پرس‌وجو برای بیان نیازهای کاربران به اطلاعات موجود در صفحات وب و سایر منابع، مطرح می‌شود. پرس‌وجوهای کاربران معمولاً «بسیار کوتاه» و شامل دو یا سه کلمه می‌باشند. قابلیت زبان‌های مختلف در بیان یک مفهوم با چندین کلمه مترادف و وجود یک کلمه با بیش از یک معنی، منجر به مشکل «عدم تطابق کلمه» و «مبهم بودن پرس‌وجو» می‌شوند. در نتیجه تعداد زیادی اسناد غیرمرتبط بازیابی شده و دقت کاهش می‌یابد. برای رفع این مشکلات از تکنیک گسترش پرس‌وجو استفاده می‌شود که از طریق پیشنهاد و افزودن واژگان مناسب به پرس‌وجوی کاربر، موجب بهبود دقت بازیابی خواهد شد. مهمترین مسئله، تشخیص و انتخاب واژه خوب برای افزودن به پرس‌وجوی کاربر می‌باشد. در مباحث گسترش پرس‌وجو دو عامل مهم «روش انتخاب واژگان گسترش» و «منابع واژگان گسترش» وجود دارد. در این پایان‌نامه با درنظر گرفتن ویژگی‌های زبان فارسی و مسائل مرتبط با آن، به بررسی گسترش پرس‌وجو در موتور جستجوی فارسی می‌پردازیم. برای این کار از هستان‌شناسی عمومی فارس‌نت و شبکه مفهوم استفاده می‌کنیم که در برگیرنده روابط میان مفاهیم و کلمات می‌باشد. پس از دریافت پرس‌وجوی کاربر از طریق مطابقت آن با شبکه مفهوم، گروهی از کلمات مرتبط با پرس‌وجوی کاربر استخراج می‌شوند و در مرحله بعد مطابق الگوریتم ارائه شده، رتبه‌بندی می‌شوند. در پایان تعدادی از کلمات بسیار مرتبط با پرس‌وجوی کاربر به صورت خودکار به پرس‌وجوی اولیه کاربر افزوده می‌شوند و پرس‌وجوی گسترش یافته مورد جستجو قرار می‌گیرد. نتایج آزمایش‌های انجام شده، نشان دهنده بهبود عملکرد و افزایش دقت بازیابی می‌باشد.