جستجوي پيشرفته | کتابخانه مجازی الفبا

اهمیت دسته بندی موضوعی صفحات وب باعث شده با پیدایش اولین سایت های اینترنتیشرکت های بزرگی مانند یاهو و AOL به فکر ارائه سرویس های فهرست وب که وب سایت های مختلف را با کمک نیروی انسانی بر اساس موضوع دسته بندی می کند بیفتند. با افزایش روز افزون تعداد صفحات وب و عدم امکان دسته بندی صفحات وب به صورت دستی و همچنین پیدایش کاربرد های دیگری برای دسته بندی خودکار صفحات وب از قبیل فیلترینگ هوشمند و ایجاد نسل آینده موتور های جستجو گر، تحقیقاتی در این زمینه صورت گرفته که متاسفانه تا کنون نتیجه ای مطلوب و کاربردی حاصل نشده است. در اکثر تحقیقات پیشین در زمینه دسته بندی خودکار صفحات وب تنها از یک، دو و یا نهایتا سه مورد از ویژگی های قابل استخراج از صفحات وب استفاده گردیده است. از جمله این ویژگی ها می توان به استفاده از خواص تگ هایHTML از قبیل تگ های متا،عنوان صفحات، تگ های تاکید، پیوند ها و صفحات همسایه، آدرس صفحات ، موقعیت مکانی کلمات و فرکانس تکرار آنها و نیز استفاده از تکنیک های آنتالوژیاشاره کرد. در روش پیشنهادی که در این پایان نامه ارائه شده است بر روی ترکیب این موارد تمرکز شده و نشان داده شده است که استفاده همزمان از ویژگی های مختلف می تواند به افزایش دقت دسته بندی صفحات وب کمک کند.

در سال‌های اخیر، تکنیک‌های فیلتر محتوایی دانش‌محور مبتنی‌بر پایگاه دانش و آنتولوژی به‌ روش‌هایی کارا و قابل‌قبول برای فیلتر اطلاعات تبدیل شده‌اند. در این تحقیق از ساختار آنتولوژی و پایگاه‌دانش‌های ویکی‌پدیا، وردنت و BNC برای عمل فیلتر اسناد، بهبود نمایش اولویت‌های کاربری و محتوای اسناد و محاسبه شباهت معنایی استفاده می‌شود. همچنین سامان‌دهی علایق کاربری و محتوای اسناد در پروفایل‌ها امکان استخراج دانش درباره‌ی علایق احتمالی کاربران و محتوای اسناد را با استفاده از آنتولوژی و پایگاه‌دانش فراهم می‌آورد. این تحقیق روشی نوین و منحصر‌به‌فرد در ساختار ترکیب خبرگان برای فیلتر اسناد ارائه می‌کند و مجموعه‌ای از بهترین و کاراترین روش‌های فیلتر را پیاده‌سازی و با هم یکپارچه می‌کند. ارزیابی سیستم در دو مرحله ارزیابی روش‌های محاسبه شباهت معنایی و روش‌های فیلتر محتوایی با استفاده از مجموعه داده‌های میلر- چارلز و 20Newsgroup انجام می‌شود. نتایج ارزیابی، همبستگی زیاد روش‌های محاسبه‌ی شباهت معنایی میان مفاهیم را با قضاوت بشر نشان می‌دهد. روش‌ مبتنی‌بر ویکی‌پدیا با میزان همبستگی 0.779 نه‌تنها از دیگر روش‌های پیاده‌سازی شده بهتر عمل می‌کند بلکه از روش‌های مشابه و شناخته‌شده‌ای مانند CODC با میزان همبستگی 0.693 و روش ESA با میزان همبستگی 0.58 بهتر عمل می‌کند. به‌علاوه در ارزیابی روش‌های فیلتر دانش‌محور ملاحظه می‌شود که روش مبتنی‌بر آنتولوژی با نرخ صحت و کارآیی98.9 و 98 درصد و روش مبتنی‌بر ویکی‌پدیا با نرخ صحت و کارآیی98.2 و 96 درصد نتایجبهتری نسبت به دیگر روش‌های مشابه و شناخته شده مانند NB-SVM Hybrid دارند. همچنین نتایج ارزیابی روش مبتنی‌بر ساختار ترکیب خبرگانبا نرخ صحت و کارآیی 99.4 و 98.9 درصد نشان می‌دهد کهاین روش نه‌تنها از تک‌تک روش‌های پیاده‌سازی شده کارآیی و صحت بالاتری دارد، بلکه می‌تواند خطاهای عمل فیلتر را تصحیح کند. براساس این نتایج، سیستم پیاده‌سازی شده می‌تواند به‌عنوان رویکرد جدیدی در فیلتر محتوایی و به‌عنوان چارچوبی برای استفاده در کاربردهای فیلتر اطلاعات استفاده شود.

یافتن میزان شباهت اسناد از مسائل مطرح دنیای مملوء از اطلاعات امروز است و در این میان یافتن شباهت میان صفحات وب به مسئله ای جدیدتر در دنیای اطلاعات تحت وب تبدیل شده است. آنچه که در سنجش شباهت بسیار مطرح است، نزدیک بودن صفحه انتخاب شده به عنوان صفحه مشابه صفحه مورد نظر کاربر، به قضاوت انسان یعنی کاربر درخواست کننده، است. طرح حاضر با نوآوری استفاده از هستان شناسی ها و توجه به ساختار صفحات وب و اولویت بندی اجزاء صفحات، در ارزیابی انجام شده توانسته است کارآیی خوبی از خود به نمایش گذارد. در این طرح هستان شناسی نقش یابنده شباهت معنایی دو صفحه را بازی می کند و با استفاده از ساختار صفحات وب که صفحاتی نیمه ساختار یافته اند، مسئله شباهت سنجی بهینه تر گردیده است. چگونگی استفاده از ساختار صفحات وب و اولویت بندی اجزاء آنها، بر اساس عملکرد موتورهای جستجو طراحی شده است و با سنجش عملکرد اولویتهای مختلف اعطاء شده به اجزاء صفحه، ترتیب بهینه ای از این اجزاء درنظر گرفته شده است. برای پیاده سازی و اجرای طرح حاضر برنامه ای نوشته شده است و یک پایگاه داده مناسب از صفحات وب فراهم گردیده، که طرح حاضر و روشهای مشابه، توسط برنامه برروی پایگاه داده اجرا می شود. طرح حاضر در میان روشهای دیگر شباهت سنجی که به دقت انتخاب شده بودند از کارآیی بالاتری برخوردار است.