Оқапи BM25 - Okapi BM25 - Wikipedia

Жылы ақпаратты іздеу, Оқапи BM25 (БМ деген аббревиатура болып табылады ең жақсы сәйкестік) Бұл рейтинг функциясы қолданған іздеу жүйелері бағалау үшін өзектілігі берілген іздеу сұранысына құжаттар. Ол негізделеді ықтималдық іздеу жүйесі 1970-80 жж. дамыған Стивен Э. Робертсон, Карен Спарк Джонс, және басқалар.

Нақты рейтинг функциясының атауы - бұл BM25. Толық атау, Оқапи BM25, енгізілген Okapi ақпараттық іздеу жүйесі болған оны қолданған алғашқы жүйенің атауын қамтиды Лондон Келіңіздер Қалалық университет 1980 және 1990 жылдары. BM25 және оның жаңа нұсқалары, мысалы. BM25F (құжат құрылымы мен мәтіндік мәтінді ескере алатын BM25 нұсқасы), ең заманауи TF-IDF -құжаттарды іздеуде қолданылатын іздеу функциялары сияқты.[дәйексөз қажет ]

Рейтинг функциясы

BM25 - бұл сөз қаптары іздеу функциясы, құжаттағы жақындығына қарамастан, әр құжатта кездесетін сұрау шарттарына негізделген құжаттар жиынтығын дәрежелейді. Бұл компоненттері мен параметрлері біршама өзгеше баллдық функциялардың отбасы. Функцияның ең көрнекті нұсқаларының бірі келесідей.

Сұрау берілген Q, кілт сөздері бар , құжаттың BM25 ұпайы Д. бұл:

қайда болып табылады Келіңіздер мерзімді жиілік құжатта Д., - құжаттың ұзындығы Д. сөзбен, және avgdl - бұл құжаттар жинақталатын мәтін жинағындағы құжаттың орташа ұзындығы. және б кеңейтілген оңтайландыру болмаған жағдайда, әдетте таңдалатын еркін параметрлер болып табылады және .[1] IDF болып табылады (кері құжаттың жиілігі ) сұрау мерзімінің салмағы . Ол әдетте келесідей есептеледі:

қайда N - бұл жинақтағы құжаттардың жалпы саны және бар құжаттар саны .

IDF үшін бірнеше интерпретация және оның формуласында шамалы ауытқулар бар. Түпнұсқа BM25 туындысында IDF компоненті алынған Екілік тәуелсіздік моделі.

IDF үшін жоғарыда келтірілген формулада корпус құжаттарының жартысынан көбінде кездесетін терминдердің кемшіліктері бар. Бұл шарттар «IDF» теріс болып табылады, сондықтан кез-келген бірдей дерлік екі құжат үшін термин бар термин біреуі жоқ шарттан төменірек болуы мүмкін. Бұл көбінесе жағымсыз мінез-құлық болып табылады, сондықтан көптеген қосымшалар IDF формуласын әртүрлі тәсілдермен реттейді:

  • Әрбір шақыруға жалпы сөздерді қысқарту үшін 0-ден сөз берілуі мүмкін;
  • IDF функциясына тұрақты шама берілуі мүмкін , жалпы терминдер мүлдем еленбеуі үшін;
  • IDF функциясын ұқсас емес пішінмен ауыстыруға болады, ол теріс емес, немесе терминдер мүлдем еленбеуі үшін қатаң оң болады.

IDF-теориялық интерпретация

Мұнда ақпарат теориясының түсіндірмесі келтірілген. Сұрау терминін алайық ішінде пайда болады құжаттар. Содан кейін кездейсоқ таңдалған құжат ықтималдықпен терминді қамтиды (қайда бұл тағы да жинақтағы құжаттар жиынтығының маңыздылығы). Сондықтан ақпарат хабарламаның мазмұны « қамтиды «бұл:

Енді бізде екі сұраныстың шарттары бар делік және . Егер екі термин құжаттарда бір-біріне тәуелді болмаса, онда екеуін де көру ықтималдығы бар және кездейсоқ алынған құжатта бұл:

және мұндай оқиғаның ақпараттық мазмұны:

Кішкентай өзгеріс кезінде бұл BM25-тің IDF компонентімен дәл көрсетіледі.

Өзгерістер

  • Коэффициенттің шекті мәндері кезінде б BM25 ретінде белгілі рейтингтік функцияларға айналады BM11 (үшін ) және БМ15 (үшін ).[2]
  • BM25F[3][4] бұл BM25 модификациясы, онда құжат бірнеше өрістерден (тақырыптар, негізгі мәтін, мәтіндік мәтіндер сияқты) әртүрлі маңыздылық дәрежелерімен, мерзімділікке сәйкес қанықтылықпен және ұзындықты қалыпқа келтіру арқылы жасалған деп саналады.
  • BM25 +[5] BM25 кеңейтімі болып табылады. BM25 + стандартты BM25 бір жетіспеушілігін жою үшін әзірленген, онда құжаттың ұзындығы бойынша мерзімді жиілікті қалыпқа келтіру компоненті төмен деңгейде шектелмеген; осы жетіспеушіліктің нәтижесінде сұрау мерзіміне сәйкес келетін ұзақ құжаттарды BM25 әділетсіздікке ұшыратуы мүмкін, өйткені сұрау мерзімі мүлдем жоқ қысқа құжаттармен сәйкес келеді. BM25 + скорингтік формуласында тек бір қосымша қосымша параметр бар (әдепкі мән - 1.0 дайындық туралы мәліметтер болмаған жағдайда) BM25-мен салыстырғанда:

Әдебиеттер тізімі

  1. ^ Кристофер Д. Мэннинг, Прабхакар Рагхаван, Гинрих Шутце. Ақпаратты іздеуге кіріспе, Кембридж университетінің баспасы, 2009, б. 233.
  2. ^ «BM25 салмақ өлшеу схемасы».
  3. ^ Уго Сарагоса, Ник Красвелл, Майкл Тейлор, Сучи Сариа және Стивен Робертсон. Microsoft Cambridge TREC-13: Веб және HARD тректері. TREC-2004 еңбектерінде.
  4. ^ Стивен Робертсон және Уго Сарагоса (2009). «Ықтималдықтың сәйкестік негізі: BM25 және одан тысқары». Ақпаратты іздеудің негіздері мен тенденциялары. 3 (4): 333–389. CiteSeerX  10.1.1.156.5282. дои:10.1561/1500000019.
  5. ^ Yuanhua Lv және ChengXiang Zhai. Жиіліктің қалыпқа келтірілуінің төменгі шегі. CIKM'2011 жинағы, 7-16 беттер.

Жалпы сілтемелер

Сыртқы сілтемелер