Kneser-Ney тегістеу - Kneser–Ney smoothing - Wikipedia

Kneser-Ney тегістеу - есептеу үшін ең алдымен қолданылатын әдіс ықтималдық тарату n-граммалар ішінде құжат олардың тарихына негізделген.^[1] Бұл ең тиімді әдіс болып саналады тегістеу оны абсолютті дисконттауды ықтималдықтың төменгі ретті шарттарынан белгіленген мәнді алып тастау арқылы қолдануына байланысты n- төменгі жиіліктегі бағдарламалар. Бұл тәсіл жоғары және төменгі деңгей үшін бірдей тиімді болып саналды n-граммалар. Әдісті Рейнхард Кнесер, Уте Эссен және Герман Ней [де ].^[2]

Осы әдістің негізіндегі тұжырымдаманы көрсететін жалпы мысал - жиілігі биграм "Сан-Франциско Егер бұл тренингте бірнеше рет пайда болса корпус, жиілігі униграмма «Франциско» да жоғары болады. Жиіліктерін болжау үшін тек униграмма жиілігіне сүйенеді n-граммалар бұрмаланған нәтижелерге әкеледі;^[3] дегенмен, Кнезер-Ней тегістеуі униграмманың жиілігін оның алдындағы мүмкін сөздерге қатысты ескере отырып түзетеді.

Әдіс

Келіңіздер ${ displaystyle c (w, w ')}$ сөздің пайда болу саны ${ displaystyle w}$ содан кейін сөз ${ displaystyle w '}$ корпуста.

Биграм ықтималдығының теңдеуі келесідей:

${ displaystyle p_ {KN} (w_ {i} | w_ {i-1}) = { frac { max (c (w_ {i-1}, w_ {i}) - delta, 0)} { sum _ {w '} c (w_ {i-1}, w')}} + lambda _ {w_ {i-1}} p_ {KN} (w_ {i})}$^[4]

Униграмма ықтималдығы қайда ${ displaystyle p_ {KN} (w_ {i})}$ сөзді көру ықтималдылығына байланысты ${ displaystyle w_ {i}}$ кез келген басқа сөзден кейін пайда болу реті деп саналатын бейтаныс контекстте, корпус құрамындағы сөздердің нақты жұптарының санына бөлінгенде:

${ displaystyle p_ {KN} (w_ {i}) = { frac {| {w ': 0$

Ескертіп қой ${ displaystyle p_ {KN}}$ - бұл дұрыс үлестіру, өйткені жоғарыда көрсетілген мәндер теріс емес және бірге қосылады.

Параметр ${ displaystyle delta}$ әр n-граммның есептен шығарылатын дисконттау мәнін білдіретін тұрақты, көбінесе 0 мен 1 аралығында болады.

Нормалайтын тұрақты шаманың мәні ${ displaystyle lambda _ {w_ {i-1}}}$ шартты ықтималдықтардың қосындысын жасау үшін есептеледі ${ displaystyle p_ {KN} (w_ {i} | w_ {i-1})}$ бәрінен бұрын ${ displaystyle w_ {i}}$ біреуіне тең. Бұған назар аударыңыз (берілген) ${ displaystyle delta <1}$) әрқайсысы үшін ${ displaystyle w_ {i}}$ контексінде кем дегенде бір рет кездеседі ${ displaystyle w_ {i-1}}$ корпуста біз ықтималдықты дәл сол тұрақты шамамен төмендетеміз ${ displaystyle { delta} / left ( sum _ {w '} c (w_ {i-1}, w') right)}$, сондықтан жалпы жеңілдік бірегей сөздердің санына тәуелді болады ${ displaystyle w_ {i}}$ кейін пайда болуы мүмкін ${ displaystyle w_ {i-1}}$.Бұл жалпы жеңілдік - бұл біз бәріне таратуға болатын бюджет ${ displaystyle p_ {KN} (w_ {i} | w_ {i-1})}$ пропорционалды ${ displaystyle p_ {KN} (w_ {i})}$. Мәндері бойынша ${ displaystyle p_ {KN} (w_ {i})}$ біреуін қосқанда, біз жай анықтай аламыз ${ displaystyle lambda _ {w_ {i-1}}}$ жалпы жеңілдікке тең болу үшін:

${ displaystyle lambda _ {w_ {i-1}} = { frac { delta} { sum _ {w '} c (w_ {i-1}, w')}} | {w ': 0$

Бұл теңдеуді n-граммға дейін ұзартуға болады. Келіңіздер ${ displaystyle w_ {i-n + 1} ^ {i-1}}$ болуы ${ displaystyle n-1}$ сөздер бұрын ${ displaystyle w_ {i}}$:

${ displaystyle p_ {KN} (w_ {i} | w_ {i-n + 1} ^ {i-1}) = { frac { max (c (w_ {i-n + 1} ^ {i-) 1}, w_ {i}) - delta, 0)} { sum _ {w '} c (w_ {i-n + 1} ^ {i-1}, w')}} + delta { frac {| {w ': 0$^[5]

Бұл модель абсолютті-дисконттау интерполяциясы тұжырымдамасын қолданады, ол жоғары және төменгі деңгейлі тілдік модельдерден ақпараттар алады. Төмен ретті n-грамм үшін терминнің қосылуы, жоғары ретті n-грамм үшін санау нөлге тең болған кезде, жалпы ықтималдылыққа үлкен салмақ қосады.^[6] Сол сияқты n-граммның саны нөлге тең болмаған кезде төменгі ретті модельдің салмағы азаяды.

Өзгертілген Kneser-Ney тегістеу

Бұл әдістің модификациясы да бар.^[7]

Әдебиеттер тізімі