Журналдық теңсіздік - Log sum inequality

The журнал сомасының теңсіздігі теоремаларын дәлелдеу үшін қолданылады ақпарат теориясы.

Мәлімдеме

Келіңіздер ${displaystyle a_ {1}, ldots, a_ {n}}$ және ${displaystyle b_ {1}, ldots, b_ {n}}$ теріс емес сандар болуы керек. Барлығының қосындысын белгілеңіз ${displaystyle a_ {i}}$s by ${displaystyle a}$ және барлығының қосындысы ${displaystyle b_ {i}}$s by ${displaystyle b}$. Журналдық теңсіздік бұл туралы айтады

${displaystyle sum _ {i = 1} ^ {n} a_ {i} log {frac {a_ {i}} {b_ {i}}} geq alog {frac {a} {b}},}$

теңдікпен және егер болса ${displaystyle {frac {a_ {i}} {b_ {i}}}}$ барлығы үшін тең ${displaystyle i}$, басқа сөздермен айтқанда ${displaystyle a_ {i} = cb_ {i}}$ барлығына ${displaystyle i}$.^[1]

(Алыңыз ${displaystyle a_ {i} log {frac {a_ {i}} {b_ {i}}}}$ болу ${displaystyle 0}$ егер ${displaystyle a_ {i} = 0}$ және ${displaystyle жарамсыз}$ егер ${displaystyle a_ {i}> 0, b_ {i} = 0}$. Бұл тиісті сан ұмтылған кезде алынған шекті мәндер ${displaystyle 0}$.)^[1]

Дәлел

Орнатқаннан кейін назар аударыңыз ${displaystyle f (x) = xlog x}$ Бізде бар

${displaystyle {egin {aligned} sum _ {i = 1} ^ {n} a_ {i} log {frac {a_ {i}} {b_ {i}}} & {} = sum _ {i = 1} ^ {n} b_ {i} ұшу ({frac {a_ {i}} {b_ {i}}} ight) = bsum _ {i = 1} ^ {n} {frac {b_ {i}} {b}} ұшу ({frac {a_ {i}} {b_ {i}}} ight) & {} geq bfleft (sum _ {i = 1} ^ {n} {frac {b_ {i}} {b}} { frac {a_ {i}} {b_ {i}}} ight) = bfleft ({frac {1} {b}} sum _ {i = 1} ^ {n} a_ {i} ight) = bfleft ({frac {a} {b}} ight) & {} = alog {frac {a} {b}}, соңы {aligned}}}$

мұнда теңсіздік туындайды Дженсен теңсіздігі бері ${displaystyle {frac {b_ {i}} {b}} geq 0}$, ${displaystyle sum _ {i = 1} ^ {n} {frac {b_ {i}} {b}} = 1}$, және ${displaystyle f}$ дөңес.^[1]

Жалпылау

Теңсіздік үшін жарамды болып қалады ${displaystyle n = жарамсыз}$ деген шартпен ${displaystyle a$ және ${displaystyle b$.^{[дәйексөз қажет ]}Жоғарыдағы дәлел кез-келген функцияға сәйкес келеді ${displaystyle g}$ осындай ${displaystyle f (x) = xg (x)}$ барлық үздіксіз кемімейтін функциялар сияқты дөңес болып табылады. Логарифмнен басқа кемімейтін функцияларды жалпылау Csisz 谩 r, 2004 келтірілген.

Қолданбалар

Журналдық қосынды теңсіздігін ақпарат теориясындағы теңсіздіктерді дәлелдеу үшін пайдалануға болады. Гиббстің теңсіздігі деп мәлімдейді Каллбэк-Лейблер дивергенциясы теріс емес, дәл егер оның аргументтері тең болса, нөлге тең.^[2] Дәлелдердің бірі журналдың теңсіздігін қолданады.

Дәлел[1]

Келіңіздер ${displaystyle P = (p_ {i}) _ {iin mathbb {N}}}$ және ${displaystyle Q = (q_ {i}) _ {iin mathbb {N}}}$ pmfs болыңыз. Журналдағы теңсіздікті ауыстырыңыз ${displaystyle n = жарамсыз}$, ${displaystyle a_ {i} = p_ {i}}$ және ${displaystyle b_ {i} = q_ {i}}$ алу ${displaystyle mathbb {D} _ {mathrm {KL}} (P | Q) equiv sum _ {i} p_ {i} log _ {2} {frac {p_ {i}} {q_ {i}}} geq 1log {frac {1} {1}} = 0}$ теңдікпен және егер болса ${displaystyle p_ {i} = q_ {i}}$ барлығы үшін (екеуі сияқты) ${displaystyle P}$ және ${displaystyle Q}$ қосыңыз 1).

Теңсіздік Куллбек-Лейблер дивергенциясының дөңестігін де дәлелдей алады.^[3]

Ескертулер

Әдебиеттер тізімі

• Томас М. Джой А.Томас (1991). Ақпараттық теорияның элементтері. Хобокен, Нью-Джерси: Вили. ISBN  978-0-471-24195-9.
• Csisz 谩 r, I.; Shields, P. (2004). «Ақпараттық теория және статистика: оқу құралы» (PDF). Байланыс және ақпарат теориясының негіздері мен тенденциялары. 1 (4): 417–528. дои:10.1561/0100000004. Алынған 2009-06-14.
• Т.С. Хан, К.Кобаяши, Ақпарат және кодтау математикасы. Американдық математикалық қоғам, 2001 ж. ISBN  0-8218-0534-7.
• Ақпараттық теорияның курстық материалдары, Юта штатының университеті [1]. 2009-06-14 алынған.
• Маккей, Дэвид Дж. (2003). Ақпарат теориясы, қорытынды және оқыту алгоритмдері. Кембридж университетінің баспасы. ISBN  0-521-64298-1.