Shannon-Khinchin公理的Ulam稳定性

柴志成, 秦晓波

(贵阳学院 数学与信息科学学院, 贵州 贵阳 550005)

香农熵是由C. E. Shannon[1]所定义的，其形式为

(1)

它是一种测量概率分布{p1,…,pn}所携带信息量的有效方式.H(X)的重要特征就是满足可加性公理，即H(X⊗Y)=H(X)+H(Y)，X和Y是2个相互独立的随机变量.这种可加性公理也适合一些一般信息熵，如Renyi熵[2-13].

J. H. Havrda等在文献[14]中提出另外一种带有参数q的熵

(2)

具有与Renyi熵不同的数学特征.近来，这种Havrda-Charvat熵被称为Tsallis熵[15].基于经典的Dining定理，当参数q→1时Havrda-Charvat熵收敛到香农熵.Havrda-Charvat熵没有和香农熵一样的可加性，不过它却满足另外一种更弱的可加性，称为拟可加Hq(X⊗Y)=Hq(X)+Hq(Y)+(1-q)Hq(X)Hq(Y).此外，也有人讨论了其它参数模型的丰富结构[9].

这些熵已给广泛应用到众多领域.如在讨论一般Boltzmann-Gibbs统计力学时，提出了针对Havrda-Charvat熵的两组公理化描述，包括Shannon-Khinchin公理[16-17].不幸的是，这些公理在数学上是不完备的，缺乏必要的唯一性结论[18].同时，他们也讨论这种Havrda-Charvat熵的非扩展熵，包括基于广义Shannon-Khinchin公理的Havrda-Charvat熵.其中，Shannon-Khinchin公理[19]是由A. D. Faddeev[20]提出.利用比原始Faddeev公理更弱的条件，可以证明香农熵的唯一性定理[21].而对于结构化的Havrda-Charvat熵，文献[7]利用Shannon-Khinchin公理的推广讨论其唯一性.

由于在实际应用特别是物理系统中，很多热动力系统例如庞磁电阻锰氧化物不能长时间停留在非平衡态而保持规模不变和各项结构,因而，相位空间一般都是非齐性和不稳定的.这样，不能满足一般的可加性要求.为考虑此问题，文献[22]引入了Lesche条件，讨论κ-熵[3].而文献[23-25]则考虑了Renyi熵、Havrda-Charvat熵的稳定性问题，即在概率分布非常小扭曲情况下的行为变化.但这些结论还无法回答Havrda-Charvat熵的公理稳定性问题.

本文考虑Shannon-Khinchin公理和广义形式的Ulam稳定性.主要针对可加性和拟可加性的扰动.Ulam稳定性，最早见于文献[26]，考虑同构映射的稳定性，是一般抽象空间的映射稳定性.具体讲，假设G1是一个群，G2是一个距离群，赋有距离d(·,·).给定任意ε>0,能否找到δ>0使得函数h:G1→G2对于所有x,y∈G1满足d(h(xy),h(x)h(y))<δ.这里存在同构L:G1→G2满足d(h(x),L(x))<ε或所有x∈G1.更多结论参考文献[27-38].借助此定义，证明Havrda-Charvat熵可由一些公理和稳定性原理唯一确定.此结论强于文献[36].在这种稳定性意义下，Havrda-Charvat熵是唯一稳定的熵.

1 基本公理

Shannon-Khinchin公理是刻画Havrda-Charvat熵的重要公理.具体来讲，令Sn是一个n维单形

(3)

这里p=(p1,…,pn).Shannon-Khinchin公理[1,36]由如下唯一性定理给出.

定理1令Hn(p)是定义在整数n∈N和p∈Sn上的函数.如果∀n∈N，此函数满足如下性质,那么

(4)

k是正整数.

连续性∀n∈N,函数Hn(·)在Sn中连续；

最大性对于n∈N和p∈Sn，当p1=…=pn=1/n时Hn(·)得到最大值，即对于所有p∈Sn，Hn(p)≤Hn(1/n,…,1/n)；

可扩展性Hn+1(p,0)=Hn(p)基于Shannon-Khinchin公理，H. Suyari[19]给出了广义Shannon-Khinchin公理.与Shannon-Khinchin公理相比它是刻画非扩展熵的重要方式.他们基于定理1的相似条件，对于∀q∈R+证明了如下定理:

定理2广义Shannon-Khinchin公理确定了熵函数Hq:Sn→R+，且满足

(5)

其中q∈R+和φ(q)满足性质(a)～(d):

(a)φ(q)是连续的，与q-1具有相同符号,i.e.,φ(q)(q-1)>0,q≠1；

(c) 这里存在一个区间(a,b)⊂R+以便a<1

2 主要定理

证明Shannon-Khinchin公理和广义形式的Ulam稳定性定理.

定理3如果集合{Hn}满足如下条件(∀n≥2):

(a)对称性函数Hn在对称群Sn下不变;

(b)单调性函数f(x):=H2(1-x,x)(0≤x≤1)满足H(1/n,…,1/n)=(n1-q-1)/(1-q)和f(1/k)=1.

(6)

其中p∈Sn和px=(p1(1-x),p1x,p2,…,pn)，x∈[0,0.5]；

(d)全局拟可加性的扰动对于任意2个独立的系统Ψ1和Ψ2,联合系统Ψ1⊗Ψ2的熵满足

|H(Ψ1⊗Ψ2)-H(Ψ1)-H(Ψ2)-

(7)

(8)

定理4如果集合{Hn}满足如下条件(∀n≥2):

(a)对称性和连续性每个函数Hn在对称群Sn下不变，且在Sn上连续；

(b)一般可加性的扰动存在一个常数δ∈(0,1]和序列{αn|αn>0}满足

(9)

则对于所有p∈Sn有

这里φ(q)如定理2中所定义.

在给出这2个定理证明之前，先给出一些必要的记号和引理.记

Qj,mj:=(qj,1,…,qj,mj),

Tm1+…+mm:=(p1q1,1,…,p1q1,m1,p2q2,1,…,

p2q2,m2,…,pnqn,1,…,pnqn,mn).

引理1假设{Hn}是一个函数序列，满足条件定理3的条件(b)，对于∀p∈Sn,Q1,m∈Sm,q1,j+1≤ζ1,j,j=1,…,m-1，有

(11)

引理1的证明可以通过递推来证明.具体来说，当m=2时(对于∀n≥2，不等式(11)变成不等式(9)(其中q1,1:=1-x和q1,2:=x).这很容易从假设条件证明此结论.现在，假设不等式(11)对于某些正整数m≥2和每个n≥2成立.对于任意固定的p∈Sn和Q1,m+1∈Sm+1，其中q1,j+1≤ζ1,j有

引理2假设{Hn}是函数序列，满足定理3的条件(a)～(b).对于∀p∈Sn,Qj,mj∈Smj，其中,qj,i+1≤ζj,i,i=1,…,mj-1，n,mj=2,3,…,j=1,…,n，可得

(13)

Vμj+j=(pj+1qj+1,1,…,pnqn,mn,p1,…,pj)∈Sμj+j，

j=1,…,n-1.

由此可得

(14)

引理3对于任意整数n≥3，假设序列{Hn}，满足定理3的条件(b),那么对于p∈Sn且pk+1≤sk,k=1,…,n,n=3,4,…可以得到

引理3的证明当n=3时,由f的定义和公式(9)，可得不等式(15).对于n≥3，可以通过递推得到结论.对于固定的整数n≥3，假设不等式(15)成立，考虑任意固定的pk+1≤sk,k=1,…,n,可以得到

(16)

定理3的证明在不等式(7)中，令Ψ1=Ψ2=Ψ，可以得到

|Hq(Ψ⊗Ψ)-2Hq(Ψ)-

这等价于

(17)

由此递推可以得到

|nq-1-1|m-3n-2δn,

(18)

即

ln(1+(1-q)Hq(Ψ))≥

(19)

ln(1+(1-q)Hq(Ψ))≤

(20)

其中，当m→∞时某些f(m)→0.而且，对于很大的m和n可以找到整数对(t,s)满足nm

(22)

因此，当m→∞时可以得到

它等价于

(C1+C2)C,

(24)

(25)

因此

这样，得到g(q)=1-q和

(26)

定理4的证明对于广义Shannon-Khinchin公理，考虑如下特例.对于∀i=1,…,n和j=1,…,mi，令m=m1=…=mn和pi=1/n,qi,j=1/m，不等式(13)可改写为

|Fmn(mn)-Fn(n)-n1-qFm(m)|≤

Cn-δm-δ+Cn1-qm-δ.

(28)

交换不等式(28)中的变量m和n,可以得到

|Fn(n)-n1-qFm(m)-Fm(m)-m1-qFn(n)|≤

(29)

即

min{m-δ(n-δ+n1-q),n-δ(m-δ+m1-q)}.

从而当n或m→∞时有

它仅依赖于变量q.因而.存在函数φ(q)(q∈R+)满足

(30)

其中，φ(q)是满足性质(a)～(d)的函数，将在下面得到证明.

|F(u)-f(vu-1)-

(1-vu-1)qF(u-v)-vqu-qF(v)|≤

Cu-δ+C(u-v)q-δu-q+Cvq-δu-q.

(31)

再利用ut和vt分别代替u和v(并且t→∞)，对于v≥2和u≥v+2可得

(32)

上面的不等式很容易扩展到任意整数对(v,u),v

(33)

对于n=2,方程(33)可由F的定义和f直接得到.

现在，假设方程(33)对n有效,需要扩展到n+1.对于v=1,u=n+1，改写不等式(31)为

F(n+1)-F(n)=

(34)

其中

这样，由方程(30)，等式(34)变为

(35)

因此

(36)

由此可得:

(b)φ(q)(q-1)≥0，因为当f(n)≥0时G(n)与f(n)具有同样符号；

(c)φ(q)与f具有相同的可微性；

[1] Shannon C E, Weaver W. The Mathematical Theory of Communication[M]. Urbana:Univ Illinois Press,1963.

[2] Golshani L, Pasha E, Yari G. Some properties of Renyi entropy and Renyi entropy rate[J]. Info Sci,2009,179(14):2426-2433.

[3] Zarezadeh S, Asadi M. Results on residual Renyi entropy of order statistics and record values[J]. Info Sci,2010,180(21):4195-4206.

[4] Teixeira A, Matos A, Antunes L. Conditional Renyi entropies[J]. IEEE Trans Info Theory,2012,58(7):4273-4277.

[5] Golshania L, Pashab E. Renyi entropy rate for Gaussian processes[J]. Info Sci,2010,180(8):1486-1491.

[6] Jizba P, Kleinert H, Shefaat M. Renyi’s information transfer between financial time series[J]. Physica A:Statistical Mechanics and Its Applications,2012,391(10):2971-2989.

[7] Kovacevic M, Stanojevic I, Senk V. Some properties of Renyi entropy over countably infinite alphabets[J]. Problems of Information Transmission,2013,49(2):99-110.

[8] Lesche B. Renyi entropies and observables[J]. Phys Rev,2004,E70(1):7102-7105.

[9] Renyi A. On measures of entropy and information[C]//Proc 4th Berkeley Symp Math Stat Prob,1961,1:547-561.

[10] Blanco D D, Casini H, Hung L Y, et al. Relative entropy and holography[J]. J High Energy Phys,2013,2013:60.

[11] Klebanov I R, Pufu S S, Sachdev S, et al. Renyi entropies for free field theories[J]. J High Energy Phys,2012,2012:74.

[12] Renyi A. Wahrscheinlichkeitsrechnung mit Einem Anhang über informationsteorie[C]//VEB. Berlin:Deutscher Varlan der Wissenschaften,1962.

[13] Zarezadeh S, Asadi M. Results on residual Renyi entropy of order statistics and record values[J]. Info Sci,2010,180(21):4195-4206.

[14] Havrda J H, Charvat F. Quantification methods of classification processes: concept of structuralα-entropy[J]. Kybernetika(Prague),1967,3:30-35.

[15] Tsallis C. Possible generalization of Bolzmann-Gibbs statistics[J]. J Stat Phys,1988,52:479-487.

[16] Vajda I. Theory of Statistical Inference and Information[M]. Dortrecht:Kluwer Academic Publishers,1989.

[17] Abe S. Axioms and uniqueness theorem for Tsallis entropy[J]. Phys Lett,2000,A271:74-79.

[18] dos Santos R J V. Generalization of Shannon’s theorem for Tsallis entropy[J]. J Math Phys,1997,38:4104-4107.

[19] Suyari H. Generalization of Shannon-Khinchin axioms to nonextensive systems and the uniqueness theorem for the nonextensive entropy[J]. IEEE Trans Info Theory,2004,50:1783-1787.

[20] Faddeev A D. On the notion of entropy of a finite probability space[J]. Uspekhi Mat Nauk,1956,11:227-231.

[21] Khinchin A I. The concept of entropy in probability theory[J]. Uspekhi Mat Nauk,1953,8:3-20.

[22] Tveberg H. A new derivation of the information function[J]. Math Scand,1958,6:297-298.

[23] Kaniadakis G, Scarfone A M. Lesche stability ofα-entropy[J]. Phys,2004,A340:102-109.

[24] Abe S. Stability of Tsallis entropy and instabilities of Renyi and normalized Tsallis entropies: a basis forq-exponential distributions[J]. Phys Rev,2002,E66:6134-6139.

[25] Tsallis C. Entropy[J]. Computational Complexity,2012,21(4):940-964.

[26] Abe S. Stability analysis of generalized entropies andq-exponential distributions[J]. Physica,2004,D193:84-89.

[27] Ulam S M. A Collection of Mathematical Problems[M]. New York:Interscience Publ,1960.

[28] Hyers D H. On the stability of the linear functional equation[J]. Proc Nat Acad Sci,1941,27:222-224.

[29] 玉强,郭艳平. 一般四次方程的稳定性[J]. 四川师范大学学报:自然科学版,2013,5:703-707.

[30] 张德金,向淑文,周永辉. 有限理性下拟变分不等式问题解的稳定性[J]. 四川师范大学学报:自然科学版,2012,6:730-733.

[31] Rassias T M. On the stability of the linear mapping in Banach spaces[J]. Proc Am Math Soc,1978,72:297-300.

[32] Ger R. Superstability is not natural[J]. Rocznik Nauk Dydakt Prace Mat,1993,159:109-123.

[33] Kim G H. Stability of the lobacevski equation[J]. J Nonlinear Sciences Its Applications,2011,4(1):11-18.

[34] Ger R, Semrl P. The stability of the exponential equation[J]. Proc Am Math Soc,1996,124:779-787.

[35] Hyers D H, Isac G, Rassias T M. Stability of Functional Equations in Several Variables[M]. Boston:Birkhauser,1998.

[36] Maksa G. The stability of the entropy of degree alpha[J]. J Math Anal Appl,2008,346:17-21.

[37] Brzdek J. Hyperstability of the Cauchy equation on restricted domains[J]. Acta Math Hung,2013,141(1):58-67.

[38] Khinchin A I. Mathematical Foundations of Information Theory[M]. New York:Dover,1957.