香农无噪声编码定理
使用 探索
参考资料
设
为一个熵为 
的信息源。那么H(S)<=m(S),其中 
是对于 
的所有唯一可解码编码方案中的最小平均码字长度参考资料Casti, J. L. "The Shannon Coding Theorem." Ch. 1 in Five More Golden Rules: Knots, Codes, Chaos, and Other Great Theories of 20th-Century Mathematics. New York: Wiley, pp. 207-254, 2000.