无失真信源与信息熵ppt课件

发布时间:2013-07-21

课件大小:0.24 MB

所属栏目:工程类

课件格式:.rar(压缩解压).ppt(使用格式)

课件等级:无失真信源与信息熵ppt课件推荐等级为3星

简略标题:无失真信源与信息熵

应用环境:应用于多媒体教学

制作使用软件:PowerPoint

应用阶段:电子与通信

无失真信源与信息熵ppt课件介绍及下载


无失真信源与信息熵ppt课件内容预览:1.3离散序列信源的熵1.4互信息1.5冗余度1.6连续信源的熵与互信息1.1信源特性与分类1.1.1信源的统计特性在信息论中,确切地说信源是产生消息(符号)、消息序列和连续消息的来源。从数学上看,由于消息的不确定性,因此,信源是产生随机变量、随机序列和随机过程的源。其次,讨论信源的特性。客观信源的基本特性是具有随机不确定性。1.1.2信源的描述与分类首先讨论离散单个消息(符号)信源。它是最简单的也是最基本的信源,是组成实际信源的最基本单元。其次,讨论实际信源。实际信源不可能仅发送单个消息(符号),对离散信源而言,发送的是一组消息(符号)串,即一个随机序列;对连续信源而言则是一随机过程。在实际问题中,连续的模拟信源往往可以采用两种方法进行分析。一类是将连续信源离散化为随机序列信源,再采用前面的随机序列信源进行分析;另一类则是直接分析连续模拟信源,但是由于数学上的困难,只能分析单个连续消息变量的信源。3类最常用展开式:傅氏级数展开、取样函数展开及K-L展开。ppt1.2离散信源的信息熵1.2.1信息熵和信息量的基本概念1928年,信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率(实际是等概率)信源进行了研究,并给出了最早的信息度量公式:I=logNm=mlogN若两个消息ui、uj出现不是独立的,而是有相互联系的,这时可引用条件概率来描述。若将在信源消息ui(或uj)已出现的条件下,消息uj(或ui)出现的条件概率表示为Pji(或Qij),则其非平均自信息量I(Pji)([或I(Qij)])为:I(Pji)= =-logPjiI(Qij)= =-logQij1.2.2熵的数学性质由熵的定义有:它是消息概率pi的泛函数,即对数函数的统计加权函数。由概率的归一性,它仅有n-1个独立变量。nH(U)=H(p1,p2,…,pn)=-∑pilogpii=1定理1-2-1:熵函数H(U)具有以下主要性质。(1)对称性(2)非负性(3)确定性(4)扩展性(5)递推性(6)可加性在概率论中,当我们在讨论到函数的数学期望与数字期望的函数的关系时,往往可以引用Jensen不等式:当f(x)为下凸函数时,有E[f(x)]≥f[E(x)]当f(x)为上凸函数时,有E[f(x)]≤f[E(x)]1.2.3熵的公理化结构若信源消息有n种,其概率为1n ,令H=φ(n)。进一步,若信源由两个独立等概率分布消息所组成:一个取值n种,概率为1n,另一个取值m种,概率1m。由可加性:H=φ(m,n)=φ(m)+φ(n)更严格一些,当pi为无理数时,应加上扩展性条件,以保证有理数逼近无理数时概率pi的极限存在。即pi=niε+δiε。1.3离散序列信源的熵1.3.1离散无记忆信源的序 列熵H(U)与消息熵HL(U)1.3.2离散有记忆信源的序 列熵H(U)与消息熵HL(U)1.4互信息1.4.1单个消息的互信息定理1-4-1:互信息具有下列性质。(1)对称性(2)非负性(3)互信息不大于信源熵1.4.2消息序列的互信息I(U;V)1.4.3信息不增性原理信息不增性原理又称为信号数据处理定理,是信息处理中应遵守的最基本的原理。在信息处理中,经常要对所获得的数据信息进行进一步分类与归并处理,即需要将所接收到的有限数据空间(Y,q)归并为另一类处理后的有限数据空间(Z=D(Y),p)。1.5冗余度冗余度又称剩余度,它是表征信源信息率多余程度的一个物理量。冗余度描述的是信源的相对剩余,即在信源中多余分量所占的比重与百分比。
课件关键字:无失真信源与信息熵,信息。
进入下载页面

上一课件:半导体三极管及放大电路ppt课件 下一课件:光纤ppt课件

下载说明

1、本站所有ppt课件只支持用快车(flashget)下载,不支持其它方式下载。下载后建议使用WinRAR解压本站课件。
2、本站资源为.ppt的格式,请先确认电脑内安装内了office办公软件,这样才不至于影响您的正常使用。
3、本站仅提供的无失真信源与信息熵ppt课件,仅作为交流学习之用,版权归作者所有。
4、有些课件由于太大或网速原因,无法立即观看或下载,需要加载,请稍等一会!
5、点击右边“分享到...”与好友共分享,TA会感谢您的,谢谢您的支持,我们会努力做得更好!
6、如果您发现无法下载或者有什么建议或者意见,观迎来信告诉我们,谢谢!