信源及信源熵ppt课件

发布时间:2013-03-17

课件大小:0.19 MB

所属栏目:工程类

课件格式:.rar(压缩解压).ppt(使用格式)

课件等级:信源及信源熵ppt课件推荐等级为3星

简略标题:信源及信源熵

应用环境:应用于多媒体教学

制作使用软件:PowerPoint

应用阶段:电子与通信

信源及信源熵ppt课件介绍及下载


信源及信源熵ppt课件内容预览:第三节连续信源的熵和互信息第四节离散序列信源的熵第五节冗余度本章重点离散连续信源熵和互信息第二章信源及信源熵本章难点离散序列有记忆信源的熵第一节信源的描述和分类一、香农信息论的基本点用随机变量或随机矢量来表示信源,运用概率论和随机过程的理论来研究信息。二、信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源ppt离散信源连续信源第一节信源的描述和分类连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息(模拟消息)的信源,如语言、图像、图形等都是连续消息。离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源,如文字、数字、数据等符号都是离散消息。离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源第一节信源的描述和分类离散无记忆信源离散无记忆信源所发出的各个符号是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率。离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。发出单个符号的信源发出单个符号的信源是指信源每次只发出一个符号代表一个消息;发出符号序列的信源发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。第一节信源的描述和分类发出符号序列的有记忆信源发出符号序列的有记忆信源是指用信源发出的一个符号序列的整体概率(即联合概率)反映有记忆信源的特征。发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号,这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。第一节信源的描述和分类三、先验概率及概率空间的形式符号的先验概率一个离散信源发出的各个符号消息的集合为,它们的概率分别为,为符号的先验概率。通常把它们写到一起,称为概率空间:,第一节信源的描述和分类显然有第二节离散信源熵和互信息问题:什么叫不确定度?什么叫自信息量?什么叫平均不确定度?什么叫信源熵?什么叫平均自信息量?什么叫条件熵?什么叫联合熵?联合熵、条件熵和熵的关系是什么?什么叫后验概率?什么叫互信息量?什么叫平均互信息量?什么叫疑义度?什么叫噪声熵(或散布度)?数据处理定理是如何描述的?熵的性质有哪些?第二节离散信源熵和互信息定义:一个随机事件的自信息量定义为其出现概率对数的负值。即:2.2.1自信息量自信息量说明:因为概率越小,的出现就越稀罕,一旦出现,所获得的信息量也就较大。由于是随机出现的,它是X的一个样值,所以是一个随机量。而是的函数,它必须也是一个随机量。自信息量的单位的确定在信息论中常用的对数底是2,信息量的单位为比特(bit);若取自然对数,则信息量的单位为奈特(nat);若以10为对数底,则信息量的单位为笛特(det)。这三个信息量单位之间的转换关系如下:1nat=log2e l.433bit,l det=log2103.322bit
课件关键字:信源及信源熵。
进入下载页面

上一课件:控制系统的设计方法ppt课件 下一课件:循环码ppt课件

相关课件

下载说明

1、本站所有ppt课件只支持用快车(flashget)下载,不支持其它方式下载。下载后建议使用WinRAR解压本站课件。
2、本站资源为.ppt的格式,请先确认电脑内安装内了office办公软件,这样才不至于影响您的正常使用。
3、本站仅提供的信源及信源熵ppt课件,仅作为交流学习之用,版权归作者所有。
4、有些课件由于太大或网速原因,无法立即观看或下载,需要加载,请稍等一会!
5、点击右边“分享到...”与好友共分享,TA会感谢您的,谢谢您的支持,我们会努力做得更好!
6、如果您发现无法下载或者有什么建议或者意见,观迎来信告诉我们,谢谢!