信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为（）；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的（）的度量，同时也是衡量（）大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用（）来表示，它表现了通信信道流通的（），若把它取最大值，就是通信线路的（），若把它取最小值，就是（）。