數字通訊 - 資訊理論
資訊是通訊系統的來源，無論是模擬的還是數字的。資訊理論是一種對資訊編碼以及資訊量化、儲存和通訊的研究的數學方法。
事件發生的條件
如果我們考慮一個事件，它有三種發生的條件。
如果事件尚未發生，則存在不確定性的條件。
如果事件剛剛發生，則存在驚喜的條件。
如果事件在一段時間前已經發生，則存在具有某些資訊的條件。
這三個事件發生在不同的時間。這些條件的差異有助於我們瞭解事件發生機率的知識。
熵
當我們觀察事件發生的可能性時，它會多麼令人驚訝或不確定，這意味著我們試圖瞭解事件來源資訊的平均內容。
熵可以定義為每個信源符號的平均資訊量的度量。克勞德·夏農，“資訊理論之父”，為此提供了一個公式，如下所示：
$$H = - \sum_{i} p_i \log_{b}p_i$$
其中pi是給定字元流中第i個字元出現的機率，b是所用演算法的基數。因此，這也稱為夏農熵。
在觀察通道輸出後，關於通道輸入剩餘的不確定性量稱為條件熵。用$H(x \mid y)$表示。
互資訊
讓我們考慮一個輸出為Y、輸入為X的通道。
設先驗不確定性的熵為X = H(x)
（這假設在輸入應用之前）
為了瞭解輸入應用後輸出的不確定性，讓我們考慮條件熵，假設Y = yk
$$H\left ( x\mid y_k \right ) = \sum_{j = 0}^{j - 1}p\left ( x_j \mid y_k \right )\log_{2}\left [ \frac{1}{p(x_j \mid y_k)} \right ]$$
對於$H(X \mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H(X \mid y = y_k)$，這是一個隨機變數，其機率分別為$p(y_0) \: ... \: ... \: ... \: ... \: p(y_{k-1})$。
對於輸出字母y，$H(X \mid y = y_k)$的平均值為：
$H\left ( X\mid Y \right ) = \displaystyle\sum\limits_{k = 0}^{k - 1}H\left ( X \mid y=y_k \right )p\left ( y_k \right )$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j \mid y_k \right )p\left ( y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
$= \displaystyle\sum\limits_{k = 0}^{k - 1} \displaystyle\sum\limits_{j = 0}^{j - 1}p\left (x_j ,y_k \right )\log_{2}\left [ \frac{1}{p\left ( x_j \mid y_k \right )} \right ]$
現在，考慮到這兩種不確定性條件（應用輸入之前和之後），我們瞭解到，差異，即$H(x) - H(x \mid y)$必須表示透過觀察通道輸出而解決的關於通道輸入的不確定性。
這稱為通道的互資訊。
將互資訊表示為$I(x;y)$，我們可以將整個內容寫成一個方程式，如下所示：
$$I(x;y) = H(x) - H(x \mid y)$$
因此，這是互資訊的方程表示。
互資訊的性質
這些是互資訊的性質。
通道的互資訊是對稱的。
$$I(x;y) = I(y;x)$$
互資訊是非負的。
$$I(x;y) \geq 0$$
互資訊可以用通道輸出的熵來表示。
$$I(x;y) = H(y) - H(y \mid x)$$
其中$H(y \mid x)$是條件熵。
通道的互資訊與通道輸入和通道輸出的聯合熵有關。
$$I(x;y) = H(x)+H(y) - H(x,y)$$
其中聯合熵$H(x,y)$定義為
$$H(x,y) = \displaystyle\sum\limits_{j=0}^{j-1} \displaystyle\sum\limits_{k=0}^{k-1}p(x_j,y_k)\log_{2} \left ( \frac{1}{p\left ( x_i,y_k \right )} \right )$$
通道容量
到目前為止，我們已經討論了互資訊。在離散無記憶通道傳輸時，信令間隔瞬間的最大平均互資訊，資料最大可靠傳輸速率的機率，可以理解為通道容量。
用C表示，以每通道使用位元為單位測量。
離散無記憶信源
一個信源，其資料在連續的間隔內發出，並且獨立於先前的值，可以稱為離散無記憶信源。
該信源是離散的，因為它不被認為是在連續的時間間隔內，而是在離散的時間間隔內。該信源是無記憶的，因為它在每個時間點都是新鮮的，而不考慮先前的值。