資訊理論
資訊是通訊系統的源頭，無論是模擬的還是數字的。資訊理論是研究資訊編碼以及資訊量化、儲存和通訊的一種數學方法。
事件發生的條件
如果我們考慮一個事件，它有三種發生的條件。
如果事件沒有發生，則處於不確定性狀態。
如果事件剛剛發生，則處於驚訝狀態。
如果事件發生了一段時間，則處於擁有某些資訊的狀態。
因此，這三種狀態發生在不同的時間。這些狀態的差異有助於我們瞭解事件發生機率的知識。
熵
當我們觀察一個事件發生的可能性時，無論它是多麼令人驚訝或不確定，這意味著我們試圖瞭解來自事件源的平均資訊量。
熵可以定義為每個信源符號的平均資訊量的度量。資訊理論之父克勞德·夏農給出了一個公式：
$$H = -\sum_{i} p_i\log_{b}p_i$$
其中$p_i$是給定字元流中第i個字元出現的機率，b是所用演算法的基數。因此，這也稱為夏農熵。
觀察通道輸出後，關於通道輸入剩餘的不確定性量稱為條件熵。它用$H(x \arrowvert y)$表示。
離散無記憶信源
一個數據以連續間隔發出，且與先前值無關的信源，可以稱為離散無記憶信源。
這個信源是離散的，因為它不是在連續時間間隔內考慮的，而是在離散時間間隔內考慮的。這個信源是無記憶的，因為它在每一時刻都是新的，而不考慮先前的值。
信源編碼
根據定義，“給定一個熵為$H(\delta)$的離散無記憶信源，任何信源編碼的平均碼字長度$\bar{L}$都滿足$\bar{L}\geq H(\delta)$”。
簡單來說，碼字（例如：QUEUE的摩爾斯電碼是 -.- ..- . ..- .）總是大於或等於信原始碼（例子中的QUEUE）。這意味著碼字中的符號大於或等於信原始碼中的字母。
通道編碼
通訊系統中的通道編碼引入了帶控制的冗餘，以提高系統的可靠性。信源編碼減少冗餘以提高系統的效率。
通道編碼包括兩個部分的操作。
對映輸入資料序列到通道輸入序列。
逆對映通道輸出序列到輸出資料序列。
最終目標是使通道噪聲的整體影響最小化。
對映由傳送器在編碼器的幫助下完成，而逆對映由接收器中的解碼器完成。