使用套接字程式設計在 Python 中建立網路爬蟲

在本課程中，我們將教你如何編寫一個充當機器人的程式，搜尋不同的網站以獲取您需要的資訊。與大多數使用高階模組的網路爬蟲和網路抓取課程（實際上您只是複製貼上程式碼）不同，在本課程中，我們將首先教你網路爬蟲所需的所有網路概念。

網路部分

所以，如果我們想先編寫一些程式碼，我們會先解釋程式碼背後的網路細節，然後說明程式碼為什麼能實現其功能。在理論上解釋完所有內容後，我們會實際操作並在 Wireshark 中探索以上所有概念。這樣，您將熟悉 TCP/IP、網路地址轉換、套接字等概念。在網路部分之後，我們將開始程式設計部分。

程式設計部分
在本部分中，我們首先使用像 requests 這樣的高階模組。我們將學習如何傳送 HTTP 請求並接收相關的 HTTP 響應。之後，我們將深入探討 Python 中的 socket 模組，它是 Python 網路程式設計中最重要的模組。因此，我們將建立一個套接字，並學習該模組中的不同方法，藉助這些方法，我們將開始向 Web 伺服器傳送和接收資料，反之亦然。並且我們將學習如何搜尋這些資料以獲取我們最感興趣和有用的資訊。之後，我們將透過使 Kali Linux 充當 Web 伺服器來提供網頁，從而建立一個網站，並學習如何搜尋不同的頁面以查詢電子郵件地址、連結等。