Python 指令碼監控網站變更

在當今的數字時代，及時瞭解網站的最新變化對於各種目的至關重要，例如跟蹤競爭對手網站的更新、監控產品可用性或瞭解重要資訊。手動檢查網站變更既費時又低效。這就是自動化發揮作用的地方。

在這篇博文中，我們將探討如何建立一個 Python 指令碼來自動監控網站變化。透過利用 Python 的強大功能和一些便捷的庫，我們可以自動化獲取網站內容、將其與以前的版本進行比較以及在出現任何變化時通知我們的過程。這使我們能夠主動應對網站更新或修改。

設定環境

在我們開始編寫監控網站更改的指令碼之前，我們需要設定 Python 環境並安裝必要的庫。請按照以下步驟操作：

  • 安裝 Python − 如果您尚未安裝，請在您的系統上下載並安裝 Python。您可以訪問 Python 官方網站 (https://python.club.tw/) 並下載與您的作業系統相容的最新版本。確保在安裝過程中選擇將 Python 新增到系統 PATH 的選項。

  • 建立新的 Python 虛擬環境（可選） − 建議為此專案建立一個虛擬環境，以保持依賴項的隔離。開啟終端或命令提示符，導航到您想要的專案目錄，然後執行以下命令：

python -m venv website-monitor-env

這將在您的專案目錄中建立一個名為“website-monitor-env”的新虛擬環境。

  • 啟用虛擬環境 − 根據您的作業系統執行相應的命令來啟用虛擬環境：

對於 Windows −

website-monitor-env\Scripts\activate.bat

對於 macOS/Linux −

source website-monitor-env/bin/activate

您應該在命令提示符或終端中看到虛擬環境名稱，表明您正在虛擬環境中工作。

  • 安裝所需的庫 − 啟用虛擬環境後，讓我們安裝必要的庫。在您的終端或命令提示符中，執行以下命令：

pip install requests beautifulsoup4

  • “requests”庫將幫助我們檢索網站內容，“beautifulsoup4”將幫助我們解析 HTML。

設定好 Python 環境並安裝所需的庫後，我們就可以開始構建我們的網站更改監控指令碼了。在下一節中，我們將介紹使用“requests”庫檢索網站內容的過程。

檢索網站內容

要監控網站更改，我們需要檢索網站的當前內容並將其與之前儲存的版本進行比較。在本節中，我們將使用“requests”庫來獲取網站內容。請按照以下步驟操作：

  • 匯入必要的模組 − 開啟您的 Python 指令碼，並首先匯入所需的模組：−

import requests
from bs4 import BeautifulSoup

“requests”模組將處理 HTTP 請求，“bs4”模組中的“BeautifulSoup”類將幫助我們解析 HTML 內容。

  • 指定網站 URL − 確定您要監控的網站的 URL。例如，我們將使用 URL“https://example.com”進行演示。請將其替換為您要監控的網站的實際 URL。

url = "https://example.com"

  • 傳送 GET 請求並檢索內容 − 使用“requests.get()”方法向網站 URL 傳送 GET 請求並檢索內容。將響應分配給變數以進行進一步處理。

response = requests.get(url)

  • 檢查響應狀態 − 最好檢查響應狀態以確保請求成功。我們將使用“response.status_code”屬性，對於成功的請求，它應返回狀態程式碼 200。

if response.status_code == 200:
    # Proceed with further processing
else:
    print("Failed to retrieve website content. Status code:", response.status_code)
    # Handle error or exit the script

檢索網站內容後，您可以將其與之前儲存的版本進行比較以識別任何更改。

儲存和比較網站內容

檢索網站內容後，我們需要將其儲存以備將來比較。在本節中，我們將討論如何儲存內容並將其與之前儲存的版本進行比較。請按照以下步驟操作：

  • 儲存初始網站內容 − 檢索網站內容後，將其儲存到檔案中以備將來比較。建立一個新檔案，並使用“write()”方法將內容寫入其中。例如：−

with open("website_content.txt", "w") as file:
    file.write(response.text)

這會將網站內容儲存在當前目錄中名為“website_content.txt”的檔案中。

  • 與先前內容進行比較 − 為了檢測更改，我們需要將當前網站內容與之前儲存的版本進行比較。從儲存的檔案中讀取內容，並將其與新內容進行比較。例如：−

with open("website_content.txt", "r") as file:
    previous_content = file.read()

if response.text == previous_content:
    print("No changes detected.")
else:
    print("Website content has changed.")
    # Perform further actions for handling the changes

在這裡，我們將響應中的新內容與從檔案中讀取的內容進行比較。如果它們匹配，則表示未檢測到任何更改。否則，我們將列印一條訊息，指示網站內容已更改。

  • 更新儲存的內容 − 如果檢測到更改，我們應該使用新版本更新儲存的內容。這將確保下一次比較針對的是最新內容。使用與之前相同的檔案寫入邏輯來更新內容：

with open("website_content.txt", "w") as file:
    file.write(response.text)

透過覆蓋檔案，我們將新內容儲存為最新版本。

按照這些步驟，您可以儲存初始網站內容，將其與將來的版本進行比較，並識別任何更改。在下一節中，我們將探討如何使用 Python 指令碼來自動執行此過程。

自動化網站監控

每次我們想要監控網站的更改時手動執行指令碼都可能很繁瑣且不切實際。在本節中，我們將討論如何使用 Python 指令碼和計劃工具來自動執行網站監控過程。請按照以下步驟操作：

  • 建立 Python 指令碼 − 開啟您首選的 Python 編輯器或 IDE 並建立一個新的 Python 指令碼檔案。您可以將其命名為“website_monitor.py”等。

  • 匯入必要的模組− 在指令碼開頭匯入所需的模組，包括用於發出HTTP請求的“requests”和用於在請求之間新增延遲的“time”。此外，還可以匯入任何其他可能需要的模組，用於根據網站更改傳送通知或執行其他操作。

import requests
import time
# Import other modules as needed

  • 定義網站URL和監控間隔− 將要監控的網站的URL分配給一個變數來設定它。還要指定要檢查更改的時間間隔。此間隔可以是秒、分鐘或任何其他合適的單位。

website_url = "https://example.com"
monitoring_interval = 300  # Check every 5 minutes

  • 建立監控函式− 定義一個封裝監控邏輯的函式。此函式將負責發出HTTP請求、比較網站內容以及根據更改執行任何所需的行動。

def monitor_website():
    while True:
        # Make the HTTP request to the website
        response = requests.get(website_url)

        # Compare the current content with the saved content
        with open("website_content.txt", "r") as file:
            previous_content = file.read()

        if response.text != previous_content:
            print("Website content has changed.")
            # Perform desired actions for handling the changes

        # Update the saved content
        with open("website_content.txt", "w") as file:
            file.write(response.text)

        # Wait for the specified interval before the next check
        time.sleep(monitoring_interval)

  • 呼叫監控函式− 在指令碼末尾新增對monitor_website()函式的呼叫以啟動監控過程。

monitor_website()

  • 儲存指令碼− 將Python指令碼檔案儲存在系統上的適當位置。

  • 安排指令碼− 要自動執行監控過程，可以使用cron（在基於Unix的系統上）或任務計劃程式（在Windows上）等排程工具。設定一個計劃，以便按所需間隔執行指令碼，確保它在後臺連續執行。

此指令碼將定期檢查網站內容的更改，並相應地執行任何指定的動作。

結論

監控網站更改對於隨時瞭解最新內容或檢測可能影響您的業務或個人利益的任何修改至關重要。在本文中，我們探討了如何建立Python指令碼以監控網站更改。透過利用Python及其庫的功能，我們可以自動化流程並及時收到有關任何修改的通知。

我們首先了解了網站監控的重要性及其帶來的好處。然後，我們深入研究了構建監控指令碼所需的步驟。我們學習瞭如何發出HTTP請求、比較網站內容以及根據更改執行操作。此外，我們還討論了使用排程工具自動化指令碼的選項，確保無需人工干預即可進行持續監控。

更新於：2023年8月11日

3K+ 次瀏覽

開啟您的職業生涯

完成課程獲得認證

開始學習
廣告