使用 Python 中的 clean-text 清理網路爬取資料

---

網路爬取已發展成為從網站獲取資訊的一種有效方法。它允許個人和組織出於各種目的收集資訊，包括市場研究、情感分析和資料驅動的決策。但是，線上爬取通常會產生非結構化和雜亂無章的資料，在有效使用之前必須對其進行清理和預處理。Python 中的 clean-text 模組為清理網路爬取資料提供了一個完整且高效的解決方案，使使用者能夠預處理並從其爬取的資料中提取重要的見解。

Clean-text 是一個強大的 Python 包，用於文字清理和預處理。它包含各種函式和方法來處理與文字相關的任務，例如消除不需要的字元、規範化文字、刪除停用詞等等。透過利用 clean-text 的功能，您可以確保您的線上爬取資料乾淨、一致並適合進一步分析。

安裝 clean-text 庫是第一步。在您的終端或命令提示符中執行以下行，使用 pip 包管理工具安裝 clean-text

pip install clean-text

安裝完成後，您可以使用以下匯入語句將 clean-text 庫匯入到您的 Python 指令碼或筆記本中

from cleantext import clean

現在，讓我們更詳細地探討 clean-text 用於清理網路爬取資料的一些常見用例

刪除 HTML 標籤

網頁通常包含 HTML 標籤，這些標籤對於文字分析來說是不必要的。這些標籤可能包括格式化元素、超連結或其他標記。Clean-text 提供了一個名為 clean_html() 的內建函式，可以有效地從您的爬取資料中刪除 HTML 標籤。透過應用此函式，您可以專注於網頁的文字內容。以下是一個示例

示例

raw_text = "<p>Hello, <strong>world!</strong></p>"
cleaned_text = clean(raw_text, clean_html=True)
print(cleaned_text)

輸出

"Hello, world!"

刪除不需要的字元

網路爬取資料通常包含特殊字元、表情符號或與您的分析無關的非字母符號。這些字元會引入噪聲並影響結果的準確性。Clean-text 允許您使用 clean() 函式刪除不需要的字元。它使用正則表示式來識別和消除特殊字元，確保您的文字保持乾淨且重點突出。以下是一個示例

示例

raw_text = "This is a sentence with unwanted characters 🙅♀️❤️"
cleaned_text = clean(raw_text, clean_special_chars=True)
print(cleaned_text)

輸出

"This is a sentence with unwanted characters"

規範化文字

文字規範化對於確保資料一致性至關重要。Clean-text 提供了一個帶 lowercase 引數的 clean() 函式，允許您將文字轉換為小寫。這對於標準化文字並避免基於大小寫敏感性的重複項特別有用。此外，您可以利用 clean-text 提供的其他規範化技術，例如刪除變音符號或將文字轉換為 ASCII 表示形式。以下是一個示例

示例

raw_text = "Hello, World!"
cleaned_text = clean(raw_text, lowercase=True)
print(cleaned_text) 

輸出

"hello, world!"

刪除停用詞

停用詞是在語言中常用的詞，對於文字分析沒有重要的意義。這些詞，例如“the”、“is”和“and”，可以安全地從您的網路爬取資料中刪除，以便專注於更有意義的內容。Clean-text 包含一個預定義的停用詞列表，您可以使用 clean() 函式中的 remove_stopwords 引數輕鬆刪除這些詞。以下是一個示例

示例

raw_text = "This is an example sentence with some stop words"
cleaned_text = clean(raw_text, remove_stopwords=True)
print(cleaned_text) 

輸出

"example sentence stop words"

刪除標點符號

網路爬取資料可能包含標點符號，對於許多文字分析任務來說，這些標點符號是不必要的。Clean-text 提供了一個帶 clean_punctuation 引數的 clean() 函式，允許您從爬取資料中刪除標點符號。當標點符號對分析沒有貢獻或處理以不同方式處理標點符號的語言模型時，這可能特別有用。以下是一個示例

示例

raw_text = "This sentence includes punctuation!"
cleaned_text = clean(raw_text, clean_punctuation=True)
print(cleaned_text)

輸出

"This sentence includes punctuation"

處理縮寫

網路爬取資料通常包含縮寫，例如“can't”或“won't”。Clean-text 提供了一個帶 replace_with_contractions 引數的 clean() 函式，允許您處理縮寫，方法是用其擴充套件形式替換它們。這對於保持文字資料的一致性和避免歧義可能很有價值。以下是一個示例

示例

raw_text = "I can't believe it!"
cleaned_text = clean(raw_text, replace_with_contractions=True)
print(cleaned_text)

輸出

"I cannot believe it!"

刪除非文字元素

網頁可能包含非文字元素，例如影像、指令碼或廣告。在爬取資料時，通常希望將這些元素排除在文字分析之外。Clean-text 提供了一個帶 clean_non_text 引數的 clean() 函式，允許您從爬取資料中刪除非文字元素，只留下文字內容。以下是一個示例

示例

raw_text = "This is <img src='image.jpg'> an example"
cleaned_text = clean(raw_text, clean_non_text=True)
print(cleaned_text)

輸出

"This is an example"

詞形還原和詞幹提取

詞形還原和詞幹提取是用於將單詞簡化為其基本形式或詞根形式的技術。這些技術有助於減少單詞的變化並實現更好的文字規範化。雖然 clean-text 不包含內建的詞形還原或詞幹提取函式，但它可以與 NLTK 或 spaCy 等流行的 Python 庫無縫整合，允許您將詞形還原和詞幹提取納入網路爬取資料清理管道中。

這些示例演示了 clean-text 用於清理網路爬取資料核心功能。但是，該庫提供了更多功能和選項，用於高階文字清理。例如，clean-text 允許您從資料中刪除 URL、電子郵件地址或數字。它還支援處理多種語言，使您能夠預處理來自不同來源的文字資料。

在使用 clean-text 進行網路爬取資料清理時，務必記住尊重網站的服務條款，並確保您以合乎道德和負責任的方式爬取資料。始終確保您有權訪問和爬取目標網站的資料，並注意對伺服器資源的影響。

結論

作為強大的 Python 模組，clean-text 為清理網路爬取資料提供了一種實用且適應性強的方案。您可以透過利用其廣泛的功能，快速預處理爬取的資料，消除多餘的元件，並確保文字資料的準確性和一致性。在您的網路爬取專案中使用 clean-text，以最大化資料分析工作的價值。為了確保合乎道德的線上爬取，請務必遵守最佳實踐和道德標準。