Beautiful Soup - 錯誤處理

在嘗試使用 Beautiful Soup 解析 HTML/XML 文件時，您可能會遇到錯誤，這些錯誤並非來自您的指令碼，而是來自程式碼片段的結構，因為 BeautifulSoup API 會丟擲錯誤。

預設情況下，BeautifulSoup 包會將文件解析為 HTML，但是，使用 beautifulsoup4 以非常優雅的方式處理格式錯誤的 XML 非常容易。

要將文件解析為 XML，您需要安裝 lxml 解析器，您只需要將“xml”作為第二個引數傳遞給 Beautifulsoup 建構函式：

soup = BeautifulSoup(markup, "lxml-xml")

或者

soup = BeautifulSoup(markup, "xml")

一個常見的 XML 解析錯誤是：

AttributeError: 'NoneType' object has no attribute 'attrib'

這可能會發生在使用 find() 或 findall() 函式時，某些元素丟失或未定義的情況下。

除了上述解析錯誤之外，您還可能遇到其他解析問題，例如環境問題，您的指令碼可能在一個作業系統中工作，但在另一個作業系統中不工作，或者在一個虛擬環境中工作，但在另一個虛擬環境中不工作，或者在虛擬環境外部不工作。所有這些問題可能是因為這兩個環境具有不同的解析器庫。

建議瞭解或檢查您當前工作環境中的預設解析器。您可以檢查當前工作環境中可用的當前預設解析器，或者顯式地將所需的解析器庫作為第二個引數傳遞給 BeautifulSoup 建構函式。

由於 HTML 標籤和屬性不區分大小寫，所有三個 HTML 解析器都會將標籤和屬性名稱轉換為小寫。但是，如果您想保留混合大小寫或大寫標籤和屬性，最好將文件解析為 XML。

UnicodeEncodeError

讓我們看一下下面的程式碼段：

示例

soup = BeautifulSoup(response, "html.parser")
   print (soup)

輸出

UnicodeEncodeError: 'charmap' codec can't encode character '\u011f'

上述問題可能是由於兩種主要情況造成的。您可能試圖打印出控制檯不知道如何顯示的 Unicode 字元。其次，您試圖寫入檔案，並且傳入預設編碼不支援的 Unicode 字元。

解決上述問題的一種方法是在製作 soup 之前對響應文字/字元進行編碼，以獲得所需的結果，如下所示：

responseTxt = response.text.encode('UTF-8')
KeyError: [attr]

這是因為在相關標籤未定義 attr 屬性時訪問了 tag['attr']。最常見的錯誤是：“KeyError: 'href'”和“KeyError: 'class'”。如果您不確定是否定義了 attr，請使用 tag.get('attr')。

for item in soup.fetch('a'):
   try:
      if (item['href'].startswith('/') or "tutorialspoint" in item['href']):
      (...)
   except KeyError:
      pass # or some other fallback action

AttributeError

您可能會遇到如下 AttributeError：

AttributeError: 'list' object has no attribute 'find_all'

上述錯誤主要是因為您期望 find_all() 返回單個標籤或字串。但是，soup.find_all 返回一個 python 元素列表。

您需要做的就是遍歷列表並從這些元素中捕獲資料。

為了避免在解析結果時出現上述錯誤，將繞過該結果以確保不會將格式錯誤的程式碼片段插入資料庫：

except(AttributeError, KeyError) as er:
   pass

列印頁面