Scrapy - 請求和響應

---

---

描述

Scrapy 可以使用Request 和 Response 物件來爬取網站。請求物件在系統中傳遞，使用爬蟲執行請求，並在返回響應物件時返回請求。

請求物件 (Request Objects)

請求物件是一個生成響應的 HTTP 請求。它具有以下類：

class scrapy.http.Request(url[, callback, method = 'GET', headers, body, cookies, meta,
   encoding = 'utf-8', priority = 0, dont_filter = False, errback])

下表顯示了請求物件的引數：

將附加資料傳遞給回撥函式

下載響應後，將呼叫請求的回撥函式，其第一個引數為響應。

例如：

def parse_page1(self, response): 
   return scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2)  

def parse_page2(self, response): 
   self.logger.info("%s page visited", response.url) 

如果要將引數傳遞給可呼叫函式並在第二個回撥中接收這些引數，可以使用Request.meta 屬性，如下例所示：

def parse_page1(self, response): 
   item = DemoItem() 
   item['foremost_link'] = response.url 
   request = scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2) 
   request.meta['item'] = item 
   return request  

def parse_page2(self, response): 
   item = response.meta['item'] 
   item['other_link'] = response.url 
   return item

使用 errback 捕獲請求處理中的異常

errback 是一個可呼叫函式，當處理請求時引發異常時會呼叫它。

以下示例演示了這一點：

import scrapy  

from scrapy.spidermiddlewares.httperror import HttpError 
from twisted.internet.error import DNSLookupError 
from twisted.internet.error import TimeoutError, TCPTimedOutError  

class DemoSpider(scrapy.Spider): 
   name = "demo" 
   start_urls = [ 
      "http://www.httpbin.org/",              # HTTP 200 expected 
      "http://www.httpbin.org/status/404",    # Webpage not found  
      "http://www.httpbin.org/status/500",    # Internal server error 
      "http://www.httpbin.org:12345/",        # timeout expected 
      "http://www.httphttpbinbin.org/",       # DNS error expected 
   ]  
   
   def start_requests(self): 
      for u in self.start_urls: 
         yield scrapy.Request(u, callback = self.parse_httpbin, 
         errback = self.errback_httpbin, 
         dont_filter=True)  
   
   def parse_httpbin(self, response): 
      self.logger.info('Recieved response from {}'.format(response.url)) 
      # ...  
   
   def errback_httpbin(self, failure): 
      # logs failures 
      self.logger.error(repr(failure))  
      
      if failure.check(HttpError): 
         response = failure.value.response 
         self.logger.error("HttpError occurred on %s", response.url)  
      
      elif failure.check(DNSLookupError): 
         request = failure.request 
         self.logger.error("DNSLookupError occurred on %s", request.url) 

      elif failure.check(TimeoutError, TCPTimedOutError): 
         request = failure.request 
         self.logger.error("TimeoutError occurred on %s", request.url) 

Request.meta 特殊鍵

request.meta 特殊鍵是由 Scrapy 識別的特殊元鍵列表。

下表顯示了一些 Request.meta 的鍵：

請求子類 (Request Subclasses)

可以透過子類化請求類來實現自己的自定義功能。內建的請求子類如下：

表單請求物件 (FormRequest Objects)

FormRequest 類透過擴充套件基本請求來處理 HTML 表單。它具有以下類：

class scrapy.http.FormRequest(url[,formdata, callback, method = 'GET', headers, body, 
   cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = False, errback])

引數如下：

formdata - 一個包含分配給請求主體的 HTML 表單資料的字典。

注意 - 其餘引數與請求類相同，在請求物件部分進行了解釋。

除了請求方法外，FormRequest 物件還支援以下類方法：

classmethod from_response(response[, formname = None, formnumber = 0, formdata = None, 
   formxpath = None, formcss = None, clickdata = None, dont_click = False, ...])

下表顯示了上述類的引數：

示例

以下是請求使用的一些示例：

使用 FormRequest 透過 HTTP POST 傳送資料

以下程式碼演示了當您想要在爬蟲中複製 HTML 表單 POST 時如何返回FormRequest 物件：

return [FormRequest(url = "http://www.something.com/post/action", 
   formdata = {'firstname': 'John', 'lastname': 'dave'}, 
   callback = self.after_post)]

使用 FormRequest.from_response() 模擬使用者登入

通常，網站使用提供預填充表單欄位的元素。

當您希望在抓取時自動填充這些欄位時，可以使用FormRequest.form_response() 方法。

以下示例演示了這一點。

import scrapy  
class DemoSpider(scrapy.Spider): 
   name = 'demo' 
   start_urls = ['http://www.something.com/users/login.php']  
   def parse(self, response): 
      return scrapy.FormRequest.from_response( 
         response, 
         formdata = {'username': 'admin', 'password': 'confidential'}, 
         callback = self.after_login 
      )  
   
   def after_login(self, response): 
      if "authentication failed" in response.body: 
         self.logger.error("Login failed") 
         return  
      # You can continue scraping here

響應物件 (Response Objects)

這是一個表示 HTTP 響應的物件，它被饋送到爬蟲以進行處理。它具有以下類：

class scrapy.http.Response(url[, status = 200, headers, body, flags])

下表顯示了響應物件的引數：

響應子類 (Response Subclasses)

可以透過子類化響應類來實現自己的自定義功能。內建的響應子類如下：

文字響應物件 (TextResponse objects)

TextResponse 物件用於二進位制資料（例如影像、聲音等），它能夠編碼基本 Response 類。它具有以下類：

class scrapy.http.TextResponse(url[, encoding[,status = 200, headers, body, flags]])

引數如下：

encoding - 用於編碼響應的字串編碼。

注意 - 其餘引數與響應類相同，在響應物件部分進行了解釋。

下表顯示了 TextResponse 物件除了響應方法之外還支援的屬性：

下表顯示了除了response 方法之外TextResponse 物件還支援的方法：

HTML 響應物件 (HtmlResponse Objects)

這是一個支援編碼和自動發現的物件，它透過檢視 HTML 的meta httpequiv 屬性來實現。其引數與響應類相同，在響應物件部分進行了解釋。它具有以下類：

class scrapy.http.HtmlResponse(url[,status = 200, headers, body, flags])

XML 響應物件 (XmlResponse Objects)

這是一個支援編碼和自動發現的物件，它透過檢視 XML 行來實現。其引數與響應類相同，在響應物件部分進行了解釋。它具有以下類：

class scrapy.http.XmlResponse(url[, status = 200, headers, body, flags])