Scrapy - 爬蟲

---

---

描述

爬蟲是一個類，負責定義如何透過網站跟蹤連結並從頁面中提取資訊。

Scrapy 的預設爬蟲如下：

scrapy.Spider

它是一個爬蟲，所有其他爬蟲都必須繼承它。它具有以下類：

class scrapy.spiders.Spider

下表顯示了 scrapy.Spider 類的欄位：

爬蟲引數

爬蟲引數用於指定起始 URL，並使用 crawl 命令和 -a 選項傳遞，如下所示：

scrapy crawl first_scrapy -a group = accessories

以下程式碼演示了爬蟲如何接收引數：

import scrapy 

class FirstSpider(scrapy.Spider): 
   name = "first" 
   
   def __init__(self, group = None, *args, **kwargs): 
      super(FirstSpider, self).__init__(*args, **kwargs) 
      self.start_urls = ["http://www.example.com/group/%s" % group]

通用爬蟲

您可以使用通用爬蟲從其子類化您的爬蟲。它們的目的是根據某些規則跟蹤網站上的所有連結，以從所有頁面提取資料。

對於以下爬蟲中使用的示例，讓我們假設我們有一個具有以下欄位的專案：

import scrapy 
from scrapy.item import Item, Field 
  
class First_scrapyItem(scrapy.Item): 
   product_title = Field() 
   product_link = Field() 
   product_description = Field() 

CrawlSpider

CrawlSpider 定義了一組規則來跟蹤連結並抓取多個頁面。它具有以下類：

class scrapy.spiders.CrawlSpider

以下是 CrawlSpider 類的屬性：

rules

它是一個規則物件的列表，定義了爬蟲如何跟蹤連結。

下表顯示了 CrawlSpider 類的規則：

parse_start_url(response)

它透過允許解析初始響應返回項或請求物件。

注意 − 編寫規則時，請確保將 parse 函式重新命名為除 parse 之外的其他名稱，因為 parse 函式由 CrawlSpider 用於實現其邏輯。

讓我們看一下下面的示例，其中爬蟲從 demoexample.com 的主頁開始爬取，收集所有頁面、連結，並使用 parse_items 方法進行解析：

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class DemoSpider(CrawlSpider):
   name = "demo"
   allowed_domains = ["www.demoexample.com"]
   start_urls = ["http://www.demoexample.com"]
      
   rules = ( 
      Rule(LinkExtractor(allow =(), restrict_xpaths = ("//div[@class = 'next']",)),
         callback = "parse_item", follow = True),
   )
   
   def parse_item(self, response):
      item = DemoItem()
      item["product_title"] = response.xpath("a/text()").extract()
      item["product_link"] = response.xpath("a/@href").extract()
      item["product_description"] = response.xpath("div[@class = 'desc']/text()").extract()
      return items

XMLFeedSpider

它是用於從 XML feed 抓取並迭代節點的爬蟲的基類。它具有以下類：

class scrapy.spiders.XMLFeedSpider

下表顯示了用於設定迭代器和標籤名稱的類屬性：

CSVFeedSpider

它迭代其每一行，接收 CSV 檔案作為響應，並呼叫 parse_row() 方法。它具有以下類：

class scrapy.spiders.CSVFeedSpider

下表顯示了可以設定的關於 CSV 檔案的選項：

CSVFeedSpider 示例

from scrapy.spiders import CSVFeedSpider
from demoproject.items import DemoItem  

class DemoSpider(CSVFeedSpider): 
   name = "demo" 
   allowed_domains = ["www.demoexample.com"] 
   start_urls = ["http://www.demoexample.com/feed.csv"] 
   delimiter = ";" 
   quotechar = "'" 
   headers = ["product_title", "product_link", "product_description"]  
   
   def parse_row(self, response, row): 
      self.logger.info("This is row: %r", row)  
      item = DemoItem() 
      item["product_title"] = row["product_title"] 
      item["product_link"] = row["product_link"] 
      item["product_description"] = row["product_description"] 
      return item

SitemapSpider

SitemapSpider 在 站點地圖 的幫助下透過從 robots.txt 中找到 URL 來爬取網站。它具有以下類：

class scrapy.spiders.SitemapSpider

下表顯示了 SitemapSpider 的欄位：

SitemapSpider 示例

以下 SitemapSpider 處理所有 URL：

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/sitemap.xml"]  
   
   def parse(self, response): 
      # You can scrap items here

以下 SitemapSpider 使用回撥處理一些 URL：

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/sitemap.xml"] 
   
   rules = [ 
      ("/item/", "parse_item"), 
      ("/group/", "parse_group"), 
   ]  
   
   def parse_item(self, response): 
      # you can scrap item here  
   
   def parse_group(self, response): 
      # you can scrap group here 

以下程式碼顯示了 robots.txt 中的站點地圖，其 url 包含 /sitemap_company：

from scrapy.spiders import SitemapSpider

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/robots.txt"] 
   rules = [ 
      ("/company/", "parse_company"), 
   ] 
   sitemap_follow = ["/sitemap_company"]  
   
   def parse_company(self, response): 
      # you can scrap company here 

你甚至可以將 SitemapSpider 與其他 URL 結合使用，如下面的命令所示。

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/robots.txt"] 
   rules = [ 
      ("/company/", "parse_company"), 
   ]  
   
   other_urls = ["http://www.demoexample.com/contact-us"] 
   def start_requests(self): 
      requests = list(super(DemoSpider, self).start_requests()) 
      requests += [scrapy.Request(x, self.parse_other) for x in self.other_urls] 
      return requests 

   def parse_company(self, response): 
      # you can scrap company here... 

   def parse_other(self, response): 
      # you can scrap other here...