Scrapy - Web 服務



描述

執行中的 Scrapy 網路爬蟲可以透過JSON-RPC進行控制。它由 `JSONRPC_ENABLED` 設定啟用。此服務透過JSON-RPC 2.0協議提供對主爬蟲物件的訪問。訪問爬蟲物件的端點是:

https://:6080/crawler

下表包含一些顯示 Web 服務行為的設定:

序號 設定 & 描述 預設值
1

JSONRPC_ENABLED

這是一個布林值,決定是否啟用 Web 服務及其擴充套件。

True
2

JSONRPC_LOGFILE

這是用於記錄傳送到 Web 服務的 HTTP 請求的檔案。如果未設定,則將使用標準的 Scrapy 日誌。

None
3

JSONRPC_PORT

這是 Web 服務的埠範圍。如果設定為 None,則埠將動態分配。

[6080, 7030]
4

JSONRPC_HOST

這是 Web 服務應監聽的介面。

'127.0.0.1'
廣告
© . All rights reserved.