- Scrapy 教程
- Scrapy - 首頁
- Scrapy 基本概念
- Scrapy - 概述
- Scrapy - 環境
- Scrapy - 命令列工具
- Scrapy - 爬蟲
- Scrapy - 選擇器
- Scrapy - 專案
- Scrapy - 專案載入器
- Scrapy - Shell
- Scrapy - 專案管道
- Scrapy - 資料匯出
- Scrapy - 請求 & 響應
- Scrapy - 連結提取器
- Scrapy - 設定
- Scrapy - 異常
- Scrapy 實戰專案
- Scrapy - 建立專案
- Scrapy - 定義專案
- Scrapy - 第一個爬蟲
- Scrapy - 爬取
- Scrapy - 提取專案
- Scrapy - 使用專案
- Scrapy - 跟蹤連結
- Scrapy - 抓取的資料
- Scrapy 有用資源
- Scrapy - 快速指南
- Scrapy - 有用資源
- Scrapy - 討論
Scrapy - 環境
在本章中,我們將討論如何安裝和設定 Scrapy。Scrapy 必須使用 Python 安裝。
可以使用 **pip** 安裝 Scrapy。要安裝,請執行以下命令:
pip install Scrapy
Windows
**注意** - Windows 作業系統不支援 Python 3。
**步驟 1** - 從 Python 安裝 Python 2.7
透過將以下路徑新增到 PATH 來設定環境變數:
C:\Python27\;C:\Python27\Scripts\;
可以使用以下命令檢查 Python 版本:
python --version
**步驟 2** - 安裝 OpenSSL。
在環境變數中新增 C:\OpenSSL-Win32\bin。
**注意** - 除 Windows 外,所有作業系統都預裝了 OpenSSL。
**步驟 3** - 安裝 Visual C++ 2008 可再發行元件包。
**步驟 4** - 安裝 pywin32。
**步驟 5** - 為低於 2.7.9 的 Python 版本安裝 pip。
可以使用以下命令檢查 pip 版本:
pip --version
**步驟 6** - 要安裝 scrapy,請執行以下命令:
pip install Scrapy
Anaconda
如果您的機器上安裝了 anaconda 或 miniconda,請執行以下命令使用 conda 安裝 Scrapy:
conda install -c scrapinghub scrapy
Scrapinghub 公司支援 Linux、Windows 和 OS X 的官方 conda 包。
**注意** - 如果您在透過 pip 安裝時遇到問題,建議使用上述命令安裝 Scrapy。
Ubuntu 9.10 或更高版本
Ubuntu 作業系統預裝了最新版本的 Python。使用 Scrapinghub 提供的 Ubuntu 包 aptgettable。要使用這些包:
**步驟 1** - 您需要將用於簽署 Scrapy 包的 GPG 金鑰匯入到 APT 金鑰環中:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
**步驟 2** - 接下來,使用以下命令建立 /etc/apt/sources.list.d/scrapy.list 檔案:
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
**步驟 3** - 更新軟體包列表並安裝 scrapy:
sudo apt-get update && sudo apt-get install scrapy
Archlinux
您可以使用以下命令從 AUR Scrapy 包安裝 Scrapy:
yaourt -S scrapy
Mac OS X
使用以下命令安裝 Xcode 命令列工具:
xcode-select --install
不要使用系統 Python,而是安裝一個不會與系統其他部分衝突的新更新版本。
**步驟 1** - 安裝 homebrew。
**步驟 2** - 設定環境 PATH 變數以指定在使用系統軟體包之前應使用 homebrew 軟體包:
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
**步驟 3** - 為確保更改已完成,請使用以下命令重新載入 **.bashrc**:
source ~/.bashrc
**步驟 4** - 接下來,使用以下命令安裝 Python:
brew install python
**步驟 5** - 使用以下命令安裝 Scrapy:
pip install Scrapy