Scrapy – 环境

在本章中，我们将讨论如何安装和设置 Scrapy。Scrapy 必须与 Python 一起安装。

可以使用pip安装 Scrapy 。要安装，请运行以下命令 –

pip install Scrapy

视窗

注意– Windows 操作系统不支持 Python 3。

步骤 1 – 从Python安装 Python 2.7

通过将以下路径添加到 PATH 来设置环境变量 –

C:\Python27\;C:\Python27\Scripts\; 

您可以使用以下命令检查 Python 版本 –

python --version

第 2 步– 安装 OpenSSL。

在您的环境变量中添加 C:\OpenSSL-Win32\bin。

注– 除 Windows 外，所有操作系统都预装了 OpenSSL。

第 3 步– 安装Visual C++ 2008 可再发行组件。

步骤 4 – 安装pywin32。

第 5 步–为早于 2.7.9 的 Python 版本安装pip。

您可以使用以下命令检查 pip 版本 –

pip --version

第 6 步– 要安装 scrapy，请运行以下命令 –

pip install Scrapy

蟒蛇

如果您的机器上安装了anaconda或miniconda，请运行以下命令使用 conda 安装 Scrapy –

conda install -c scrapinghub scrapy 

Scrapinghub公司支持 Linux、Windows 和 OS X 的官方 conda 包。

注意– 如果您在通过 pip 安装时遇到问题，建议使用上述命令安装 Scrapy。

Ubuntu 9.10 或以上

最新版本的 Python 预装在 Ubuntu 操作系统上。使用 Scrapinghub 提供的 Ubuntu 包 aptgettable。使用软件包 –

步骤 1 – 您需要将用于将 Scrapy 包签名到 APT 密钥环的 GPG 密钥导入 –

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

步骤 2 – 接下来，使用以下命令创建 /etc/apt/sources.list.d/scrapy.list 文件 –

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

步骤 3 – 更新包列表并安装scrapy –

sudo apt-get update && sudo apt-get install scrapy

Archlinux

您可以使用以下命令从 AUR Scrapy 包安装 Scrapy –

yaourt -S scrapy

Mac OS X

使用以下命令安装 Xcode 命令行工具 –

xcode-select --install 

不要使用系统 Python，而是安装一个与系统其余部分不冲突的新更新版本。

步骤 1 – 安装自制软件。

步骤 2 – 设置环境 PATH 变量以指定应在系统包之前使用自制程序包 –

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

第 3 步– 为确保更改完成，使用以下命令重新加载.bashrc –

source ~/.bashrc 

第 4 步– 接下来，使用以下命令安装 Python –

brew install python

步骤 5 – 使用以下命令安装 Scrapy –

pip install Scrapy