Wechat: yu389741| Email: gisdqy@163.com

Shop:https://www.giserdqy.com/shop

(2)Scrapy安装



在本章中,我们将了解如何安装和设置Scrapy。Scrapy必须与Python一起安装。
Scrapy可以通过使用 pip 进行安装。运行以下命令:
pip install Scrapy

Windows系统上安装(本教程)

在Window系统上安装Scrapy,是一个比较复杂的事项,在写本教程的时候,看到网上有人说用了3天时间才装好,吓我一跳,不过还好,我也算是比较喜欢折腾的那么一个人。需要一点点耐心就好。
下载文件地址 – http://pan.baidu.com/s/1nv6ObKt

注:Windows操作系统是不支持Python3 的 Scrapy。

  • 要安装scrapy,运行以下命令:

    pip install Scrapy
成功后,界面长这样 – 

Ubuntu系统

Python的最新版本是预先安装在Ubuntu操作系统。使用由 Scrapinghub 提供 Ubuntu 的软件包 apt-get。要使用这些软件包:

  • 需要输入用于登录 Scrapy 包 APT 的 GPG密钥:
    sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
  • 接下来,使用下面的命令来创建 /etc/apt/sources.list.d/scrapy.list 文件:
    echo 'deb http://archive.scrapy.org/ubuntu scrapy main'| sudo tee /etc/apt/sources.list.d/scrapy.list
  • 更新软件包列表并安装scrapy:
    sudo apt-get update && sudo apt-get install scrapy

Archlinux系统

可以使用下面的命令从AUR Scrapy 包安装 Scrapy:
yaourt -S scrapy

Mac OS X系统

使用下面的命令来安装 Xcode 命令行工具:
xcode-select--install
而不是使用系统的Python,安装新的更新版本,不与系统的其余部分冲突。
  • 安装homebrew
  • 设置环境变量 PATH 指定 homebrew 包在系统软件包前使用:

    echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
  • 变更完成后,重新加载 .bashrc 使用下面的命令:

    source ~/.bashrc
  • 接下来,使用下面的命令安装 Python:

    brew install python
  • 接下来,安装scrapy:

    pip install Scrapy

 关注右侧公众号,随时随地查看教程
 Scrapy教程目录