Category: Scrapy教程

(2)Scrapy安装

在本章中,我们将了解如何安装和设置Scrapy。Scrapy必须与Python一起安装。 Scrapy可以通过使用 pip 进行安装。运行以...

(8)Scrapy Shell

(8)Scrapy Shell

Scrapy shell 可用于抓取数据并提示错误代码,而无需使用蜘蛛。 Scrapy shell的主要目的是测试所提取的代码,XPath或...

(5)Scrapy选择器(Selector)

(5)Scrapy选择器(Selector)

当刮取网页中的数据,需要通过使用XPath或CSS表达式来实现选择器机制提取HTML源代码的某些部分。选择器是在Python语言的XML和L...

(6)Scrapy项目(Items)

(6)Scrapy项目(Items)

Scrapy进程可通过使用蜘蛛提取来自网页中的数据。Scrapy使用Item类生成输出对象用于收刮数据。 声明项目 如下图所示,您可以通过使...

(10)Scrapy定义项目

(10)Scrapy定义项目

项目是用于收集从网站刮取下数据的容器。 在启动蜘蛛时必须要定义项目。 要定义项目,在目录 first_scrapy自定义目录下找到编辑ite...

(9)Scrapy创建项目

从网页中刮取数据,首先需要创建Scrapy项目,用于编写存储代码。要创建一个新的目录下,运行下面的命令: scrapy startproje...

(11)Scrapy第一个Spider

(11)Scrapy第一个Spider

Spider定义从提取数据的初始 URL,如何遵循分页链接以及如何提取和分析在 items.py 定义字段的类。Scrapy 提供了不同类型...

(13)Scrapy提取项目

(13)Scrapy提取项目

从网页中提取数据,Scrapy 使用基于 XPath 和 CSS 表达式的技术叫做选择器。以下是 XPath 表达式的一些例子: /html...

(14)Scrapy使用项目

(14)Scrapy使用项目

项目(Item)对象是Python中的常规的字典类型。我们可以用下面的语法来访问类的属性: >>> item = Yiib...

(16)Scrapy快速入门

(16)Scrapy快速入门

Scrapy快速入门 最好的学习方法是参考例子,Scrapy 也不例外。出于这个原因,有一个 Scrapy 项目名为 quotesbot 例...

(15)Scrapy日志

(15)Scrapy日志

日志记录是指使用内置的日志系统和定义的函数或类来实现应用程序和库的事件跟踪。 记录日志是一个即用型的程序库,它可以在Scrapy设置日志记录...

(3)Scrapy命令行工具

(3)Scrapy命令行工具

Scrapy命令行工具用于控制Scrapy,它通常被称为“Scrapy工具”。它包括用于不同对象的参数和选项组的命令。 配置设置 scrap...

(1)Scrapy教程

Scrapy是什么? Scrapy是使用Python编写的一个快速开源Web抓取框架,使用基于XPath选择器来提取网页中的数据。 历史 S...