python 爬虫创建缓存的几种方式(备忘)

1、最简单,创建一个字典,往字典里存数据,这种数据没法持久化,

2、磁盘缓存,通过在磁盘创建文件,把数据存到磁盘

3、数据库方式,nosql(redis 键值存储 mongo文件存储系统) 数据和关系数据库,

4、request_cache 特定支持requests的缓存模块,request_cache缓存的实现也是基于nosql 数据库的,但是具体实现不需要我们区处理,只要是requests 爬取的网站都会帮我们进行缓存

转载自:https://blog.csdn.net/caca95/article/details/81591272

You may also like...

退出移动版