Scrapy爬虫实践 —— 一、入门篇

• 前言
• 一、选择爬虫框架——Scrapy
• 二、Scrapy安装
• • 1.引入库
  • 2.安装
  • 3.验证
• 三、Scrapy的第一个爬虫工程
• • 1. 使用框架创建新工程
  • 2. 第一只虫
  • 3. 开门、放虫
• 参考

---

前言

有朋友最近让我帮忙做个爬虫，想想也没咋做过，顺便就来补个课。本文就介绍了一下做爬虫过程中踩下的坑。

---

一、选择爬虫框架——Scrapy

一直都听说说Python用来爬虫是最合适的，所以当然就找了Scrapy来练手。
Scrapy基本大家想要入门都会知道，它是一个爬虫的应用框架，主要包括爬取网页、结构化解构。主要用于数据挖掘、信息处理或者历史归档。

二、Scrapy安装

我的python是在visual studio code中编写的，安装的是python3.8的版本，这部分就不赘述了。

1.引入库

Scrapy由纯python写就，因此它依赖于以下的库：

• lxml
• parsel
• w3lib
• twisted
• cryptography and pyOpenSSL

上述库均可以直接用pip install安装

2.安装

pip install scrapy

3.验证

打开bash，进入工作区

$ scrapy Scrapy 2.5.0 - no active projectUsage:scrapy <command> [options] [args]Available commands:bench Run quick benchmark testcommandsfetch Fetch a URL using the Scrapy downloadergenspider Generate new spider using pre-defined templatesrunspider Run a self-contained spider (without creating a project)settings Get settings valuesshell Interactive scraping consolestartproject Create new projectversion Print Scrapy versionview Open URL in browser, as seen by Scrapy[ more ] More commands available when run from project directoryUse "scrapy <command> -h" to see more info about a command

大功告成，安装成功

这一步执行的时候出错，VS Code的老毛病了，关掉VS Code重启一下就好了

三、Scrapy的第一个爬虫工程

1. 使用框架创建新工程

scrapy startproject quote

创建后，可以用tree命令看一下：

E:\PythonWork\Scrapy\quote>tree /f 文件夹 PATH 列表 卷序列号为 78FD-091E E:. │ scrapy.cfg #爬虫配置文件 │ └─quote #项目python模块，可以在此引入我们的代码│ items.py #item定义文件│ middlewares.py #中间件文件，包含IP代理设置等可以在此文件中处理│ pipelines.py #管道处理文件│ settings.py #设定文件│ __init__.py │└─spiders #爬虫所在文件夹__init__.py

入门的场景下我们基本关注爬虫所在的文件夹即可

2. 第一只虫

在Scrapy中，爬虫是定义爬取行为和页面的一个类。应该是Spider子类并且定义初始化的请求。例如爬取的链接，以及定义如何处理分析爬取的页面的内容并解析数据。
我们在quote\spiders文件夹下创建quote_spider.py文件，文件内容如下：

# This package will contain the spiders of your Scrapy project # # Please refer to the documentation for information on how to create and manage # your spiders. import scrapy#定义我们的爬虫类，该类为Spider的子类 class QuotesSpider(scrapy.Spider): #爬虫名，项目中唯一，后续在命令行启动调用时使用name = "quotes"#返回一个请求的可迭代对象，爬虫在爬取前执行该函数def start_requests(self):#定义待爬取的链接urls = ['http://quotes.toscrape.com/page/1/','http://quotes.toscrape.com/page/2/',]for url in urls:yield scrapy.Request(url=url, callback=self.parse)#在单个爬取request执行后的处理行为, response中存储了爬取后的数据def parse(self, response):page = response.url.split("/")[-2]filename = f'quotes-{page}.html'with open(filename, 'wb') as f:f.write(response.body)self.log(f'Saved file {filename}')

parse()方法通常用来处理返回内容，将爬取的数据提取至字典，或寻找下一个要爬取的URL（通过调用Request方法进行下一步的爬取）
注意，如果提示编码错误，把中文注释删除即可

3. 开门、放虫

scrapy crawl quotes

这条命令运行名为quotes的爬虫，该名字在我们刚才添加的文件中定义了

2021-05-20 16:11:29 [scrapy.utils.log] INFO: Scrapy 2.5.0 started (bot: quote) 2021-05-20 16:11:29 [scrapy.utils.log] INFO: Versions: lxml 4.6.3.0, libxml2 2.9.5, cssselect 1.1.0, parsel 1.6.0, w3lib 1.22.0, Twisted 20.3.0, Python 3.8.10 (tags/v3.8.10:3d8993a, May 3 2021, 11:48:03) [MSC v.1928 64 bit (AMD64)], pyOpenSSL 20.0.1 (OpenSSL 1.1.1k 25 Mar 2021), cryptography 3.4.7, Platform Windows-7-6.1.7601-SP1 2021-05-20 16:11:29 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.selectreactor.SelectReactor 2021-05-20 16:11:29 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'quote','NEWSPIDER_MODULE': 'quote.spiders','ROBOTSTXT_OBEY': True,'SPIDER_MODULES': ['quote.spiders']} 2021-05-20 16:11:29 [scrapy.extensions.telnet] INFO: Telnet Password: cf9b8b15e70bb2c3 2021-05-20 16:11:29 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats','scrapy.extensions.telnet.TelnetConsole','scrapy.extensions.logstats.LogStats'] 2021-05-20 16:11:30 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware','scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware','scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware','scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware','scrapy.downloadermiddlewares.useragent.UserAgentMiddleware','scrapy.downloadermiddlewares.retry.RetryMiddleware','scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware','scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware','scrapy.downloadermiddlewares.redirect.RedirectMiddleware','scrapy.downloadermiddlewares.cookies.CookiesMiddleware','scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware','scrapy.downloadermiddlewares.stats.DownloaderStats'] 2021-05-20 16:11:30 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware','scrapy.spidermiddlewares.offsite.OffsiteMiddleware','scrapy.spidermiddlewares.referer.RefererMiddleware','scrapy.spidermiddlewares.urllength.UrlLengthMiddleware','scrapy.spidermiddlewares.depth.DepthMiddleware'] 2021-05-20 16:11:30 [scrapy.middleware] INFO: Enabled item pipelines: [] 2021-05-20 16:11:30 [scrapy.core.engine] INFO: Spider opened 2021-05-20 16:11:30 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2021-05-20 16:11:30 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023 2021-05-20 16:11:31 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None) 2021-05-20 16:11:31 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None) 2021-05-20 16:11:31 [quotes] DEBUG: Saved file quotes-1.html 2021-05-20 16:11:31 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>

看到这样的结果，我们就能够认为爬虫已经正常工作了。
查看我们的目录下，目录下生成了quotes-1.html和quotes-2.html

参考

• https://docs.scrapy.org/en/latest/intro/tutorial.html

总结

以上是生活随笔为你收集整理的python爬虫实践 —— 一、入门篇的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。