Scrapy框架的学习(7. 了解Scrapy中的debug信息以及Scrapy shell的使用)

  认识程序中的debug信息

 https://blog.csdn.net/wei18791957243/article/details/86157707  这个博客里写了，怎么关闭这些debug信息

因为在Scrapy中默认是开启debug信息的

 

 

 Scrapy shell的使用

 退出到爬虫项目的根目录的上一级目录

scrapy shell 网站地址        例如： scrapy shell http://quotes.toscrape.com/

如果电脑上装的Ipython就进入Ipython，没有就进入Python Sell

 执行上面的命令后，会打印一堆debug信息以及可用的爬虫对象

1. 然后即可以进行使用爬虫对象对应的方法

  response对象

'''当前响应的url地址''' response.url '''返回请求的url网页源码，注意类型是str类型''' response.text '''返回请求的url网页源码，注意类型是bytes类型''' response.body '''也可以测试xpath是否写的正确''' response.xpath().extract() '''当前响应对应的请求的url地址''' response.request.url： '''响应头''' response.headers： '''当前响应的请求头''' response.requests.headers：

spider对象

'''爬虫的名字，没有指定就是default''' spider.name '''打印log信息''' spider.log() ''''''

   还有其他的一些对象以及对应的请求, 我们可以

  在shell中输入对象后然后按Tab键就可以看它对应的所有方法

总结

以上是生活随笔为你收集整理的Scrapy框架的学习(7. 了解Scrapy中的debug信息以及Scrapy shell的使用)的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。