python爬虫学习(一) requests模块

requests模块: python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用:模拟浏览器发请求。

如何使用:(requests模块的编码流程)
一指定url
一发起请求
一获取响应数据
-持久化存储

环境安装:

pip install requests

或者在pycharm里面安装

编写代码爬取

#-- coding:UTF-8 -- import sys reload(sys) sys.setdefaultencoding('utf8') import requests if __name__ == '__main__':#1.指定urlurl='https://www.sogou.com/'#2.发起请求,获取响应对象response = requests.get(url=url)#3.获取响应数据,为字符串形式page_text = response.textprint (page_text)#4.存储到本地with open('./sogou.html','w') as fp:fp.write(page_text)print ('爬取过程结束')

发现都是在一行

按 Ctrl+Alt+L 即可

与50位技术专家面对面20年技术见证，附赠技术全景图

总结

以上是生活随笔为你收集整理的python爬虫学习(一) requests模块的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。