Python爬虫 爬取新浪微博热搜

文章目录

• • Python爬虫 爬取新浪微博热搜
• 网页分析
• 数据爬取
• 数据存储
• 全部代码

网页分析

找到热搜的排名，标题和热度，发现它们在同一路径

数据爬取

import requests from lxml import etree url= 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6' #print(response.text) headers={'User-Agent': 'Mozilla/5.0 (Wind ows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } response=requests.get(url,headers=headers) html=etree.HTML(response.text) datas=html.xpath('//*[@id="pl_top_realtimehot"]/table/tbody/tr') for data in datas:data_title=data.xpath('td[2]/a/text()')#标题的xpath路径print(data_title)

运行结果

数据存储

fp=open('D:/老齐/微博.txt', 'a+')#a+，如果文件不存在就创建，存在就在内容后追加 for data in datas:data_title=''.join(data.xpath('td[2]/a/text()'))#标题data_rank=''.join(data.xpath('td[1]/text()'))#排名data_num=''.join(data.xpath('td[2]/span/text()'))print(data_rank,data_title,data_num,file=fp) fp.close()

全部代码

import requests from lxml import etree url= 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6' #print(response.text) headers={'User-Agent': 'Mozilla/5.0 (Wind ows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } response=requests.get(url,headers=headers) html=etree.HTML(response.text) datas=html.xpath('//*[@id="pl_top_realtimehot"]/table/tbody/tr') fp=open('D:/老齐/微博.txt', 'a+')#a+，如果文件不存在就创建，存在就在内容后追加 for data in datas:data_title=''.join(data.xpath('td[2]/a/text()'))#标题data_rank=''.join(data.xpath('td[1]/text()'))#排名data_num=''.join(data.xpath('td[2]/span/text()'))print(data_rank,data_title,data_num,file=fp) fp.close()

总结

以上是生活随笔为你收集整理的Python爬虫 爬取新浪微博热搜的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。