欢迎访问 如意编程网!

如意编程网

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

爬取今日头条财经版块新闻

发布时间:2024/7/5 编程问答 99 豆豆
如意编程网 收集整理的这篇文章主要介绍了 爬取今日头条财经版块新闻 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

使用jupyter编辑, etree爬取

进入头条财经新闻网页,无法获取原网页内容,在查看各个请求中发现一个url里包含新闻信息.信息都在data里

 

import requests from lxml import etree import json url = "https://www.toutiao.com/api/pc/feed/?category=stock&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A1C51CD5E0C5598&cp=5C50D50599C8BE1&_signature=4tjOJQAAvpNI946lUObjM-LYzj"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3610.2 Safari/537.36","Connection": "close" }response = requests.get(url=url,headers=headers) response.encoding = "utf-8" page_text = json.loads(response.text) # 获取页面内容 # print(page_text) data = page_text['data'] # 获取data # print(data) news_dict = {} # 存放每条新闻信息的字典 news_list = [] # 存放所有新闻信息的列表 for news in data:news_dict['描述'] = news['abstract']news_dict['标题'] = news['title']news_dict['来源'] = news['source']news_dict['关键字'] = news['label']news_list.append(news_dict)news_dict={}print(news_list)

 

转载于:https://www.cnblogs.com/huangqihui/p/10336270.html

总结

以上是如意编程网为你收集整理的爬取今日头条财经版块新闻的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得如意编程网网站内容还不错,欢迎将如意编程网推荐给好友。