欢迎访问 生活随笔!

生活随笔

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

Scrapy框架----pipeline---------数据保存EXCEL

发布时间:2025/5/22 编程问答 26 豆豆
生活随笔 收集整理的这篇文章主要介绍了 Scrapy框架----pipeline---------数据保存EXCEL 小编觉得挺不错的,现在分享给大家,帮大家做个参考.
from openpyxl import Workbookwk = Workbook() #class实例化 ws = wk.active #激活工作表 ws["A1"] = 999999 #A1表格输入数据 ws.append(['2018-1-1','学习','Python','人生苦短,我用Python']) #加入一行数据 wb.save('/me/con.xlsx') #保存文件 from openpyxl import Workbookclass TuniuPipeline(object): # 设置工序一self.wb = Workbook()self.ws = self.wb.activeself.ws.append(['新闻标题', '新闻链接', '来源网站', '发布时间', '相似新闻', '是否含有网站名']) # 设置表头def process_item(self, item, spider): # 工序具体内容line = [item['title'], item['link'], item['source'], item['pub_date'], item['similar'], item['in_title']] # 把数据中每一项整理出来self.ws.append(line) # 将数据以行的形式添加到xlsx中self.wb.save('/home/alexkh/tuniu.xlsx') # 保存xlsx文件return item

为了让pipeline.py生效,还需要在settings.py文件中增加设置,内容如下:

 

ITEM_PIPELINES = {'tuniunews.pipelines.TuniuPipeline': 200, # 200是为了设置工序顺序 }

 

转载于:https://www.cnblogs.com/eunuch/p/9277317.html

总结

以上是生活随笔为你收集整理的Scrapy框架----pipeline---------数据保存EXCEL的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。