欢迎访问 生活随笔!

生活随笔

当前位置: 首页 >

豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理

发布时间:2024/8/1 39 豆豆
生活随笔 收集整理的这篇文章主要介绍了 豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

二、豆瓣电影数据的整理


下一部分的爬取需要借助上一节爬取的数据,也就是电影的id号,根据id号来爬取具体的电影数据。 需要对爬取的数据进行处理,成为更有利于我们使用的数据。如下图所示:



这里把代码贴出来就不进行解释了。 数据和代码放到一个目录下(data下是我们上一节爬取的数据,get_index_id_name.py是整理程序):



import os import csvdef readAllFiles(filePath):id = []name = []fileList = os.listdir(filePath)for file in fileList:path = os.path.join(filePath, file)if os.path.isfile(path):with open(path, 'r') as f:reader = csv.reader(f)for i in reader:if str(i[4]) != "NONE" and str(i[4]) != 'id':id.append(i[4])name.append(i[7])return name, id #这里的路径是你当前目录下的路径,看下图解释 movie_name, movie_id = readAllFiles("data")with open('index.csv', 'w', encoding='utf-8-sig', newline='') as f:f1 = csv.writer(f)for i in range(len(movie_name)):f1.writerow([movie_id[i], movie_name[i]])

谢谢大家的阅读!

总结

以上是生活随笔为你收集整理的豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错,欢迎将生活随笔推荐给好友。