豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理

二、豆瓣电影数据的整理

下一部分的爬取需要借助上一节爬取的数据，也就是电影的id号，根据id号来爬取具体的电影数据。 需要对爬取的数据进行处理，成为更有利于我们使用的数据。如下图所示：

这里把代码贴出来就不进行解释了。 数据和代码放到一个目录下（data下是我们上一节爬取的数据，get_index_id_name.py是整理程序）：

import os import csvdef readAllFiles(filePath):id = []name = []fileList = os.listdir(filePath)for file in fileList:path = os.path.join(filePath, file)if os.path.isfile(path):with open(path, 'r') as f:reader = csv.reader(f)for i in reader:if str(i[4]) != "NONE" and str(i[4]) != 'id':id.append(i[4])name.append(i[7])return name, id #这里的路径是你当前目录下的路径，看下图解释 movie_name, movie_id = readAllFiles("data")with open('index.csv', 'w', encoding='utf-8-sig', newline='') as f:f1 = csv.writer(f)for i in range(len(movie_name)):f1.writerow([movie_id[i], movie_name[i]])

谢谢大家的阅读！

总结

以上是生活随笔为你收集整理的豆瓣电影爬虫Ⅱ 豆瓣电影数据的整理的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。