系列文章目录

python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细）.

python多线程爬取壁纸 妈妈再也不担心我没壁纸了！.

python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）.

python爬虫之爬取壁纸（新手入门级）.

文章目录

• 系列文章目录
• 前言
• 一、解析URL组成
• 二、利用正则表达式获取所需的数据
• • 2.数据的优化
• 三、使用selenium模拟网页刷新
• 四、总体的函数和代码编写
• • 1.获取html内容
  • 2.正则表达式获取信息
  • 3.获取每页的网页链接
  • 4.将信息写入excel表
  • 5.主函数及开头的编写
• 总结

---

前言

上一篇博客具体写了正则表达式的基本操作。
所以本文使用re正则库对猫眼电影前100名的电影数据（电影排名，电影名称，电影主演以及电影评分）进行爬取，使用selenium库刷新页面（防止获取页面html失败），最后将数据导入Excel表格。大致思路与上一篇爬取淘宝数据类似
ps：代码只用于学习不用于任何商业用途
最后效果如图所示

---

提示：以下是本篇文章正文内容

一、解析URL组成

第一页URL组成为：https://maoyan.com/board/4?offset=0
第二页URL组成为：https://maoyan.com/board/4?offset=10
由此可以得出页面变动的规则在于后面offset的参数

二、利用正则表达式获取所需的数据

打开开发者工具可见下图

可以得到正则表达式如下（示例）：

rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S) title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S) star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S) score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)

对于正则表达式不明白的可以参考我的上一篇博客：
python爬虫入门必会的操作—正则表达式（详解）.

2.数据的优化

我们得到的star和score数据中，star里有很多空格和换行，所以我们用strip()方法去掉，并用replace（）方法将匹配到的主演转为空
同时score得到的数据需要两项加起来
代码如下：

star[i].strip().replace('主演：', ''), score[i][0] + score[i][1])

---

三、使用selenium模拟网页刷新

在爬取的途中我发现网站需要刷新才能获得我们所需要的html内容所以我们需要selenium代替我们人工刷新（或者自己手动刷新）
刷新网页代码如下：

from selenium import webdriver driver = webdriver.Chrome() driver.maximize_window() driver.get('https://maoyan.com/board/4?offset=0') driver.refresh()

四、总体的函数和代码编写

1.获取html内容

def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.text

2.正则表达式获取信息

def Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return x

3.获取每页的网页链接

def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urls

4.将信息写入excel表

def Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)

5.主函数及开头的编写

开头：

import re import timeimport requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('电影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '评分')

主函数：

if __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5) # 这里设置了每5s进行一次页面刷新driver.refresh()workbook.close()

最后完整代码：

# -*- coding: utf-8 -*- # @Time : 2020/11/17 17:00 # @Author : cc # @E-mail : 1215177216@qq.com # @Site : # @File : 猫眼电影.py # @Software: PyCharm # 本代码只用于学习！ import re import time import requests import xlsxwriter from selenium import webdriverworkbook = xlsxwriter.Workbook('电影.xlsx') worksheet = workbook.add_worksheet() worksheet.set_column('A:A', 20) worksheet.set_column('B:B', 20) worksheet.set_column('C:C', 70) worksheet.set_column('D:D', 20) worksheet.write('A1', '排名') worksheet.write('B1', '名字') worksheet.write('C1', '主演') worksheet.write('D1', '评分')def Get_html(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',}r = requests.get(url, headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textdef Get_Xx(html):x = []rank = re.findall(r'<dd>.*?board-index.*?>(.*?)</i>', html, re.S)title = re.findall(r'<p.*?name.*?title="(.*?)".*?</p>', html, re.S)star = re.findall(r'<p.*?star">(.*?)</p>', html, re.S)score = re.findall(r'p.*?score.*?integer">(.*?)</i>.*?fraction.*?(\d).*?</p>', html, re.S)for i in range(0, 10):x.append((rank[i], title[i], star[i].strip().replace('主演：', ''), score[i][0] + score[i][1]))return xdef Write_intoExcel(x):global countfor i in range(len(x)):worksheet.write(count + i + 1, 0, x[i][0])worksheet.write(count + i + 1, 1, x[i][1])worksheet.write(count + i + 1, 2, x[i][2])worksheet.write(count + i + 1, 3, x[i][3])print(x)count = count + len(x)def Url_list():urls = ['https://maoyan.com/board/4?offset=0']for i in range(10, 91, 10):url = 'https://maoyan.com/board/4?offset=' + str(i)urls.append(url)return urlsif __name__ == "__main__":driver = webdriver.Chrome()driver.maximize_window()driver.get('https://maoyan.com/board/4?offset=0')x = []count = 0urls = Url_list()for url in urls:html = Get_html(url)x = Get_Xx(html)Write_intoExcel(x)time.sleep(5)driver.refresh()workbook.close()

总结

最后觉得写的好的

总结

以上是生活随笔为你收集整理的python爬虫实战——爬取猫眼电影TOP100并导入excel表的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。