使用selenium自动化工具爬取微博内容和评论

任务需求是爬取微博的内容和评论。一开始我是准备直接用正常的爬虫来做，但是发现微博上的内容几乎都是动态加载生成的。所以了解了一下就学习使用·selenium自动化测试工具来爬取相关数据。

首先是不登录微博，发现只能查看最多二十条数据，这自然限制太大所以还是需要实现登录后再爬取。

1.登录微博

由于微博现在的登录不能只输入账号密码，所以通过查找了一些方法后选用了注入cookie来实现自动登录。而想要注入的cookie需要自己先登录获得。这里直接使用了各位大佬给出的方法。实现扫码登录后获取cookie。

from selenium import webdriver from time import sleep import json from selenium.webdriver.common.by import Byif __name__ == '__main__':driver = webdriver.Chrome()driver.maximize_window()driver.get('https://weibo.com/login.php')sleep(6)a = driver.find_element(By.XPATH, '//*[@id="pl_login_form"]/div/div[1]/div/a[2]')a.click()sleep(10)dictCookies = driver.get_cookies() # 获取list的cookiesjsonCookies = json.dumps(dictCookies) # 转换成字符串保存with open('微博_cookies.txt', 'w') as f:f.write(jsonCookies)print('cookies保存成功！')

2.通过获取到的cookie实现自动登录然后爬取用户微博内容和评论

2.1打开浏览器，进入到登录页面。这里我最大化窗口了。

# 打开浏览器，进入到微博登录页面 def browser_initial():browser = webdriver.Chrome()browser.maximize_window()browser.get('https://weibo.com/login.php')return browser

2.2实现自动化登录

# 将已经登录获得的cookie写入，实现自动登录 def log_csdn(browser):with open('微博_cookies.txt', 'r', encoding='utf8') as f:listCookies = json.loads(f.read())# 往browser里添加cookiesfor cookie in listCookies:cookie_dict = {'domain': '.weibo.com','name': cookie.get('name'),'value': cookie.get('value'),"expires": '','path': '/','httpOnly': False,'HostOnly': False,'Secure': False}#print(cookie_dict)browser.add_cookie(cookie_dict)sleep(1)browser.get('https://weibo.com/login.php')

登录后的页面如下图

 

2.3搜索内容并且爬取

这时候需要在左上角的搜索框输入自己需要搜索的用户，然后通过按回车来实现搜索

 得到新的页面里可以看到最上方会显示相关的账户，找到相关元素并点击即可

最后进入到用户的完整页面

这时侯就可以开始爬取用户的微博信息和评论了。由于微博的内容是动态加载的，通过F12可以看到一开始是仅展示六条内容的元素

通过滑动，元素会逐渐增加，但是上限是12个，并且后面会出现元素顺序和微博内容顺序不符的情况。如果单单爬取微博的内容，不爬评论那还好，只需要定位到每一个元素块，获取其内部的text文本然后处理一下就可以获得自己想要的信息。但是由于还要爬取相应的评论内容，并且评论还要和微博内容相对应，所以不能直接进行爬取。

这里我选择微博内容里的时间元素里的href

 

 通过点击这个a标签，可以跳转到该条微博的详情页面

这时候就可以分块爬起微博的内容以及转发数、评论数、点赞数和评论的内容了。要注意的是这里的转发数评论数这些可能存在多个，比如此图里是转发他人微博，他人微博里也有转发数这些。还有就是评论的内容有可能是开启精选后的，和普通的评论内容要做判断。 爬取完微博内容和评论后点击上方的返回按钮，回到之前的页面。

hrefs = []# 搜索内容 def search(username):# 等待元素出现再进行下一步WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "woo-pop-ctrl")))# 获取搜索框元素searchinput = browser.find_element(By.CLASS_NAME, 'woo-input-main')# 将要搜索的内容写入搜索框searchinput.send_keys(username)# 等待0.5秒后按回车sleep(0.2)searchinput.send_keys(Keys.ENTER)# 转移句柄到新的页面new_window = browser.window_handles[-1]# 关闭原来的页面browser.close()# 窗口转移到新的页面browser.switch_to.window(new_window)# 等待WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "card-wrap")))# 定位用户微博头像并点击weibo = browser.find_element(By.XPATH, '//div[@class="card card-user-b s-brt1 card-user-b-padding"]/div/a')weibo.click()new_window = browser.window_handles[-1]browser.switch_to.window(new_window)WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "vue-recycle-scroller__item-view")))# 微博一次最多给12条内容的元素，并且给出的元素不保证顺序。# 所以第一次进入页面的时候获取所有的内容元素，a标签里的href唯一，所以将其提取出来for t in range(3):a = browser.find_elements(By.XPATH, '//div[@class="woo-box-item-flex head_main_3DRDm"]/div/div[2]/a')# 在获取到的列表里进行筛选，已经爬取过的微博就跳过for i in range(len(a)):if a[i].get_attribute("href") in hrefs:print("已经搜索过")continueelse:print("还没搜索过")# 每次都向下滑动400像素，大致符合一条微博的高度changepage(400)# sleep(0.5)newpage = a[i].get_attribute("href")# 打印hrefprint(newpage)hrefs.append(newpage)# print(comments)# 打印已经搜索的微博内容数print(len(hrefs))# 使用js脚本来点击元素，否则可能出现元素不在网页上，无法交互的报错# a[i].click()browser.execute_script("arguments[0].click();", a[i])# 不要直接用href去请求，否则点击返回的时候会直接回到微博首页面# browser.get(newpage)sleep(0.5)# 爬取具体内容页面的内容和评论findall()sleep(0.2)# 找到返回按钮并点击WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.XPATH,'//div[@class="woo-box-flex woo-box-alignCenter Bar_left_2J3kl Bar_hand_2VAG1"]/i')))back = browser.find_element(By.XPATH,'//div[@class="woo-box-flex woo-box-alignCenter Bar_left_2J3kl Bar_hand_2VAG1"]/i')back.click()

 

text = []# 将页面向下滑动px像素 def changepage(px):browser.execute_script("window.scrollBy(0, {})".format(px))# 爬取微博的内容和评论 def findall():# 等待页面元素加载WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "Feed_body_3R0rO")))body = browser.find_element(By.CLASS_NAME, 'Feed_body_3R0rO')# 通过换行来划分内容bodytext = body.text.split("\n")print(bodytext)# 找到转发评论点赞的元素，但是如果有微博内容为转发他人的微博，则存在两个footer元素，# 所以寻找多个，然后取最后那一个footer = browser.find_elements(By.TAG_NAME, 'footer')footertext = footer[-1].text.split("\n")print(footertext[1])WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "Detail_box_3Jeom")))try:prompt = browser.find_element(By.CLASS_NAME, "RepostCommentList_tip_2O5W-")print(prompt.text)t = Falseexcept:t = Trueprint(t)while t:try:browser.find_element(By.XPATH, '//div[@class="Bottom_text_1kFLe"]')t = Falseexcept:t = TrueWebDriverWait(browser, 15).until(EC.presence_of_element_located((By.XPATH, '//div[@class="vue-recycle-scroller__item-wrapper"]')))pagecomment = browser.find_elements(By.XPATH, '//div[@class="vue-recycle-scroller__item-view"]')for i in pagecomment:comment = i.text.split("\n")if comment in text:continueelse:print(comment)text.append(comment)sleep(0.1)changepage(600)

 最后爬取内容和评论的总的代码如下：

from selenium import webdriver from time import sleep import json from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keystext = [] hrefs = []# 打开浏览器，进入到微博登录页面 def browser_initial():browser = webdriver.Chrome()browser.maximize_window()browser.get('https://weibo.com/login.php')return browser# 将已经登录获得的cookie写入，实现自动登录 def log_csdn(browser):with open('微博_cookies.txt', 'r', encoding='utf8') as f:listCookies = json.loads(f.read())# 往browser里添加cookiesfor cookie in listCookies:cookie_dict = {'domain': '.weibo.com','name': cookie.get('name'),'value': cookie.get('value'),"expires": '','path': '/','httpOnly': False,'HostOnly': False,'Secure': False}#print(cookie_dict)browser.add_cookie(cookie_dict)sleep(1)browser.get('https://weibo.com/login.php')#print(browser.get_cookies())#browser.refresh() # 刷新网页,cookies才成功# 搜索内容 def search(username):# 等待元素出现再进行下一步WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "woo-pop-ctrl")))# 获取搜索框元素searchinput = browser.find_element(By.CLASS_NAME, 'woo-input-main')# 将要搜索的内容写入搜索框searchinput.send_keys(username)# 等待0.5秒后按回车sleep(0.2)searchinput.send_keys(Keys.ENTER)# 转移句柄到新的页面new_window = browser.window_handles[-1]# 关闭原来的页面browser.close()# 窗口转移到新的页面browser.switch_to.window(new_window)# 等待WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "card-wrap")))# 定位用户微博头像并点击weibo = browser.find_element(By.XPATH, '//div[@class="card card-user-b s-brt1 card-user-b-padding"]/div/a')weibo.click()new_window = browser.window_handles[-1]browser.switch_to.window(new_window)WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "vue-recycle-scroller__item-view")))# 微博一次最多给12条内容的元素，并且给出的元素不保证顺序。# 所以第一次进入页面的时候获取所有的内容元素，a标签里的href唯一，所以将其提取出来for t in range(3):a = browser.find_elements(By.XPATH, '//div[@class="woo-box-item-flex head_main_3DRDm"]/div/div[2]/a')# 在获取到的列表里进行筛选，已经爬取过的微博就跳过for i in range(len(a)):if a[i].get_attribute("href") in hrefs:print("已经搜索过")continueelse:print("还没搜索过")# 每次都向下滑动400像素，大致符合一条微博的高度changepage(400)# sleep(0.5)newpage = a[i].get_attribute("href")# 打印hrefprint(newpage)hrefs.append(newpage)# print(comments)# 打印已经搜索的微博内容数print(len(hrefs))# 使用js脚本来点击元素，否则可能出现元素不在网页上，无法交互的报错# a[i].click()browser.execute_script("arguments[0].click();", a[i])# 不要直接用href去请求，否则点击返回的时候会直接回到微博首页面# browser.get(newpage)sleep(0.5)# 爬取具体内容页面的内容和评论findall()sleep(0.2)# 找到返回按钮并点击WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.XPATH,'//div[@class="woo-box-flex woo-box-alignCenter Bar_left_2J3kl Bar_hand_2VAG1"]/i')))back = browser.find_element(By.XPATH,'//div[@class="woo-box-flex woo-box-alignCenter Bar_left_2J3kl Bar_hand_2VAG1"]/i')back.click()# 将页面向下滑动px像素 def changepage(px):browser.execute_script("window.scrollBy(0, {})".format(px))# 爬取微博的内容和评论 def findall():# 等待页面元素加载WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "Feed_body_3R0rO")))body = browser.find_element(By.CLASS_NAME, 'Feed_body_3R0rO')# 通过换行来划分内容bodytext = body.text.split("\n")print(bodytext)# 找到转发评论点赞的元素，但是如果有微博内容为转发他人的微博，则存在两个footer元素，# 所以寻找多个，然后取最后那一个footer = browser.find_elements(By.TAG_NAME, 'footer')footertext = footer[-1].text.split("\n")print(footertext[1])WebDriverWait(browser, 15).until(EC.presence_of_element_located((By.CLASS_NAME, "Detail_box_3Jeom")))try:prompt = browser.find_element(By.CLASS_NAME, "RepostCommentList_tip_2O5W-")print(prompt.text)t = Falseexcept:t = Trueprint(t)while t:try:browser.find_element(By.XPATH, '//div[@class="Bottom_text_1kFLe"]')t = Falseexcept:t = TrueWebDriverWait(browser, 15).until(EC.presence_of_element_located((By.XPATH, '//div[@class="vue-recycle-scroller__item-wrapper"]')))pagecomment = browser.find_elements(By.XPATH, '//div[@class="vue-recycle-scroller__item-view"]')for i in pagecomment:comment = i.text.split("\n")if comment in text:continueelse:print(comment)text.append(comment)sleep(0.1)changepage(600)if __name__ == "__main__":# 打开浏览器进入微博登录页面browser = browser_initial()# 使用cookie登录微博log_csdn(browser)# 爬取相关用户的评论search("杭州地铁")

里面的数据处理还没做，大家可以自己打印出来后根据自己的需要进行处理。

总结

以上是生活随笔为你收集整理的使用selenium自动化工具爬取微博内容和评论的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。