python 爬虫 智联招聘

本方法使用cookie的方法下载智联招聘的职位。主要就是要先登录智联招聘，然后将对应的cookie作为爬虫访问的header。代码如下：

import requests import re import xlwtdef parse_one_page(html):'''解析HTML代码，提取有用信息并返回'''# 正则表达式进行解析pattern = re.compile('<span title=.*? class="iteminfo__line1__jobname__name">(.*?)</span>.*?''<span title=.*? class="iteminfo__line1__compname__name">(.*?)</span>.*?''<p class="iteminfo__line2__jobdesc__salary">\\n\s+(.*?)\\n.*?''<li class="iteminfo__line2__jobdesc__demand__item">(.*?)</li>', re.S) # 匹配职位信息# 匹配所有符合条件的内容try:items = re.findall(pattern, html)return itemsexcept:return 404def get_next_page(page):p_url = url+"&p="+pagehtml = requests.get(p_url,headers=headers)if html.status_code == 200:return parse_one_page(html.text)url = 'https://sou.zhaopin.com/?jl=530&kw=%E6%88%BF%E5%9C%B0%E4%BA%A7%E9%94%80%E5%94%AE' # 将爬虫伪装成浏览器请求网页数据 cookie = '''将cookie拷贝到这里，不用修改，可直接使用''' cookie = cookie.encode("utf-8") headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063','cookie': cookie } workbook = xlwt.Workbook(encoding='utf-8') # 创建一个worksheet worksheet = workbook.add_sheet('My Worksheet') line = 1 for i in range(33,38):print(i)code = get_next_page(str(i))if code == 404 or len(code)==0:print("end")breakelse:for l in range(len(code)):for k in range(4):worksheet.write(line, k, label=code[l][k])line = line+1# 保存 workbook.save('Excel_test.xls')

总结

以上是生活随笔为你收集整理的python 爬虫 智联招聘的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。