最近研究如何利用爬虫技术，抓取图书销量和店面信息。使用几个方法都没有抓到<span>标签下面的数值是空值，是不是做了反爬虫机制处理。刚好利用这个机会来复习一下爬虫三种方法。纯属个人爱好，不用于商用。希望有网友能告诉我为什么span的值是空值。

目录

抓取的网站

爬虫目的

挖坑路程

总结思路

---

抓取的网站

http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input

网站的源码：

爬虫目的

抓取网站里面各个商铺的名字、书名、还有价格、还有简介。

挖坑路程

方法一

用BeautifulSoup模块进行抓取。【bs方法抓取很快，上手也很快。看一下源代码的架构就模仿出来进行抓取。不管是抓标签p,标签a,标签li等标签内容。注意抓取的select方法，是逐级往下进行筛选。】

import requests import urllib.request from bs4 import BeautifulSoupdef get_html(url):headers = {'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac OS X 10_11_4)\AppleWebKit/537.36(KHTML, like Gecko) Chrome/52 .0.2743. 116 Safari/537.36'} # 模拟浏览器访问response = requests.get(url, headers=headers) # 请求访问网站html = response.text # 获取网页源码return html # 返回网页源码soup = BeautifulSoup(get_html('http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input'), 'lxml') # 初始化BeautifulSoup库,并设置解析器 get_html('http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input') text = soup.select('#search_nature_rg > ul.bigimg > li > a ')#只定为到末级，中间不算。 content3 = soup.select('#search_nature_rg > ul > li > div.lable_label > span.new_lable ')#定义自营门店 print(content3)

抓取的结果：（方法是对的了，抓取a、p的值都能出现了。span标签有点特殊，我想不通我换了正则表达式方法进行计算一下。）

方法二：

正则表达式抓取某网span标签内容的代码。难度很大，但是搜索相当方便。

import json import requests from requests.exceptions import RequestException #引入异常 import re import time def get_one_page(url):try:response = requests.get(url)if response.status_code == 200: #由状态码判断返回结果return response.text #返回网页内容return Noneexcept RequestException:return Nonedef parse_one_page(html):pattern = re.compile('.*?lable1.*?>(\D\D+)', re.S) #compile函数表示一个方法对象，re.s匹配items = re.findall(pattern, html) #以列表形式返回全部能匹配的字符串。print(items)def main(url):html = get_one_page(url)parse_one_page(html)if __name__ == '__main__':url = 'http://search.dangdang.com/?key=%D6%D8%B7%B5%C0%C7%C8%BA%B1%B3%BA%F3%B5%C4%B9%CA%CA%C2&act=input'main(url)

运行结果：（带有span标签的内容也是抓出来是空白项，两个方法都试过了，肯定span标签做了限制，或者有其他原因。）

 第三个方法：

（request方法）参考我的博客另一个链接的地址进行抓取了。这里不演示了。

用Python2.7.5抓取某某网的图片_业里村牛欢喜的博客-CSDN博客

总结思路

        使用request、bs、正则表达式方法都就可以抓取到网站的数据，reguest和bs的方法比较简单，正则表达式比较困难了，抓取的方法和抓取的速度不一致。选择最适合自己的方法进行爬虫抓取了，各个方法都会自己优越性。

 参考文献：Python网络爬虫入门篇 - z寒江雪 - 博客园

还有不计其数的网友提供的帮助。

总结

以上是生活随笔为你收集整理的Python爬虫方法三部曲的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。