Python爬虫xpath详解

目录

一、xpath介绍

二、安装lxml

三、xpath解析原理

四、实例化一个etree对象

五、xpath表达式

六、爬虫实战

---

一、xpath介绍

xpath是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。

二、安装lxml

lxml是Python的一个第三方解析库，支持HTML和XML解析，而且效率非常高，弥补了Python自带的xml标准库在XML解析方面的不足。

由于是第三方库，所以在使用 lxml 之前需要先安装：pip install lxml

三、xpath解析原理

1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

四、实例化一个etree对象

 1.将本地的html文档中的源码数据加载到etree对象中：
        etree.parse(filePath)
 2.可以将从互联网上获取的源码数据加载到该对象中
        etree.HTML('page_text')

3.xpath('xpath表达式')

五、xpath表达式

• /:表示的是从根节点开始定位。表示的是一个层级。
•  //:表示的是多个层级。可以表示从任意位置开始定位。
•  属性定位：//div[@class='zhang'] tag[@attrName="attrValue"]
•  索引定位：//div[@class="zhang"]/p[3] 索引是从1开始的。
•   取文本：/text() 获取的是标签中直系的文本内容、//text() 标签中非直系的文本内容（所有的文本内容）
•   取属性： /@attrName     ==>img/src

六、爬虫实战

爬取二手房信息

import requests from lxml import etree# 使用xpath 爬取二手房信息headers = {'User-Agent' :'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36' } url = 'https://bj.58.com/ershoufang/{0}/?PGTID=0d30000c-0000-1bdc-b1e5-d9efea8142e9&ClickID=1' fp = open('58二手房.txt','w',encoding='utf-8') for page in range(1,6):page = str(page)new_url = url.format(page)page_text = requests.get(url=new_url,headers=headers).texttree = etree.HTML(page_text)div_list = tree.xpath('//section[@class="list"]/div')for div in div_list:title = div.xpath('./a//h3/@title')[0]roomsAndHalls = div.xpath('./a//div[@class="property-content-info"]//span/text()')address = div.xpath('./a//div[@class="property-content-info property-content-info-comm"]//span/text()')house_year = div.xpath('./a//span[@class="property-content-info-tag"]/text()')total_price = div.xpath('./a//p[@class="property-price-total"]//span/text()')total_area = div.xpath('./a//p[@class="property-price-average"]//text()')roomsAndHalls = ''.join(roomsAndHalls)address = ''.join(address)house_year = ''.join(house_year)total_price = ''.join(total_price)total_area = ''.join(total_area)# print(title)# print(''.join(roomsAndHalls))# print(''.join(address))# print(''.join(house_year))print(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area)fp.write(title+'======>'+roomsAndHalls+'======>'+address+'======>'+house_year+'======>'+total_price+'======>'+total_area+'\n')

其实xpath很简单，只要把表达式理解对就没啥大问题。详细代码：爬虫源码

总结

以上是生活随笔为你收集整理的Python爬虫xpath详解的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。