本文共 4345 字，大约阅读时间需要 14 分钟。
Python 模块 - lxml 库
介绍
lxml 是一个功能强大且灵活的 Python 库，专为高效解析和操作 XML/HTML 文档而设计。它基于 C 语言编写的 libxml2 和 libxslt 库，提供了快速而稳定的解析性能，并支持 XPath、XSLT、XML Schema、RelaxNG 等高级功能。
安装
使用 pip 安装
pip install lxml
在大多数情况下，pip 会自动处理所有依赖项，使得安装过程非常简单。
Windows 系统
如果在 Windows 系统上遇到安装问题，可以考虑使用 conda 进行安装：
conda install -c conda-forge lxml
安装完成后，就可以在 Python 中导入 lxml 并开始使用了。
特性
高性能解析：基于 libxml2 和 libxslt 库，提供了快速稳定的 XML 和 HTML 解析能力。
XPath 支持：支持复杂的 XPath 查询，能够轻松从文档中提取数据。
XSLT 转换：支持 XSLT 样式表转换，可以将 XML 文档转换为不同的格式。
灵活的 API：提供了简单易用的 API，可以轻松操作 XML/HTML 文档的树结构。
宽松的 HTML 解析：能够处理不规范的 HTML，适合在 web 抓取和数据清洗中使用。
基本功能
1. 解析 XML 文档
lxml 的基本功能是解析 XML 文档，并提供对文档结构的访问。可以使用 lxml.etree 模块解析 XML 字符串或文件，并获取文档的根节点。
from lxml import etree# 示例 XML 数据xml_data = """ Content1 Content2 """# 解析 XML 数据root = etree.fromstring(xml_data)# 访问元素print(root.tag) # 输出: rootprint(root[0].tag) # 输出: child1print(root[0].text) # 输出: Content1
2. 解析 HTML 文档
lxml 也可以用于解析 HTML 文档，特别是在处理不规范的 HTML 时表现优异。可以使用 lxml.html 模块来解析 HTML 内容，并处理网页数据。
from lxml import html# 示例 HTML 数据html_data = """标题
段落内容
"""# 解析 HTML 数据doc = html.fromstring(html_data)# 访问元素print(doc.xpath('//h1/text()')[0]) # 输出: 标题print(doc.xpath('//p/text()')[0]) # 输出: 段落内容
3. 操作 XML 树结构
lxml 可以轻松地操作 XML 文档的树结构，可以添加、删除或修改节点内容。
from lxml import etree# 创建根元素root = etree.Element("root")# 添加子元素child1 = etree.SubElement(root, "child1")child1.text = "Content1"child2 = etree.SubElement(root, "child2")child2.text = "Content2"# 输出 XML 文档print(etree.tostring(root, pretty_print=True).decode('utf-8')) 高级功能
1. 使用 XPath 查询
lxml 提供了强大的 XPath 查询支持，可以轻松地从 XML 或 HTML 文档中提取数据。
from lxml import etree# 示例 XML 数据xml_data = """ - Item 1
- Item 2
- Item 3
"""# 解析 XML 数据root = etree.fromstring(xml_data)# 使用 XPath 查询items = root.xpath('//item[@id="2"]/text()')print(items[0]) # 输出: Item 2
2. XSLT 转换
lxml 支持使用 XSLT 对 XML 文档进行转换。XSLT 允许将 XML 数据转换为不同的格式，如 HTML 或纯文本。
from lxml import etree# 示例 XML 数据xml_data = """ - Item 1
- Item 2
- Item 3
"""# 示例 XSLT 样式表xslt_data = """ Items
"""# 解析 XML 和 XSLTroot = etree.fromstring(xml_data)xslt_root = etree.fromstring(xslt_data)transform = etree.XSLT(xslt_root)# 进行 XSLT 转换result = transform(root)# 输出转换结果print(str(result))
3. 校验 XML Schema
lxml 支持通过 XML Schema 对 XML 文档进行校验，以确保文档的结构和内容符合预定义的标准。
from lxml import etree# 示例 XML 数据xml_data = """ - Item 1
- Item 2
- Item 3
"""# 示例 XML Schemaschema_data = """ """# 解析 XML 和 Schemaroot = etree.fromstring(xml_data)schema_root = etree.XMLSchema(etree.fromstring(schema_data))# 校验 XML 数据if schema_root.validate(root): print("XML 校验通过")else: print("XML 校验失败")
实际应用场景
1. 网页抓取与数据清洗
在网页抓取（Web Scraping）中，lxml 常用于解析和提取 HTML 数据，特别是处理不规范的 HTML 时表现优异。以下是一个从网页中提取表格数据的示例。
import requestsfrom lxml import html# 请求网页response = requests.get('https://example.com/table_page')# 解析 HTML 数据doc = html.fromstring(response.content)# 提取表格数据rows = doc.xpath('//table//tr')for row in rows: columns = row.xpath('.//td/text()') print(columns) 2. XML 配置文件管理
lxml 适用于管理和操作复杂的 XML 配置文件。在需要频繁修改或验证配置文件的场景下，lxml 的强大功能可以大大简化这些操作。
from lxml import etree# 读取 XML 配置文件tree = etree.parse('config.xml')root = tree.getroot()# 修改配置参数param = root.find('.//parameter[@name="param1"]')if param is not None: param.text = 'new_value'# 保存修改后的配置文件tree.write('new_config.xml', pretty_print=True, xml_declaration=True, encoding='UTF-8') 3. 数据转换与导出
lxml 结合 XSLT 的功能，可以将 XML 数据转换为多种格式，如 HTML、CSV 或自定义的文本格式，适用于需要在不同系统之间转换数据的场景。
from lxml import etree# 示例 XML 数据xml_data = """ - Item 1 10
- Item 2 20
"""# 解析 XML 数据root = etree.fromstring(xml_data)# 转换为 CSVwith open('output.csv', 'w') as f: f.write('name,value\n') for item in root.findall('item'): name = item.find('name').text value = item.find('value').text f.write(f'{name},{value}\n')
总结
lxml 是一个功能强大且灵活的库，特别适用于需要高效处理 XML 和 HTML 文档的场景。它的高性能解析、XPath 支持、XSLT 转换等特性使得它在 Web 抓取、数据转换、配置管理等领域具有广泛的应用前景。通过本文的详细介绍和示例代码，希望大家能更好地理解和应用 lxml，在你的项目中有效利用这一工具来解决各种数据处理问题。
THE END !
转载地址：http://bzofk.baihongyu.com/