Markdownify 是一个 Python 工具包，专门用来将 HTML 文档转换为 Markdown 格式。它提供了处理标签（如链接和图片）、标题样式及其他自定义选项的能力。在这篇文章中，我们将结合代码示例，展示如何使用该工具并结合 LangChain 的文档加载功能完成 HTML 到 Markdown 的转换。

技术背景介绍

在网站内容抓取和处理的场景中，我们常需要将复杂的 HTML 转换为更简洁的 Markdown 格式，以便后续的文档保存或展示。而 markdownify 是一个专为这一需求设计的 Python 工具包，可以帮助开发人员快速完成这项任务。

安装命令如下：

%pip install --upgrade --quiet markdownify

此外，我们还可以利用 LangChain 提供的 AsyncHtmlLoader 来获取 HTML 内容，从而实现高效率的数据转换。

核心原理解析

markdownify 通过解析 HTML 标签的结构，将其转换为 Markdown 的语法形式。例如：

1. <h1> 转换为 #。
2. 超链接 <a> 转换为 [链接文本](URL)。
3. 图片 <img> 转化为 ![图片文本](图片URL)。

通过结合 LangChain 的 AsyncHtmlLoader，我们可以异步加载远程 HTML 页面并自动执行转换。

代码实现演示

以下代码展示了如何利用 markdownify 和 LangChain 的 HTML 加载器下载远程网页并完成 Markdown 转换。

环境设置

# 安装必要的依赖
%pip install --upgrade --quiet markdownify langchain

异步加载 HTML 并转换为 Markdown

from langchain_community.document_loaders import AsyncHtmlLoader
from langchain_community.document_transformers import MarkdownifyTransformer

# 定义目标 URL
urls = ["https://lilianweng.github.io/posts/2023-06-23-agent/"]

# 使用 AsyncHtmlLoader 异步加载 HTML 页面
loader = AsyncHtmlLoader(urls)
docs = loader.load()

# 将 HTML 转换为 Markdown 格式
md_transformer = MarkdownifyTransformer()

print("HTML 转 Markdown 的结果：")
converted_docs = md_transformer.transform_documents(docs)
print(converted_docs[0].page_content[:1000])  # 打印前 1000 个字符

可选功能：去除特定标签

有些场景下，我们可能需要去除特定的 HTML 元素（如 <a> 或 <h1>）。MarkdownifyTransformer 提供了 strip 选项，支持我们自定义要移除的标签：

# 去除标题 `<h1>` 和超链接 `<a>` 标签
md_cleaned_transformer = MarkdownifyTransformer(strip=["h1", "a"])
converted_cleaned_docs = md_cleaned_transformer.transform_documents(docs)
print(converted_cleaned_docs[0].page_content[:1000])

应用场景分析

1. 知识汇总系统：例如，在构建技术文档时，可以使用 Markdownify 将采集的 HTML 文档快速转换为 Markdown 格式，便于组织和存储。
2. 内容发布平台：用于将 HTML 内容快速转换为 Markdown，方便在博客或知识库平台发布。
3. 文本清理任务：清除不必要的标签和多余内容，获取更纯净的 Markdown 文档。

实践建议

1. 优化性能： 如果处理大量 HTML 页面，建议使用异步加载器（如 AsyncHtmlLoader）提高并发能力。
2. 定制转换规则： 根据实际需求调整 Markdownify 的参数，如处理多余的标签或自定义转换行为。
3. 测试输出效果： 在实际应用中，需验证输出的 Markdown 是否符合目标平台的要求。

如果遇到问题欢迎在评论区交流。

—END—