在数据驱动的时代，我们每天都会接触到大量非结构化数据 ——PDF 文档、Word 报告、图片中的文字、邮件记录…… 这些数据格式杂乱、难以直接分析，却蕴藏着巨大价值。如何高效地将它们转化为可处理的结构化信息？Python 的unstructured库给出了简洁而强大的解决方案。

本文将系统介绍unstructured库处理非结构化数据的核心方法，从基础使用到进阶技巧，帮你快速掌握非结构化数据处理的关键技能。

一、认识 unstructured：非结构化数据的 “翻译官”

unstructured是一个专注于非结构化数据提取与标准化的 Python 库，它的核心使命是：屏蔽不同文件格式的技术差异，将各种非结构化数据转换为统一的结构化元素（如文本片段、标题、表格、元数据等）。

核心优势：

• 多格式支持：覆盖文档（PDF/Word/PPT）、文本（TXT/HTML/Markdown）、图像（OCR 识别）、邮件等 20 + 格式。

• 结构化输出：提取的内容包含类型标签（如 “标题”" 段落 "“表格”）和元数据（如页码、坐标），方便后续分析。

• 低代码门槛：无需深入了解文件解析细节，一行代码即可完成复杂格式的处理。

安装方法：

基础功能安装：

pip install unstructured

针对特定格式（如 PDF、图像）需安装额外依赖：

# 处理PDF（含扫描版）

pip install "unstructured[pdf]"

# 处理图像OCR

pip install "unstructured[image]"

二、基础处理流程：从文件到结构化元素

unstructured的核心逻辑是 “分区（partition）”：将文件拆分为具有语义的结构化元素（Elements）。无论处理哪种格式，基本流程都可概括为：

1. 调用对应格式的partition_*函数（如partition_pdf处理 PDF）

2. 获取包含文本内容、类型标签、元数据的元素列表

3. 根据需求筛选或转换元素（如提取所有标题、合并段落）

通用元素结构：

每个元素包含以下关键属性：

• text：提取的文本内容

• type：元素类型（如 “Title”“Paragraph”“Table”“Image”）

• metadata：附加信息（如页码、文件路径、坐标位置）

三、按格式分类：常用处理方法详解

1. 文本类文件（TXT/Markdown/HTML）

这类文件本身包含文本信息，unstructured可直接提取并按语义分区。

示例：处理 Markdown 文件

from unstructured.partition.markdown import partition_markdown

# 提取Markdown元素

elements = partition_markdown("article.md")

# 筛选标题和段落

for element in elements:

   if element.type in ["Title", "Header", "Paragraph"]:

       print(f"【{element.type}】{element.text}n")

HTML 处理技巧：

from unstructured.partition.html import partition_html

# 提取网页内容（自动忽略脚本和样式）

elements = partition_html(url="https://example.com/article", include_page_breaks=False)

# 提取所有链接文本

links = [e.text for e in elements if e.type == "Link"]

2. 文档类文件（PDF/Word/PPT）

这类文件格式复杂，unstructured提供了针对性的解析策略。

PDF 处理（最常用场景）：

from unstructured.partition.pdf import partition_pdf

# 处理原生PDF（可复制文本）

elements = partition_pdf(

   "report.pdf",

   extract_images=False,  # 不提取图片

   strategy="fast"       # 快速模式（平衡速度和精度）

)

# 处理扫描版PDF（需OCR）

elements = partition_pdf(

   "scanned.pdf",

   strategy="ocr_only",  # 纯OCR模式

   ocr_languages=["chi_sim", "eng"]  # 支持中英双语

)

# 提取表格并转换为DataFrame

from unstructured.chunking.table import chunk_table

tables = [e for e in elements if e.type == "Table"]

for table in tables:

   # 转换为DataFrame（需安装pandas）

   df = chunk_table(table).to_dataframe()

   print("表格内容：n", df)

Word 文档处理：

from unstructured.partition.docx import partition_docx

# 提取Word中的所有元素（包括表格和图片描述）

elements = partition_docx("proposal.docx")

# 提取所有表格

tables = [e for e in elements if e.type == "Table"]

3. 图像类文件（PNG/JPG/TIFF）

对于包含文字的图像，unstructured通过 OCR 技术提取文本。

示例：从图片中提取文字

from unstructured.partition.image import partition_image

# 处理图片（支持本地文件或URL）

elements = partition_image(

   "invoice.jpg",

   ocr_languages=["chi_sim"]  # 中文识别

)

# 打印提取的文本

for element in elements:

   print(element.text)

4. 邮件与电子书（EML/Epub）

处理邮件时可提取发件人、主题、正文等结构化信息：

from unstructured.partition.email import partition_email

# 处理.eml格式邮件

elements = partition_email("meeting.eml")

# 提取邮件元数据

email_metadata = elements[0].metadata.email_metadata

print(f"发件人：{email_metadata.sender}")

print(f"主题：{email_metadata.subject}")

# 处理电子书

from unstructured.partition.epub import partition_epub

elements = partition_epub("book.epub")

四、进阶技巧：元素处理与优化

1. 元素过滤与合并

# 筛选特定类型元素

titles = [e for e in elements if e.type == "Title"]

paragraphs = [e for e in elements if e.type == "Paragraph"]

# 合并段落文本

full_text = "n".join([p.text for p in paragraphs])

2. 元数据利用

# 按页码分组内容

from collections import defaultdict

content_by_page = defaultdict(list)

for e in elements:

   page = e.metadata.page_number

   content_by_page[page].append(e.text)

# 打印第3页内容

print("第3页内容：n", "n".join(content_by_page.get(3, [])))

3. 自定义分块策略

对于大文件，可将元素拆分为更小的块（适合 LLM 处理）：

from unstructured.chunking import chunk_elements

# 按最大字符数分块

chunks = chunk_elements(

   elements,

   chunk_size=500,  # 每个块最多500字符

   chunk_overlap=50  # 块之间重叠50字符

)

五、常见问题与解决方案

1. PDF 提取乱码：

• 尝试更换策略：strategy="hi_res"（高精度模式）

• 检查 PDF 是否加密，需先解密

1. OCR 识别准确率低：

• 指定语言：ocr_languages=["chi_sim", "eng"]

• 预处理图像（如提高对比度）后再处理

1. 处理速度慢：

• 大文件分批次处理

• 禁用不必要的功能（如extract_images=False）

六、适用场景与扩展

unstructured的输出可无缝对接下游任务：

• 文本分析：结合 NLP 库（如 spaCy）进行实体识别、情感分析

• 知识库构建：将结构化内容存入向量数据库（如 Pinecone）

• AI 应用：作为 LLM 的输入预处理工具，实现文档问答、摘要生成

例如，结合 LLM 生成文档摘要：

import openai

from unstructured.partition.pdf import partition_pdf

# 提取PDF文本

elements = partition_pdf("report.pdf")

text = "n".join([e.text for e in elements])

# 调用GPT生成摘要

response = openai.ChatCompletion.create(

   model="gpt-3.5-turbo",

   messages=[{"role": "user", "content": f"总结以下内容：{text[:2000]}"}]

)

print("摘要：", response.choices[0].message.content)

结语

unstructured库以简洁的 API 解决了非结构化数据处理的痛点，让开发者无需深陷格式解析的细节，专注于数据价值的挖掘。无论是日常办公中的文档处理，还是企业级的知识库构建，它都能成为高效的助力工具。

随着数据格式的不断演化，unstructured也在持续扩展支持范围。掌握它的核心方法，能让你在非结构化数据的海洋中，轻松捞取有价值的 “珍珠”。

如果你有特定格式的处理需求，欢迎在评论区交流探讨！