04RAG构建数据处理与工具

Unstructured.io

自动格式检测，统一API

30+格式：PDF、Word、Excel、PPT、Email、HTML、图片等

✅ 一站式解决方案
✅ 强大的OCR能力
✅ 保持文档结构
✅ 社区活跃

❌ 依赖第三方服务
❌ 复杂配置
❌ 大文件处理慢

混合格式文档库
企业知识管理

v0.10+

LangChain
Document Loaders

标准化接口，易于集成

文本、CSV、JSON、Markdown、PDF、HTML

✅ 与RAG框架深度集成
✅ 统一的metadata处理
✅ 丰富的扩展
✅ 易于定制

❌ 功能相对基础
❌ 依赖外部库
❌ 高级功能有限

LangChain项目
快速原型开发

v0.1+

PyMuPDF (fitz)

底层C++实现，高性能

文本提取、图像提取、元数据、页面操作

✅ 处理速度最快
✅ 精确的文本定位
✅ 支持OCR集成
✅ 内存效率高

❌ API较底层
❌ 学习曲线陡
❌ 高级功能需自行实现

大型PDF文档
高性能应用
需要精确定位

v1.23+

pdfplumber

专注于布局分析

表格提取、文本布局保持、可视化调试

✅ 表格提取精度高
✅ 保持原始布局
✅ 调试工具友好
✅ 中文支持好

❌ 处理速度中等
❌ 内存消耗大
❌ 复杂PDF可能出错

表格密集型PDF
需要布局信息的应用

v0.10+

pypdf (原PyPDF2)

轻量级基础库

基础文本提取、合并分割、加密解密

✅ 纯Python实现
✅ 轻量级依赖
✅ 简单易用
✅ 稳定性好

❌ 功能有限
❌ 布局信息丢失
❌ 表格提取弱

简单文本PDF
PDF基础操作

v4.0+

Camelot

高级表格提取专家

基于图像和文本的表格检测

✅ 表格提取准确率高
✅ 支持复杂表格
✅ 多种提取算法

❌ 仅限表格提取
❌ 依赖OpenCV
❌ 配置复杂

财务报表
数据报表
学术论文表格

v0.11+

python-docx

专业Word处理

.docx

✅ 完整的Word操作
✅ 样式信息保留
✅ 表格处理
✅ 文档生成

❌ 仅支持docx
❌ 不支持老格式(.doc)
❌ 大型文档可能慢

Word文档处理
报告生成

v0.8.11+

pandas

Excel数据处理专家

.xlsx, .xls, .csv

✅ 强大的数据分析
✅ 多工作表支持
✅ 格式转换方便
✅ 生态丰富

❌ 格式信息丢失
❌ 公式处理有限
❌ 大文件内存问题

数据报表分析
结构化数据处理

v2.0+

openpyxl

Excel格式保持

.xlsx

✅ 完整格式支持
✅ 公式处理
✅ 图表支持
✅ 读写能力强

❌ 仅支持xlsx
❌ 性能中等
❌ API较复杂

需要格式保留的Excel处理

v3.1+

BeautifulSoup4

HTML解析标准库

HTML/XML解析、DOM遍历、数据提取

✅ 解析能力强
✅ 容错性好
✅ 生态完善
✅ 学习资源多

❌ 需要搭配下载器
❌ 性能不是最优
❌ 动态内容需额外处理

网页数据抓取
HTML文档解析

v4.12+

Readability

文章内容提取

去除广告导航、提取正文

✅ 专注文章提取
✅ 效果较好
✅ 配置简单

❌ 仅限文章类网页
❌ 更新不频繁
❌ 中文优化一般

新闻博客抓取
内容聚合

0.8+

Trafilatura

现代网页提取器

正文提取、元数据获取、多语言

✅ 专门为NLP优化
✅ 多语言支持好
✅ 性能优秀
✅ 活跃维护

❌ 相对较新
❌ 社区较小
❌ 复杂网页可能失败

大规模网页抓取
多语言内容

v1.6+

tree-sitter

语法树解析

Python、JS、Java、Go等20+语言

✅ 增量解析
✅ 容错性强
✅ 多语言统一API
✅ GitHub使用

❌ 需要编译
❌ 新语言支持慢
❌ 内存占用大

代码分析
语法高亮
IDE集成

v0.20+

pygments

语法高亮分词

500+语言

✅ 支持语言极多
✅ 语法高亮质量高
✅ 社区活跃
✅ 配置灵活

❌ 仅限分词高亮
❌ 语法分析有限
❌ 性能一般

代码展示
文档生成
简单分析

v2.15+

jq (Python绑定)

JSON处理专家

JSON

✅ JSONPath支持
✅ 流式处理
✅ 性能极高
✅ 功能强大

❌ 学习曲线陡
❌ 仅限JSON
❌ 需要系统依赖

大规模JSON处理
API数据解析

1.6+

GROBID

学术PDF解析

参考文献提取、元数据、章节识别

✅ 学术专用优化
✅ 参考文献处理强
✅ 结构化输出
✅ 学术界标准

❌ 需要Java环境
❌ 部署复杂
❌ 处理速度慢

学术论文处理
文献管理系统

v0.7+

ScienceParse

论文PDF解析

标题作者提取、摘要、章节

✅ 深度学习模型
✅ 准确性较高
✅ API简单

❌ 需要运行服务
❌ 维护不活跃
❌ 中文支持有限

论文管理
学术搜索

v2+

PDFFigures 2.0

图表提取

图表检测、标题关联、图像提取

✅ 图表识别准确
✅ 保持关联性
✅ 学术论文优化

❌ 仅限图表提取
❌ 配置复杂
❌ 维护有限

论文图表提取
学术数据收集

2.0+

Tesseract

开源OCR标准

多语言OCR、版面分析、训练自定义

✅ 开源免费
✅ 支持100+语言
✅ 可训练模型
✅ 社区庞大

❌ 准确率中等
❌ 配置复杂
❌ 中文需专门优化

通用OCR任务
多语言文档

v5.3+

PaddleOCR

中文OCR专家

中文优化、表格识别、方向检测

✅ 中文识别优秀
✅ 轻量级模型
✅ 表格/公式识别
✅ 百度支持

❌ 其他语言一般
❌ 依赖PaddlePaddle
❌ 文档一般

中文文档处理
表格识别

v2.6+

EasyOCR

即用型OCR

80+语言、GPU加速、简单API

✅ 开箱即用
✅ 多语言支持好
✅ GPU加速
✅ API简单

❌ 模型较大
❌ 准确率依赖模型
❌ 定制性差

快速原型
多语言混合文档

v1.6+

Donut

文档理解模型

端到端文档理解、文档问答、无OCR

✅ 无需OCR预处理
✅ 理解文档语义
✅ 支持文档问答
✅ 最新技术

❌ 需要GPU
❌ 训练数据需求大
❌ 实时性差

智能文档分析
文档问答系统

2023+

Layout-parser

文档布局分析

版面检测、元素分类、OCR集成

✅ 布局分析专业
✅ 与OCR集成好
✅ 可视化工具
✅ 学术研究强

❌ 依赖深度学习
❌ 配置复杂
❌ 性能要求高

复杂版面文档
文档数字化

v0.3+

MinerU

通用文档理解

统一文档理解框架，支持多格式多任务

企业文档智能处理、知识图谱构建

🆕 多任务统一模型
🆕 少样本学习
🆕 端到端处理

2024新发布，研究阶段

olmOCR

专门化OCR

针对扫描文档优化的OCR引擎

历史档案数字化、老旧扫描件处理

🆕 旧文档优化
🆕 噪声处理强
🆕 专门训练数据

2024推出，专业领域

DocLLM

大语言模型文档理解

专门为文档设计的LLM，理解表格图表

复杂文档问答、文档推理

🆕 理解文档结构
🆕 表格推理能力
🆕 多模态融合

2024研究热点

clean-text

文本清洗

标准化、去噪、规范化

✅ 专门为NLP优化
✅ 多语言支持
✅ 配置简单

❌ 功能相对基础
❌ 高级清洗需定制

预处理阶段

ftfy

编码修复

修复乱码、Unicode问题

✅ 编码问题专家
✅ 自动检测修复
✅ 效果显著

❌ 仅限编码问题
❌ 其他功能有限

数据清洗阶段

NLTK/spaCy

NLP预处理

分词、词干化、实体识别

✅ 完整的NLP流水线
✅ 语言模型支持
✅ 社区强大

❌ 学习曲线陡
❌ 资源消耗大

深度文本处理

企业知识库

Unstructured + pdfplumber + python-docx

全面覆盖，质量稳定

学术研究

GROBID + ScienceParse + PaddleOCR

学术专用，参考文献强

金融报表

Camelot + pandas + openpyxl

表格处理，数据分析

多语言内容

Tesseract + Trafilatura + ftfy

多语言支持，编码处理

快速原型

LangChain + EasyOCR + BeautifulSoup

快速上手，生态完善

高性能生产

PyMuPDF + jq + 定制清洗

性能优先，可定制