Apache Tika：RAG 数据管道的入口

Apache Tika：RAG 数据管道的入口

做 RAG 系统，最容易低估的坑是：文档解析。PDF 扫描件、Word 里的表格、Excel 中的合并单元格——这些脏数据不进清洗，后面的 Embedding 就是白做。

读文件没那么简单

PDF 的三种类型

  • 文字型 PDF：内部存储文字编码，可直接提取
  • 扫描型 PDF：内部存储图片，需要 OCR 才能拿到文字
  • 混合型 PDF：部分页是文字，部分页是扫描图

Word 文档的问题

  • 表格被拆成莫名其妙的换行
  • 页眉页脚混进正文
  • 多余的空行和空格
  • 元数据丢失

其他问题

  • 文件后缀会骗人 - .xlsx 改成 .txt，后缀变了但内容没变
  • 编码问题 - GBK vs UTF-8 导致乱码

Apache Tika 解决方案

给 Tika 一个文件（不管什么格式），它还你干净的文本和元数据。

支持的文件格式（部分）

类别 格式
文档 PDF, DOC, DOCX, ODT, RTF, TXT
表格 XLS, XLSX, CSV, ODS
演示 PPT, PPTX, ODP
图片 JPG, PNG, GIF, TIFF, BMP
网页 HTML, XML, XHTML
压缩 ZIP, TAR, GZIP, 7Z
邮件 EML, MSG, MBOX
电子书 EPUB, MOBI

总计支持 140+ 格式，是企业级文档处理的行业标准。

核心概念

1. MIME 类型

文件的”身份证”，通过魔数（文件头部字节）自动识别：

  • PDF 文件头部：%PDF-
  • ZIP 文件头部：PK
  • PNG 图片头部：‰PNG

Tika 不看后缀，直接读魔数，所以改后缀骗不了它。

2. 文本抽取

从各种格式文件中提取纯文本内容，去除格式、页眉页脚、嵌入字体等噪音。

3. 元数据

Tika 自动提取的文档属性：

字段 说明
Content-Type MIME 类型
title 文档标题
creator 作者
created 创建时间
pageCount 页数

4. OCR

处理扫描件时需要 OCR（光学字符识别）：

方案 类型 效果
Tesseract 开源 一般，中文识别率一般
Adobe Acrobat 商业 优秀
ABBYY 商业 最好，复杂表格也能处理

部署方式对比

维度 嵌入式（Java库） 独立服务（Tika Server）
上手成本 ✅ 最快 ⚠️ 多一步
依赖体积 ⚠️ fat jar 变大 ✅ 更干净
OCR 支持 ⚠️ 需安装系统包 ✅ 镜像打包好
资源隔离 ⚠️ 影响业务进程 ✅ 隔离运行
扩展性 ⚠️ 每实例都要带 ✅ 共享服务
性能 ✅ 少网络传输 ⚠️ 多 HTTP 开销
运维 ✅ 少一个组件 ⚠️ 多一个组件

推荐：独立 Tika Server 模式，生产环境首选。

在 RAG 系统中的位置

1
2
3
原始文档 → [Tika 解析] → 干净文本 + 元数据 → 文本切片 → 向量化 → 向量数据库
      ↑
Tika 是 RAG 数据管道的第一道关卡

Tika 的输出是后续所有环节的基础——如果这里出错，块再准确、向量化再精确，都是徒劳。

实战：Tika Server + Python

1
2
3
4
5
6
7
8
9
# 启动 Tika Server
docker run -d -p 9998:9998 \
  --name tika \
  apache/tika:2.9.1

# 验证
curl -T document.pdf \
  http://localhost:9998/tika
# 返回提取的纯文本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import requests

def extract_text(file_path: str) -> str:
    with open(file_path, 'rb') as f:
        response = requests.put(
            'http://localhost:9998/tika',
            headers={'Accept': 'text/plain'},
            data=f
        )
    return response.text

def extract_metadata(file_path: str) -> dict:
    with open(file_path, 'rb') as f:
        response = requests.put(
            'http://localhost:9998/tika',
            headers={'Accept': 'application/json'},
            data=f
        )
    return response.json()

# 提取文本
text = extract_text('退货政策.pdf')
print(text)

# 提取元数据
meta = extract_metadata('退货政策.pdf')
print(f"标题: {meta.get('dc:title')}")
print(f"作者: {meta.get('dc:creator')}")

相关阅读：