LiteParse 是什么?
LiteParse 是 LlamaIndex 开发的一款开源文档解析工具,于 2026 年 9 月 22 日发布了重要更新。它采用 Apache-2.0 开源协议,任何人都可以免费使用和修改。它的主要工作是把 PDF 等文档快速转换成 Markdown 格式的文本,方便电脑程序读取和处理。
你可以把它想象成一个超级快的“文字扫描仪”,能把一本厚厚的说明书瞬间变成电脑能读的电子文字。它不需要联网,可以在本地运行,速度非常快,平均每页只需要 2.8 毫秒就能提取文字。
这次更新带来了哪些速度提升?
开发团队发现,之前解析文档时最慢的环节是 PDFium 这个底层库在提取文字时花费了太多时间。PDFium 是谷歌维护的一个处理 PDF 的库,LiteParse 团队对它进行了深度优化,包括缓存常用数据、修复重复计算问题、减少内存分配等。
其中最有趣的一项优化是,他们发现两个函数占用了超过一半的运行时间,于是把一个小型内存分配器 mimalloc 直接嵌入进去,最终让文字提取速度提升了 20% 到 25%。现在 LiteParse 处理一页文字只需要 2.76 毫秒,而其他同类工具如 pypdf 需要 35.78 毫秒,差距非常明显。
Markdown 转换的准确率提高了多少?
除了速度,这次更新还大幅提升了 Markdown 输出的准确率。团队改进了表格识别、多栏检测、页眉页脚处理、以及从左到右和从右到左的文字方向判断。在三个公开的测试基准上,LiteParse 的得分都名列前茅。
例如在 opendataloader-bench 测试中,LiteParse 的整体得分从 0.875 提升到 0.886,表格结构得分从 0.693 提升到 0.818。在 olmOCR 测试中,表格测试得分从 48.2 提升到 52.5。这些数字意味着它把文档里的表格和文字结构还原得更准确了,就像把一本乱糟糟的笔记整理得井井有条。
什么是视觉定位功能?
视觉定位是这次更新新增的一个实用功能。以前 LiteParse 只输出纯文本的 Markdown,现在它可以选择输出“块”结构,每个块都带有在原始页面上的位置坐标(边界框)。这样你就能知道每一段文字或每一个标题在原始 PDF 的哪个位置。
举个例子,就像你在看一张地图,以前只能看到地名列表,现在每个地名都标注了在地图上的具体坐标。这个功能对于需要把解析结果和原始文档对应起来的应用非常有用,比如文档审阅或信息抽取。
is-complex API 能做什么?
LiteParse 虽然快,但它毕竟是一个轻量级工具,面对特别复杂的文档(比如扫描件、多栏排版、大量图表)时,可能不如更高级的解析管道(如 LlamaParse)效果好。新加入的 is-complex API 就是为了解决这个问题:它能快速判断一个 PDF 页面是否复杂,然后告诉你是否需要交给更强大的工具处理。
这个 API 会检查页面是否是扫描件、文字是否乱码、文字覆盖率、以及是否包含表格和多栏布局等。它每页只需要约 3.5 毫秒就能给出判断,就像一个“分诊台”,把简单的文档留给 LiteParse 快速处理,把复杂的文档转给更专业的工具,从而节省时间和成本。
如何开始使用 LiteParse?
LiteParse 支持四种编程环境:Node.js、Python、Rust 和浏览器。你可以通过简单的命令安装,比如在 Node 中运行 npm i @llamaindex/liteparse,在 Python 中运行 pip install liteparse,在 Rust 中运行 cargo install liteparse。安装后就可以在代码中调用它来解析文档。
它完全开源,社区活跃,已经有超过 30 位贡献者提交了 1000 多次代码,每周下载量超过 30 万次。无论你是开发者还是普通用户,都可以免费使用它来快速处理文档。如果你需要处理特别复杂的文档,还可以结合 LlamaParse 等更高级的工具一起使用。
本文由 AIGCWHY 自动监测系统发现,经结构化处理后发布。重要决策请打开原文核验。