[开源] 扫描件 PDF 转 Markdown / EPUB,自动修复 OCR 错误

135 天前
 BlackHole1

最近我们开源了一个 PDF 处理工具 - pdf-craft,专注于解决扫描书籍 PDF 转换的痛点,让书籍数字化更智能。pdf-craft 支持将 PDF 转为 Markdown 和 EPUB ,智能处理文本、图表、公式等内容,适用于技术文档、书籍数字化、论文研究等场景。

痛点与解决方案

主要特性

技术细节

项目基于 Python 开发,可通过 pip 安装:

pip install pdf-craft

核心使用方法示例:

# PDF 转 Markdown (纯本地处理)
from pdf_craft import PDFPageExtractor, MarkDownWriter

extractor = PDFPageExtractor(
  device="cuda:0",  # GPU 加速
  model_dir_path="/path/to/model/dir/path",
)
with MarkDownWriter(markdown_path, "images", "utf-8") as md:
  for block in extractor.extract(pdf="/path/to/pdf/file"):
    md.write(block)

对于更复杂的 EPUB 转换,可以接入 LLM:

from pdf_craft import LLM, analyse, generate_epub_file

# 配置 LLM
llm = LLM(
  key="sk-XXXXX",
  base_url="https://api.deepseek.com",
  model="deepseek-chat",
  token_encoding="o200k_base",
)

# 分析 PDF
analyse(
  llm=llm,
  pdf_page_extractor=extractor,
  pdf_path="/path/to/pdf/file",
  analysing_dir_path="/path/to/temp",
  output_dir_path="/path/to/output",
)

# 生成 EPUB
generate_epub_file(
  from_dir_path="/path/to/output",
  epub_file_path="/path/to/book.epub",
)

实际效果

立即体验,无需环境配置

想快速尝试 pdf-craft 而不想折腾环境配置?我们提供了更简单的方式: 使用 OOMOL Studio 一键体验pdf-craft for OOMOL studio

OOMOL Studio 是我们开发的工作流 IDE ,内置了隔离的运行环境,无需复杂配置,即可立即体验 pdf-craft 的全部功能。 关于 OOMOL Studio 可以查看之前的介绍: 一款全新的工作流 IDE

当然,pdf-craft 仍然完全开源,你依然可以按照上述方法在自己的环境中配置使用。

适用场景

开源与社区

项目刚刚起步,我们非常欢迎各位 V 友参与:

如果觉得不错,欢迎给项目点个 star ⭐,有什么想法也可以在评论区交流,或者提交 PR 一起完善这个工具。

你也可以通过 https://oomol.com/community/ 找到我们。

5533 次点击
所在节点    分享创造
47 条回复
moskize
135 天前
@sunnysab 有识别公式的方案,不过第一版先用图形作为占位符,接下来准备支持公式识别。
moskize
135 天前
@bfdh 这个你在本地新建一个空文件夹,然后把地址传进去。这个文件夹里会在第一次下载模型,你就留着这个文件夹,下次运行就不会下载模型了。
bfdh
135 天前
@moskize #22 明白了,谢谢。
zero469
135 天前
非常好的 idea ,太牛逼了
zero469
135 天前
不知道作者有没有尝试过 7B 或 32B 的 LLM ,如果效果也 OK 的话连带模型做一个纯本地的方案感觉更有吸引力
Dreamerwwr
135 天前
在哪里配置 LLM 的 API 呢?打开后,没看到配置的位置
KiriGiri
135 天前
厉害,做了我想做的。
ration
135 天前
喜欢在电纸书上看书,这个真不错,谢谢
cyp0633
135 天前
好用,不过现在 LLM 主要是用来纠正文字吧,我觉得可以用 Gemini 等多模态 LLM 一块儿识别公式,转换成 LaTeX 格式
sunnysab
135 天前
@moskize #21 好的。我的意思是,文中是个分数,但实际被识别为纯文本了,并且位置有点小问题。 希望后面改进!关注!
hinate
135 天前
太强了👍🏻
cooper
135 天前
这个好,已 star !
manning
135 天前
mathpix 上付费的 PDF 转 markdown ,这个能代替吗
3085570450tt
135 天前
跟 PyMuPDF 比起来怎么样呢?同时 PyMuPDF 也有 LLM 的支持 https://pymupdf.readthedocs.io/en/latest/pymupdf4llm/
moskize
135 天前
@3085570450tt 看介绍它们好像是为 LLM 提取文本,而不是用 LLM 处理文本。而且 PyMuPDF 我记得是不提供 OCR 的。
moskize
135 天前
@sunnysab 这种想想都难识别😂 我看看公式识别相关 AI 能不能抓到这种,不过估计够呛
Yien
135 天前
厉害(òωó)👍
luyg
135 天前
厉害,我要试试
akira
134 天前
先给个 star 后面有空了 试一下
oyjt
134 天前
大佬,厉害呀。先 star 了为敬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1120037

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX