V2EX › KevinQi 的所有回复 › 第 2 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2023-05-26 17:57:40 +08:00

回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？

@DigitalG 不太明白，AI 小白，现在只过了一遍 Huggingface 上的 Question Answering 任务的 colab 笔记。
我现在的想法是使用 HuggingFace 上的中文 QA 预训练模型，然后使用手里的文档资料数据进行微调，微调的步骤 Huggingface 上教程很清楚，但是如何使用纯文本 /pdf/exce 文档生成格式化的训练数据（{question, context, answer: {answer_start, answer_text}}），一直没有找到工具和普遍的方法。目前就卡在了“无结构化文档 to Dateset”这一步了

2023-05-26 11:27:16 +08:00

回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？

@TimePPT 这篇检索到了，但是只有论文。

2023-05-26 11:08:22 +08:00

回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？

@TimePPT 我觉得从纯文本 /文件 /图片抽取信息做 QA 或者 Document QA 的训练数据集，或者更普遍的，“如何从无结资料构建 QA 数据？”，应该是训练 AI 的一个很普遍的步骤，为什么检索不到什么通用工具呢？是不是我检索的关键字不对啊，学术领域这个称呼是什么呢？

2023-05-26 10:50:20 +08:00

回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？

@DigitalG 未必是 QA 模型，目前想采用的 3 个，一个是 QA 模型，一个是 Document Question Answer 模型，还有一个是 Table Question Answering ，但是后面两个在 Huggingface 上都没有找到中文的相关模型，所以想着先试试 QA 模型，利用现有数据对某个中文模型进行微调训练。

2023-05-26 09:49:42 +08:00

回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？

@TimePPT 谢谢，纯的知识文档，大多是 excel ，还有 pdf 。

2023-04-13 16:53:30 +08:00

回复了 gaoyulong 创建的主题 › 程序员 › 想买一个高性能笔记本，预算 8000~12000，求推荐

真的有移动需求吗？

2022-08-24 18:21:54 +08:00

回复了 yagamil 创建的主题 › 程序员 › 后端准备干全栈，前端部分有什么快速捷径

学 vue 吧，上手快

2022-06-22 09:03:58 +08:00

回复了 yuhangch 创建的主题 › GitHub Copilot › Github Copilot 正式上线了

uninstall