有没有熟悉大模型开发的, help!

123 天前
 zhh2271

目前研 2 ,来到了国内一家 EDA 公司实习,预计实习半年左右,主管叫我实习期间实现一个大模型,用于公司的软件,之前都没有大模型或者 AI 方面的基础。主管的要求是这个大模型可以回答当前我们软件的一些流程怎么进行,最好可以实现一些 DRC/LVS 规则文件的编写什么的。这样的话兄弟们觉得应该用什么模型和技术好呢。目前调研打算用 DeepSeek + RAG + RAFT 这样来训练。

6024 次点击
所在节点    问与答
74 条回复
zhh2271
123 天前
@Felixchen1062 好的 好的 谢谢!
Felixchen1062
123 天前
@zhh2271 对了, 关于固定行业脚本代码的风格化编写, 前面提到可能要做提示词工程, 核心可能还在智能体构建, 也需要学一下 Agent 之类的, 如果你能再创新做一个执行或者 balbala 生成的代码的 MCP 服务,我觉得更加分了, 最后羡慕佬能找到这样的好工作, 加油
litchinn
123 天前
先确定你是要开发一个大模型还是开发一个 agent
mumbler
123 天前
一个 RAG ,6 天就够了,哪要 6 个月那么久
Solix
123 天前
zhh2271
123 天前
谢谢大家!!!!
luny
123 天前
我觉得是在考核你的学习分析能力,而不是真的需要实习生来做一个完整的大模型案子,评估技术方案,补充自己缺失的技术点,给出大概可行的执行计划,这样
zhh2271
123 天前
对了,我还想问一下大家,这样的方案选择哪个大模型好一点
xz410236056
123 天前
实习生、大模型,知识库。贵司是如何将这几个词语联系起来的
dqzby
123 天前
demo 半个月,上线上 1 年
lneoi
123 天前
感觉是让你练手吧, 不然这东西犯不着让实习生来做, 熟悉技术栈和公司相关领域的知识, 用大模型做一个基础的专业领域问答. rag 最快, 有资源也可以做专门的训练.
用一些开源框架熟悉流程, 最好不要用非常成品的项目改, 关键是实现技术和定制方案.
zhh2271
123 天前
@xz410236056 我也头大,我是不是实验小白鼠
min
123 天前
啥叫“实现大模型”?手搓模型? 微调模型?
F281M6Dh8DXpD1g2
123 天前
prompt engineering ,完事
nomagick
123 天前
没有一个亿拍出来的话还是别想训模型的事了,拍一千万能稍微微调一下,连一百万都拍不出来,基本告别使用 GPU 了,老老实实在家调 API 完事
zhh2271
123 天前
@min 对的 我想着微调或者 rag 就好了,训练成本太高了
zhh2271
123 天前
@nomagick 我想问一下微调的话一个 A100 够吗,用 32B 的模型。这种的话微调一次大概要多久
zhh2271
123 天前
现在还有一个问题就是我们这个领域很不开源,训练数据的话可能会很少( ꈍᴗꈍ)
nomagick
123 天前
@zhh2271 一个 A100 那不是一二十万,离 100 万还差着,属于告别 GPU 的层次

单卡 A100 能运行 32B 的 Inference ,训练/微调没门,最多微调 2.5B ,运行到猴年马月,训练的时候你人还得一直盯着随时处理突发状况。

还是调 API 吧,也有人提供微调 API 的
raydied
123 天前
这就是个知识库问答吧?
chatgpt 问一下,按照主流路线部署一下。
最难的点,应该是贵司文档的可解析性。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1134542

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX