个人电脑,适合跑哪个本地大模型?

31 天前
 laijh

自己电脑配置:mac mini m2 16g

通过 ollama ,安装了

目的是为了优化公众号文章标题:

import re
from langchain_ollama import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# 初始化 Ollama 模型
llm = ChatOllama(
    model="gemma3:4b",
)

# 定义提示模板
prompt_template = ChatPromptTemplate.from_template(
    """
    假设你是个具有丰富的爆文经验的微信公众号作者,现提供的"{question}"文章标题,优化标题,只输出最优的那个,结果不需要解释。
    """
)

# 创建处理链
chain = prompt_template | llm | StrOutputParser()

# 示例问题
question = "女人离我远点"

# 调用链并获取纯答案
answer = chain.invoke({"question": question})

clean_text = re.sub(r"<think>.*?</think>", "", answer, flags=re.DOTALL).strip()

# 输出结果
print(clean_text)

分别用了上面的几个模型,跑下来,都比较慢,有没有其他性价比比较高的?

2773 次点击
所在节点    Local LLM
21 条回复
mili100
25 天前
内存足够的话也许试试看 Qwen3:30B-A3B ,激活参数仅 3B ,品质接近 32B (虽然对于 16G ,iQ2 UD 量化可能都有些捉襟见肘)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1139183

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX