一个故事如果自己能讲最确切的版本,就一定要尽早讲出来。
Some exciting possibilities:
CUDA 能做一些很有趣的事情。同样的事情或许 Metal 也能做,但是就没有那么成熟的软件生态。
于是,那些事情如果要做到 Planet 里,不会是一件容易的事情。比如 FAISS,可能会是目前对体验提升最大的一种可能性。
如何用自然语言把你想要的东西,完整清楚地表达,让机器能够完全理解你的需求,生成完全符合你需求的输出。
https://www.hashicorp.com/blog/mitchell-reflects-as-he-departs-hashicorp
https://www.playbalatro.com/
不仅提供了娱乐,还启发了思考。
The richest man on Earth is also a gamer. He plays Elden Ring and Diablo IV.
稍微看了一下 NVIDIA 最近几代专业显卡的价格……
有些事情必须那样的成本,才能做出来。比如几千张那样的卡才能做出来 ChatGPT.
____会限制想象力。
再比如 Solana 要求节点必须有 10G 以上的网络带宽,而 Ethereum 没有这样的需求,甚至,Ethereum 在考虑的是如何能跑在个人电脑上。
托管在机房里的硬件,肯定能做一些普通的个人电脑做不了的事情。
如果你有一台配置不错的电脑,比如有 NVIDIA 显卡的 PC 或者 M1~M4 系列的 Mac,那么 LM Studio 是一个值得尝试的软件。
https://lmstudio.ai/
这个软件用图形界面包装了在本地运行一个类似 ChatGPT 体验的所有复杂性。你可以下载和尝试不同的模型,甚至可以提供一个 API 服务器给其他软件使用。
LM Studio 的图形界面里包裹的是一个叫做 Llama.cpp 的命令行项目。这让我想起 Planet 对 Kubo 做的事情。
之前尝试过另外一个叫做 exo 的方案,但是我很怀疑他们所宣称的群集到底有没有真的效果。用不足的硬件去试图运行特别大的模型,这件事情听起来 too good to be true。
LM Studio 和 exo 都提供了和 ChatGPT 类似的 API 接口,于是就可以接上像 open-webui 这样的 web 端使用界面。
一个全新的生态系统。
然后,明年会有一些更好的硬件(比如 M4 Mac Studio、RTX 5090)和更好的模型。
但是,如果 ChatGPT,Cursor 这些已经用得很顺,那么或许并没有必要去花时间尝试一些更差的模型。
能在本地运行的 LLM 基本上都没法回答关于 SwiftUI 的问题。