Nano-SGLang 项目初期

98 天前
 haydencc

目前的主流推理引擎:vLLM 、sglang 等目前都已经随着优化需求更高,优化方法更加丰富,支持平台越来越多而丢失了原本简洁,可读的代码结构,所以在看到 github 最近比较火的[nano-vllm][https://github.com/GeeeekExplorer/nano-vllm],之后也是打算为 SGLang 构建一个更适用于初学者,并且保留了 SGLang 最核心的设计思想--RadixAttention 的一个简洁的项目[nano-sglang][https://github.com/Hayden727/nano-sglang],能够帮助初学者更快理解 SGLang 推理的工作流程! 欢迎感兴趣的小伙伴一起来开发!(预计与 3 ~ 5 个核心 contributers 一起开发)

感兴趣的小伙伴可以发送邮件至我的[个人邮箱][hayden.cc@zohomail.com],记得附带简历或者个人经历介绍喔

1109 次点击
所在节点    开源软件
2 条回复
aminobody
82 天前
dd 大佬带带
re2ikotr
80 天前
顶,看到 nanovllm 顺手 Google 一下 nanosglang ,发现还真有而且就在 v 站宣传,支持

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1147712

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX