V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
haydencc
V2EX  ›  开源软件

Nano-SGLang 项目初期

  •  
  •   haydencc · 7 天前 · 323 次点击

    目前的主流推理引擎:vLLM 、sglang 等目前都已经随着优化需求更高,优化方法更加丰富,支持平台越来越多而丢失了原本简洁,可读的代码结构,所以在看到 github 最近比较火的[nano-vllm][https://github.com/GeeeekExplorer/nano-vllm],之后也是打算为 SGLang 构建一个更适用于初学者,并且保留了 SGLang 最核心的设计思想--RadixAttention 的一个简洁的项目[nano-sglang][https://github.com/Hayden727/nano-sglang],能够帮助初学者更快理解 SGLang 推理的工作流程! 欢迎感兴趣的小伙伴一起来开发!(预计与 3 ~ 5 个核心 contributers 一起开发)

    感兴趣的小伙伴可以发送邮件至我的[个人邮箱][hayden.cc@zohomail.com],记得附带简历或者个人经历介绍喔

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1082 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 18:21 · PVG 02:21 · LAX 11:21 · JFK 14:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.