diyer22 最近的时间轴更新
diyer22

diyer22

有很多想法,希望做点不一样的事情。
🏢  阶跃星辰(LLM初创公司) / 算法
V2EX 第 173942 号会员,加入于 2016-05-20 16:02:49 +08:00
diyer22 最近回复了
@Simon95
- 我觉得 DDN 的情况可能是第一层重建效果会比较差(非常模糊),随着层数增加才会变得清晰。
- 虽然 DDN 是在样本空间做的采样和 “残差”,但 DDN 也可以像 latent diffusion 一样在 latent 空间做生成。(这时候的生成样本就成了 AutoEncoder 的 latent )
- 训练效率还可以,中文博客的 “附录的 Q1” 有论述。目前 DDN 的最大问题还是 latent 空间不够大,需要改进自身(方案见中文博客的“不足和改进”)或者和 GPT 结合来分段建模,缩小空间
- 欢迎尝试,遇到问题了随时提 issue ,发邮件~
@TQQQ 我觉得 DDN 是具备处理 TTS 任务的能力,因为在文字条件的约束下,生成空间被大幅缩小。
建议再搭配一个自回归模型( GPT ),以获得更强的建模能力。比如把 GPT 的分类 head 换为 DDN ,应该能 work 。
@halberd 感谢欣赏~
别忘了,主干 feature 会贯穿 DDN 的每一层。也就是说,每一层的计算和特征还会为最后一层的 output 负责,而不仅仅是专门为了某一层切分成 K 小块而服务。
@Simon95 DDN 和 VQ-VAE ( RVQ ) 明显不同。
相似之处:
- 两者都把数据映射到离散的潜空间。
区别:
- VQ-VAE 需要额外的先验模型(如 PixelCNN 或 transformer 先验)来建模码本的分布; DDN 自己就能构建层次离散分布,甚至可作为类似 VQ-VAE 系统的先验模型。
- DDN 的 K 个输出是随输入变化的特征; VQ-VAE 的码本是一组与输入无关、固定不变的独立参数( embedding )。
- VQ-VAE 输出二维 code index 网格 latent ; DDN 输出一维/树状结构的 latent 。
- VQ-VAE 需要 Straight-Through 梯度估计器。
- DDN 支持零样本条件生成。
因此,我认为它们挺互补的。(参见论文中的“Connections to VQ-VAE”部分。)

---

我对 VQ-VAE 不是很了解,在我看来 VQ-VAE codebook collapse 应该有很多方法能缓解,比如和 DDN 论文中 Split-and-Prune 类似的 reinitialization 的方案。(也在“Connections to VQ-VAE”部分。)
@JoeJoeJoe DDN 的形式上和 k-means 比较相似,且都支持无监督聚类。但他们不同点有:算法作用(生成建模 VS 聚类)、优化目标、优化方式、DDN 的层次结构、DDN 的样本点是神经网络的 outputs 等。 所以,属于独立的两个算法。
2023-08-19 21:33:40 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@julyclyde add_service 在 shell 命令和 service 文件要求的细节对齐上, 做了很多工作(if else + assert). 能避免绝大多数问题, 我知道的坑都有单独代码处理.
其可以支持开机自启运行 二进制/shell/Python/JS/TS 等脚本. 最关键的是有一个克隆环境变量的功能(--clone-envs), 能做到和当前 shell 一致的运行环境, 避免了很多环境变量不同的坑.
2023-08-18 23:30:50 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@skyrim61 没有区别。 只是配置 service 来写启动项太繁琐了, 需要创建文件,修改 n 个配置参数,然后至少两个 systemctl 命令才能完成, 而且配置文件很多小细节没做好就得 debug+重新修改。

所以我开发了小工具 add_service , 一行命令就可以无脑完成 service + 设置启动项,非常方便。
2023-08-18 14:21:36 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@julyclyde 的确很低频. 但一个是 systemd 太复杂, 繁琐了, 二是我工作上经常要配置新电脑, 用到的频率偏高一些. 所以就写了这个工具, 希望对有类似需求的人有用吧.
2023-08-18 11:53:06 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@cheng6563 哈哈哈, 命令打错这种事情太常见了. 所以开发的时候也考虑了这方面. add_service 纯粹就是自动化地按照人们的预期创建 service 文件和执行 systemctl 命令.
且为了透明性, add_service 会在 terminal 上 log 出它要做的全部操作(可以在项目主页看到详细 log). 做错了很方便根据 log 删除对应的文件, 也可以一行删除 `add_service --rm service_name`.
2023-08-18 11:41:36 +08:00
回复了 diyer22 创建的主题 Linux add_service: 便捷添加 systemd 开机自启启动项的 CLI 工具
@ExplodingFKL 目前不支持, 感受了一下 systemd/User, 没有太明白其应用场景; add_service 主要的目的是便捷地添加 systemd 开机自启启动项, 所以不宜变得复杂, 保持简洁为好.
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2503 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 06:58 · PVG 14:58 · LAX 23:58 · JFK 02:58
♥ Do have faith in what you're doing.