V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wxf666  ›  全部回复第 1 页 / 共 36 页
回复总数  719
1  2  3  4  5  6  7  8  9  10 ... 36  
1 小时 41 分钟前
回复了 CristianoRonaldo 创建的主题 程序员 求助! 16T 数据的小文件,如何快速进行拷贝?
@festoney8 #84 DG 应该自己实现了一套 NTFS 读写算法的。。

上次我在微 PE 里,用可能有点老的 DG ,调整 Win11 分区大小。(那个 PE 里系统自带的分区调整用不了,说无服务还是啥)

结果重启后 Win11 进不去了。再次进入 PE ,文件管理器也不识别那个分区了,但 DG 还是能读出来里面的文件,我也靠这货备份数据,最后重装了。。

怀疑 Win11 的 NTFS 版本有新特性,老 DG 不认识,调整分区大小时破坏了。。https://i.imgur.com/krir4IG.png
5 小时 14 分钟前
回复了 CristianoRonaldo 创建的主题 程序员 求助! 16T 数据的小文件,如何快速进行拷贝?
@CristianoRonaldo #75 是如下图那样,克隆分区——按文件复制(可消除碎片)吗?

这速度可以啊,感觉应该就是巨量小文件的标准迁移方法了!学到了!

---

@festoney8 #78 诶,你说 DG 这办法,是不是类似上面说的,一边扫描原分区,一边分析所属文件,一边用自己的算法,批量积攒一堆小文件后,直接修改目标盘 NTFS 。。

毕竟速度这么快,肯定是顺序读写。又能消除文件碎片,肯定不是按原样拷贝 4K 块 / 扇区。

目标盘巨量小文件也能写这么快,肯定不是一会儿跑去写 $MFT ,一会儿写几 KB 文件内容。

---

@laminux29 #58 我知道机械硬盘 4K 随机读写差,巨量小文件又很吃这个,换固态肯定有飞一般的提升。

但在此之前,也需要从原机械盘读出来不是?

感觉楼主这个做法,应该是标准解了。。

---

https://i.imgur.com/PfPqD3y.png
23 小时 52 分钟前
回复了 CristianoRonaldo 创建的主题 程序员 求助! 16T 数据的小文件,如何快速进行拷贝?
@festoney8 #54 Windows 不至于每写一个文件,就强制落盘 $MFT 吧,应该能内存里缓存一段时间,积攒一堆新文件元数据,再一起写入,平摊随机读写成本,转换成大量顺序读写?

其实感觉楼主应该换新方法存储了,否则 NTFS 每次读写都得额外访问 $MFT 、校检权限、杀毒软件放行等,严重拖慢速度,特别是像现在的备份 / 迁移时。。

感觉巨量小文件存数据库里更优,元数据很轻量,且能和文件内容放在一起,减少几次随机 IO (视索引 B+ 树层级而定)。还不用 4K 簇对齐,更充分利用硬盘空间。备份 / 迁移时,还能大文件整体拷贝,吃满硬盘性能。

如果实在要以文件系统形式,对其他程序提供服务,可以用些 fuse 手段。或者参考 RamDisk 它们怎么实现文件读写接口的,它们随机读写文件速度极快,因此这个抽象层应该不会有太多性能损耗。。

现在 AI 这么发达,上述应该不难实现,论坛首页都一堆讨论 AI 的 v 友,请教下他们,或者出点小钱让其帮忙,应该就行了。。
@festoney8 对呀,就是一个个文件去读,但按照它们内容在硬盘上顺序,去决定文件列表,这样磁头就不需要频繁移动,减少寻道时间,尽量将随机读写,转化成顺序读写了吧?

实在不行,就手动分析物理硬盘上,每个 4K 块数据,属于哪个文件的呗。然后顺序读取分区,提取数据缓存在内存里,哪个文件缓存完了(可能有文件碎片成多个 4K 块),就写入到另一个硬盘里。

别说不可能,各种碎片整理软件,都能知道每个文件每一块碎片,在物理磁盘上的偏移范围。。
@laminux29 #36 数据库在随机读写里面的小文件时快不了多少,但作为一个大文件,整体去备份 / 迁移,应该能顺序读取,吃满硬盘性能吧。。

另外,你觉得 35 楼说的「分析文件内容在硬盘上的分布,按硬盘顺序读取,减少磁头频繁移动,从而节省大量时间。若文件有碎片,在内存里缓存一部分,读完整再写入」原理,是可行的吗?
@jiagm #33 fastcopy 有利用 35 楼说的「分析文件内容在硬盘上的分布,按硬盘顺序读取,减少磁头频繁移动,从而节省大量时间。若文件有碎片,在内存里缓存一部分,读完整再写入」原理吗?感觉是真的可行的。。

如果还没有这样的软件,感觉楼主 @CristianoRonaldo 可以找论坛里,那帮用 AI 很厉害的人,快速写个这样的小工具出来用?
@festoney8 诶,你们觉得,要是能顺序读取硬盘的同时,分析出是哪个文件的内容(应该能通过 MFT 主文件表,获取每个文件数据分布范围吧)。若该文件读完整了,就写入到另一个硬盘里,应该会快很多吧。。

或者,获得所有文件数据分布范围后,按在硬盘上的顺序,依次读取这些文件,磁头不用频繁移动,也能节省大量时间?(也算近乎顺序读取了?)
这种巨量小文件,存进数据库里(如 SQLite ),是不是会好很多?

NTFS 文件系统,每个文件元数据(文件名、长度、时间、权限等)起码占 1KB ( MFT 主文件表里),文件内容还要浪费 < 4KB 用于簇对齐。读写文件还得经过复杂的权限校检、杀毒软件放行等。(估计 WinPE 里会快些)

数据库就轻量很多。8 年前 SQLite [测试]( https://sqlite.org/fasterthanfs.html ),随机读写 10KB 小文件,比文件系统快 35%,节省 20% 空间。转移/备份时也是顺序读写,能全速吃满硬盘。。
17 天前
回复了 summerhot 创建的主题 分享发现 发现 RARBG 压制的影片真的好
@vopsoft x265 是软件,h265 才是一种编码格式。。

有啥地方有分享 TMPGEnc 压制的片子吗?看看画质如何。。
17 天前
回复了 summerhot 创建的主题 分享发现 发现 RARBG 压制的影片真的好
@1una @Tink 现在有啥压 av1 / vvc 的地方吗?我看有人几百 MB 压一部 1080p 《哪吒 2 》,画质就很不错了。。现在存储涨价挺猛的,要是能屯这种小体积高质量的片,还是很舒服的。。


@ntedshen 噢,说十年前是吧。。当时主流 CPU 是 i5-4590 之类的吗。。看了下 r23 跑分,多核是 7945HX 在 65W 功耗时 10%。。加上当年 x265 估计优化还不行,压 1080p 确实可能都还有点吃力吧。。
17 天前
回复了 summerhot 创建的主题 分享发现 发现 RARBG 压制的影片真的好
@ntedshen 现在电脑压缩视频不算吃力吧,两三千 7945HX 整机,65W 功耗,几小时就能 x265 veryslow 压一部 4K 电影了吧。。

@vopsoft 除了 av1 / vvc 外,真的还有比 x265 压的又快又小又好的软件吗。。
你的 10 TB 包含啥类型数据呢?能压缩下吗?

如果有很多日常拍摄视频,可考虑视觉无损压缩,几元电费可以永久省几百 GB ,很划算。。(也能少省 几%,电费再减半)

---

前几天测试,4K@60 HDR 码率 80 Mbps 黑神话宣传片,x265 veryslow 压到 20 Mbps (即减少 75% 体积),

挑出《最差》十几帧,逐一放大与原视频对比,细节纹路噪点都保留挺好,看不出啥差异。。

---

日常拍摄 4K 视频,应该不如(粒子线条满天飞的)游戏那样精细,可能压成 15 Mbps 都够了

这也是奈飞影视级 4K 码率,已足够很多人称赞画质惊艳、视觉盛宴了。。

---

(下图白线左侧是原视频。这里只放两三帧,其他十几帧在原帖子 /t/1101836


https://i.imgur.com/to57xlc.png

https://i.imgur.com/0hiQpw0.png

https://i.imgur.com/fDYFIRa.png

https://i.imgur.com/8yLWUP1.png
@yeqizhang #47 我是进 BIOS 限的。但听说也有 Ryzen Controller 之类的软件,可以动态调整 TDP ?
174 天前
回复了 AOK123 创建的主题 生活 大家是怎么清理多年累积的照片的?
@AOK123 #48

视觉无损级压缩,就是冲着《原视频也不要了,我要节省几百 GB ,只付出一丁丁点画质损失的代价,基本忽略不计》去的。。

如果保留原视频,有减少 > 90% 体积的玩法。比如 svt-av1 可以 1080p 分辨率压到 300 ~ 400 Kbps 码率(即 6 ~ 7 小时视频 / GB )还算清晰。。

av1 也能用来压缩图片,比如这张 4K 阿凡达图,减少 97% 体积后,与原图对比,细节纹路还很清晰,特别适合你说的《原图 / 视频存硬盘备份,iCloud / 手机存压缩后版本,随时随地离线浏览海量回忆》。。

(下图虽然 imgur 压缩成了 2.54 MiB jpg ,但和原始 13 MiB png 图对比,很多细节噪点都保留很好,能真实反映 av1 压缩前后质量对比)

https://i.imgur.com/qltOb6C.jpg
@ftang #40 限制一下功耗呗,7840HS / 8845HS 限到 25W ,都还有 65W 的 71% 性能。。

所以限到 30W 这样,享受满血 80% 性能,免除发热噪音烦恼,能效比还非常高,持平 🍎M2 。。

https://i.imgur.com/krir4IG.png https://i.imgur.com/krir4IG.png

https://i.imgur.com/TmS4wK2.png
@scegg #124 真是《零散随机 IO 导致速度骤降》吗?

每秒落盘 1 次,随机 IO 次数差不多,为啥提速 99.37% 呢。。



@julyclyde #125 问题是《写数据库后,没及时落盘,就给钞票》了。。

如果高频系统允许延迟 1 秒以上响应(等数据库完全落盘事务数据),那就没啥问题了。。
174 天前
回复了 Knuth 创建的主题 计算机 现在笔记本 CPU 是不是普遍过剩?
@l4ever #41 普通人日常拍视频很正常吧,几元电费跑 ffmpeg 《视觉无损》省几百 GB 空间,多爽啊。。
给个数据供参考:用 x265 veryslow 压 4K@60 游戏视频,可以视觉无损压到 15 ~ 20 Mbps 。追求小体积画质也还可以,才用 av1 。

我前几天( /t/1101836 #reply56 )用 x265 veryslow 测试压 4K 80 Mbps 黑神话宣传片,压到 20 Mbps 时(即减少 75% 体积),最差十几帧与原视频放大细细对比,都看不出啥差异。。

几元电费永久省几百 GB ,还是很划算的。。(如果愿意少节省 几% 体积,电费还能再降一半甚至更多)

(下图白线左侧是原视频。这里只放一帧,其他十几帧在原帖子)

https://i.imgur.com/to57xlc.png

https://i.imgur.com/8yLWUP1.png
174 天前
回复了 fenglirookie 创建的主题 硬件 e5 CPU 的存在意义
@ltyj2003 #33 要算综合性价比,电费也要纳入考量吧。。

我跑视频压缩,都要压低 TDP ,减少发热导致的无意义耗电。。
174 天前
回复了 heimoshuiyu 创建的主题 分享发现 买了两年的 4060ti 觉得 av1 编码器很值
@heimoshuiyu #22

录制码率确实虚高,但 av1 减少 90% 体积,只怕细节损失会很大。。

我用 x265 veryslow 软压都才敢减少 75 ~ 80%,80% 时最差十几帧对比原视频,很多细节纹路都消失了。。

回忆很珍贵,我是愿意少节省 10% 体积,来让日后回看时能更清晰,不这么朦胧。。


当然,我是用游戏视频这种,颗粒细节满天飞的精细画质,来做测试的。

现实可能没那么多线条分明的细节纹路,或许像你这样减少 80 ~ 90% 也可行。。
1  2  3  4  5  6  7  8  9  10 ... 36  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2668 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 15:09 · PVG 23:09 · LAX 08:09 · JFK 11:09
♥ Do have faith in what you're doing.