求助! 16T 数据的小文件,如何快速进行拷贝?

1 天前
 CristianoRonaldo

目前移动硬盘存储了 16T 的数据,目录结构如下 目前需要迁移到另一个硬盘上,使用过 fastcopy ,速度太慢了,只有 0.06M/s,全部拷完,公司都倒闭了,如下图

求助 v 友还有什么方法,可以快速进行拷贝呢?

5319 次点击
所在节点    程序员
86 条回复
TsubasaHanekaw
1 天前
直接扇区复制,吃满磁盘连续性能
rlds
1 天前
两个一样大的硬盘直接试试用 diskgenius 的分区对拷?
RobinHuuu
1 天前
猜测都是 hdd ?
Chihaya0824
1 天前
扇区复制就完事了,别按文件拷贝
coderwitt
1 天前
哥们,如果你的全是纯文本文件,试试 rsync,直接增量同步,放那跑着就行
如果你是二进制文件,找增量备份或者快照软件,直接对这个目录打个快照,恢复到另一块盘里
ntedshen
1 天前
把硬盘拆了
能翻倍
festoney8
1 天前
最快的方法是扇区复制、克隆硬盘,无 4K 读写,推荐在 PE 系统操作
ritziiiiii
1 天前
条件允许的话,可以暂时把两边的硬盘调换一下,先解燃眉之急
Eason1900
1 天前
最快的办法就是把移动硬盘物理连接到目标机器上直接使用。
然后再后面慢慢同步去
deplives
1 天前
先 tar 打包不压缩
再传输,全是小文件,直接考本硬盘 4k 随机读写跟不上的

不行就直接扇区复制
kzfile
1 天前
看起来像是瓦片
wxf666
1 天前
这种巨量小文件,存进数据库里(如 SQLite ),是不是会好很多?

NTFS 文件系统,每个文件元数据(文件名、长度、时间、权限等)起码占 1KB ( MFT 主文件表里),文件内容还要浪费 < 4KB 用于簇对齐。读写文件还得经过复杂的权限校检、杀毒软件放行等。(估计 WinPE 里会快些)

数据库就轻量很多。8 年前 SQLite [测试]( https://sqlite.org/fasterthanfs.html ),随机读写 10KB 小文件,比文件系统快 35%,节省 20% 空间。转移/备份时也是顺序读写,能全速吃满硬盘。。
jiagm
1 天前
@realJamespond fastcopy 目前仍然有在持续开发。
zhengwenk
1 天前
直接把这个硬盘安装到目标机器得了
wxf666
1 天前
@festoney8 诶,你们觉得,要是能顺序读取硬盘的同时,分析出是哪个文件的内容(应该能通过 MFT 主文件表,获取每个文件数据分布范围吧)。若该文件读完整了,就写入到另一个硬盘里,应该会快很多吧。。

或者,获得所有文件数据分布范围后,按在硬盘上的顺序,依次读取这些文件,磁头不用频繁移动,也能节省大量时间?(也算近乎顺序读取了?)
laminux29
1 天前
前期架构错了,后期就没办法。

首先机械硬盘的随机 IO 就是慢,其次移动机械硬盘的性能更差劲,慢上加慢。

下次这种需求,老老实实换 NVME 吧。

ps.小文件 + 机械硬盘,数据库来了也没辙。
wxf666
1 天前
@jiagm #33 fastcopy 有利用 35 楼说的「分析文件内容在硬盘上的分布,按硬盘顺序读取,减少磁头频繁移动,从而节省大量时间。若文件有碎片,在内存里缓存一部分,读完整再写入」原理吗?感觉是真的可行的。。

如果还没有这样的软件,感觉楼主 @CristianoRonaldo 可以找论坛里,那帮用 AI 很厉害的人,快速写个这样的小工具出来用?
wxf666
1 天前
@laminux29 #36 数据库在随机读写里面的小文件时快不了多少,但作为一个大文件,整体去备份 / 迁移,应该能顺序读取,吃满硬盘性能吧。。

另外,你觉得 35 楼说的「分析文件内容在硬盘上的分布,按硬盘顺序读取,减少磁头频繁移动,从而节省大量时间。若文件有碎片,在内存里缓存一部分,读完整再写入」原理,是可行的吗?
xkou233
1 天前
winhex 直接拷盘吧 之前拷贝十几个 T 都是这样
liuzimin
1 天前
我记得以前 AI 给过我一个 linux 下的思路,是通过一条命令,一边压缩的同时一边解压的方式传输。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1169211

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX