准备存储 10 年以上的 NAS 硬盘方案?

2024-07-13 21:13:06 +08:00
 paidahai

需求:

  1. 家庭 NAS ,主要存储摄像机的视频(占大头),想把孩子成长记录保存下来。还有就是手机相册、视频的备份等需求(小头)。
  2. 摄像头目前是小米 C700 ,只录制动态画面,平均每天产生 3.5G 视频数据,按照这个算一年 1277.5G ,就按照 1.5-2T 算吧。10 年大概需要 15-20T 的存储空间。
  3. 摄像头视频可以便捷同步到 NAS ,最好方便管理和在线查看。

做了一些调研,初步想法:

  1. 整体预算不超过 1w 。综合考虑群晖 923+,4 盘位,AMD 的 X86 也可以支持虚拟机和 docker (偶尔用)
  2. 硬盘还没想好,两个方案
  1. 硬盘价格就真看不懂,同样是 16T ,某东和某宝差距好大,差了一倍都不止,有啥猫腻吗……

大家觉得存储哪个存储方案合适?

17796 次点击
所在节点    NAS
112 条回复
paidahai
2024-07-14 11:05:42 +08:00
@bs10081 感谢分享。考虑群晖主要也是套件比较丰富。Surveillance Station 还没用过,好像得摄像设备支持 RTSP 协议,ONVFI 协议才行。小米系列目前好像都不支持这两个协议。
paidahai
2024-07-14 11:08:23 +08:00
@ohmyself 是的,摄像头视频每天同步一次 NAS ,其实对硬盘写频率很低。家庭场景,非工业视频监控。
Jokesy
2024-07-14 11:56:25 +08:00
作为技术人员,可以考虑一下 阿里云和腾讯云的 oss 和 nas 。非推广,根据自己需求来定。
1 、归纳各个方案,列出优缺点
2 、根据实际情况三思而后行 ,选择最适合的方案
3 、开始实施
完美收工(能打的一个都没有
ruohai
2024-07-14 11:59:56 +08:00
监控视频存储,没有高频 io 需求,没有必要用 raid ,不管是 raid5/raid6/raid10 ,无非是坏盘数量多少的问题,都存在一定数量的盘坏了以后数据全部 gg 的可能。

个人建议方案是用 unraid ,或者动手能力强的话自己搓 mergerfs + snapraid ,都是单盘存储据,可以每盘存一年的数据进行分类归档。坏盘数量可控时有校验盘可以恢复数据,坏盘数量不可控时至少好盘的数据还在。

另外就是老生常谈的 raid 不是备份,做不到 321 ,至少在云盘也做个备份。
fairytale
2024-07-14 12:22:20 +08:00
@starinmars 不用 pb ,tb 就可以。2.5t 的磁带 40 元
Rendex
2024-07-14 13:36:52 +08:00
@starinmars #11 LTO6 的磁带机是 1600 左右了,不过磁带需要每半年倒带一次,要是没有带库的话会比较麻烦。带库就要万把块了
valord577
2024-07-14 13:41:13 +08:00
图片使用 heif 或者 avif 编码 视频用 hevc 或者 av1 编码 存储空间立省好几倍 反正是自建 格式兼容的 app 也是可以找得到的
saranz
2024-07-14 14:17:10 +08:00
如果只是冷存储,那么有一个叫作光盘的东西应该很适合你的。

别看光盘被淘汰了,但是作为冷存储绝对是最优秀的介质。

所需要的是现在至少购入两套光盘读写设备(现在淘宝上还有得卖,也不贵。所以应该提前购买一套作为备用。)
光盘的购买,这个其实也不用购买太多。毕竟光盘这东西现在还是有一些商用的,比如医院的 CT 现在都是给光盘。所以先购入 3~5 盘就好。

外围设备就是一台电脑,随时将硬盘上的数据转入光盘。

缺点:需要时间整理以及不方便随时网络查看。
rainbowtrash2333
2024-07-14 14:42:18 +08:00
可以考虑一下矿盘,小黄鱼 16T 矿盘 900 元,买 4 个,每两个组 raid1 ,问题也不大
lulugtxy
2024-07-14 15:10:07 +08:00
敢赌一手 115 不倒闭,5800 左右的永 v+5pb 性价比还不错的
maizero
2024-07-14 15:30:32 +08:00
刚好玩 NAS 超过 10 年,我的几个建议:
maizero
2024-07-14 15:51:20 +08:00
习惯性 cmd+回车发送了,抱歉,接#31:
1. 用发展的眼光看问题,不要按照现在的需求和成本、可选技术路线进行方案定型,方案是会迭代的;
2. 这点需求,PC+U.2+HDD 过渡性存储+多副本备份,是王道。

理由:
1. 13 年玩 NAS ,第一台 DS412+,4 盘位,入的 WD 红盘,4TB*4 ,raid5 ( JD 入手);
2. 后来 18 年换 DS1817+,年底加了 DX517 做盘位扩充,升级到 8T 红盘。
发现的问题:
1. 所谓 WD 红盘,NAS 盘,属于智商税,以上这些 4T 、8T 的红盘,在白群晖+UPS+杭州很少断电的情况下,故障率很高;
2. 一劳永逸不现实,一开始 4 盘位,后来到 8 盘位,再到盘位扩展,其实需求是会增加的,可扩展性很重要。

到这时候,我还是 raid5 的忠实粉丝,但是有坑,虽然我没被 WD 红盘的故障+raid5 rebuild 害过,但是每次降级后的 rebuild 过程,我都胆战心惊,原因:

1. 盘几乎是同一批的,4 盘 raid5 、8 盘 raid5 ,在 rebuild 过程很有可能再挂一个;
2. 软 raid 的 rebuild 很漫长……因为是重新校验+读+写+软 raid 依赖 CPU 性能。

后来因为群晖性能一般,可扩展性的性价比不高,而且家里开始用万兆网络,威联通在做 2 个千兆链路聚合也效果不佳,局域网的同步速度非常差,原因:
1. HDD 本身读写就不快,8 盘 8T raid5 在 DS1817+之下,吃满千兆网络后,做链路聚合也没实现 X2 ;
2. 缺乏 SSD 做缓存,读写都是 8 个盘在咔咔转,很吵,虽然我那时候有书房。

我放弃了群晖入了威联通,原因:
1. QNAP 在功能上更专业,相对性价比更高,虽然软件 ui 很烂,和 dsm 不能比;
2. 我一步到位的买了当时最贵的 872XT ,价格 2w ,10 盘位( 8 个 3.5 sata ,2 个 m2 ),支持 pcie 、万兆、雷电 3 ,i5 的 u ;
3. QNAP 扩展很方便,USB-C 的 TL D800C ,或者 pcie+8088 线的 TL D800S ,随便就可以再加 16 个 3.5 sata 盘位。

这个时候我开始用 10T 及以上的企业盘,放弃 WD 红盘。
这时候我也知道希捷的酷狼是智商税。
于是希捷银河 10T 开始,到 16T 。
西数的 HC 系列,从 14T 、16T 、18T 、20T 、22T 。
东芝的 MG09 、MG10 系列,从 MG09 的 18T ,到 20T 。

但是同时为了解决噪音问题、内网万兆后的访问速度问题,我开始考虑 SSD ,一开始 872XT 的 M2 只是用来做读写缓存,后来我开始用 M.2 转 U.2 ,开始上 U.2 ,于是打开新世界大门。

U.2 是垃圾佬最爱,入坑后就回不了头,于是我入了 QNAP 的 9 盘位,其中 4 个 2.5 盘位分别支持 2 个 U.2 和 SATA 。
这时候软 raid5 的弊端开始浮现,我终于遇到 8 盘 raid5 出现 2 盘故障的 Case ,就发生在 872XT 上。

这是一个 16T*8 的 raid5 ,110 多 T 的数据,其中就包含了 OP 提到的:家庭监控小孩的视频数据。

这些数据的特点:
1. 持续,且量大;
2. 需要一个系统持续的写入,我用的是 QNAP 自带的软件+支持通用协议的摄像头。

这里我犯了个很大的错,就是数据没有做分类分级,并进行分卷管理,而是统一的用一个 8 盘 raid5 保存。
监控视频、个人照片、电影等全在这个阵列上。
我比较庆幸的是个人照片因为体积小,也就几个 T ,我做了额外的备份。
但是家庭视频因为量大,持续写入,我没做备份。

这一组 8 盘 raid5 出故障后,我请 QNAP 的工程师修复,无果,我只能无奈的把 8 个 18T dd 备份成镜像后,开始自学阵列的数据修复技术……
maizero
2024-07-14 16:03:50 +08:00
这时候,我就意识到,白群晖、威联通的软 raid5 性能差,如果 7x24 小时,企业级的解决方案才是比较靠谱。
硬盘存储介质我 HDD 换成企业级的银河、HC 系列了,但是我的方案,还是一个家庭 NAS 方案,修复依赖官方方案,太被动了。
例如这一组 8 盘 raid5 ,其实有办法修复的,只不过 qnap 工程师只是在工具级别的范围内就放弃了。

于是我开始放弃群晖、QNAP ,考虑单盘模式+通用系统+多副本备份。

并且我吸取数据未分类分级的教训,我只有电影等可以接受丢失的数据,才考虑用 raid5 。

于是我采用了企业的硬盘柜+硬件阵列卡+普通 PC+Windows/Exsi ,作为我的方案。

这个方案的特点:
1. 硬件容易找,低功耗或高性能,都方便,属于 DIY 方案;
2. 对 HDD 、SSD ,以及企业级的 U.2 、硬件阵列卡,都很友好。

所以我现在就是一个低功耗的 PC+Windows+U.2 单盘模式存储 online +HDD 单盘备份重要数据 + HDD 阵列存储大容量非重要数据。

如果万一介质出现问题,HDD 的单盘模式+标准 NTFS/exfat/ext4 ,做数据恢复,都相对简单。
U.2 是数据中心级 SSD ,只要做好散热,是性价比只选,不过最近涨价了,但也比 M.2 好很多,寿命、速度都很牛,用来 online 最好不过,一般搞一个 7.68t 的就可以,很少人 online 超过 8t 吧?
esee
2024-07-14 16:05:04 +08:00
家用存视频,真心不建议你用 raid5 ,万一坏 2 块等于全盘损毁,你应该没试过,坏了一块盘后重建修复过程四五天整个过程胆战心惊的体验,你可以了解下 unraid 的 冗余阵列,后期加盘扩容也比 raid5 方便,整个阵列风险也比 raid5 低,你是视频文件,就算最坏最坏的情况,损失一小部分视频保证大部分数据的完整,也是可以接受的。
maizero
2024-07-14 16:08:38 +08:00
关于 HDD ,我不建议买 12 14T ,故障率相对高。
建议 10T 起步,不要考虑 8T ,因为我入坑企业级 HDD ,就是银河的 10T ,8T 的企业级 HDD 应该没新的了。
现在新的企业级 HDD ,一般 18T 起步,但是最近涨价了,行情看看 TB 。
银河、WD ,都差不多,HC550 比较普及。

我前年已经把 16T 淘汰完毕,去年 18T 淘汰完毕,今年在淘汰 20T ,数据都是持续的在倒腾到新的介质里,就回到我开始说的: 用持续发展的眼光,看你的解决方案。

如果你不希望折腾,有一个我也在用的方案:磁带机。

我搞了个别人做好的成品解决方案,LTO6 的淘汰磁带机+自己 3D 打印的盒子+卡+自己开发的支持 Mac 下雷电 3 的方案,好像是 4000 左右。

如果你爱折腾,LTO6+sas 卡的方案一套下来也就 1000 左右。

LTO6 2.5T 的磁带,一盘 40 左右。

磁带做好防高温、防尘防磁、防发霉,比 HDD 做冷备靠谱。——相机用的防尘、防霉的防潮箱就很好。

说光盘的……那是机压盘,自己刻录的,几年就读不出了,我大学用的最好的日产的光盘,包括三菱、索尼等,刻录的 CD-R ,DVD-R ,有很多都有问题了。
maizero
2024-07-14 16:09:04 +08:00
@esee 没错,经过胆战心惊都知道这个过程。
maizero
2024-07-14 16:09:57 +08:00
以上就是我作为一个玩 NAS 10 年,最后选择了 DAS 的个人玩家的心得啦,作为家里 PB 级数据的,都是血的教训:)
zzutmebwd
2024-07-14 16:23:33 +08:00
nas 的未来是全闪,虽然目前固态硬盘价格在高位,但不出两年,必大跌,建议购买 nas 时提前考虑兼容 pcie 固态硬盘,同时,购买 2.5g 网口甚至全万兆网口,至少 5-10 年不落后。
至于 raid ,看储存内容的价值,目前我自己的内容是 raid1 ,文件、照片等,迅雷等下载内容是单盘。
zzutmebwd
2024-07-14 16:24:47 +08:00
@zzutmebwd 如购买全闪 nas ,可分期部署,先上 2*4t ,待固态价格降低后再上 2*8t 。
SOSdanOffical
2024-07-14 16:36:45 +08:00
前两个月有个大哥也想干这事,不知道干了没有。

不说孩子成长记录这种天天拍不剪辑跟流水账一样的东西,哪怕婚礼跟拍,有几个回头还把 dvd 拿出来看的,往柜子里一丢完事

所以“方便在线观看和管理”大概率是个伪需求,如果你一周或者一个月一剪辑还好,光拍不剪,最后就会沦为弃之可惜的数字垃圾

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/1057086

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX