支持 S3 好像也就 Minio 其他是 S3 网关实现的吧
- 我认识的一家公司存储录音文件 直接用 windows server 的 REFS 目前稳定运行 2 年多 , 已使用容量 100 多 T 了 .
我也查询一下 Refs 单卷最大能
64PB
我们这儿 用的阿里 oss 90 多 T, 一年的费用大概 10 万多
第 1 条附言 · 3 天前
用公有云的 s3 的弊端
1 费用高 含存储费 流量费, 被刷流量可能导致公司破产
2 取回难 巧妙的组合能省些 也一直在收紧中, 例如 ecs 挂载 oss 之前随弄
3 不能保证文件是自己的, 文件审查严格
1 费用高 含存储费 流量费, 被刷流量可能导致公司破产
2 取回难 巧妙的组合能省些 也一直在收紧中, 例如 ecs 挂载 oss 之前随弄
3 不能保证文件是自己的, 文件审查严格
第 2 条附言 · 3 天前
==================================
如果要找个尽可能的免维护（装上扔那儿就不用管了），方便扩容，性能又不拉的存储，能选什么？
我也是上来就劝人用 s3 协议的存储，但仔细一想，为什么呢？ 人家就简单的装的 windows, 那么大的数量 连监控都没弄 每天都在用。
_______________________________________
题外话 微软的产品槽点挺多 但技术和性能不弱，我说的这个公司除了在用 ReFs… 也在用 SQL Server 单表几十亿了
_________________________________________
反正关于存储, 这个 v 友的测试 ceph 也可以再看看.商用的产品大多时候某个方面还是领先。
https://ex.noerr.eu.org/t/912582
_________________________________________
为避免有人点进来，最后选用 REFS 方案，说下主要问题。这也只是摸鱼无聊发的贴 ，也不是推荐大家用 ReFs
1 REFS 新版不兼容旧版，挂载到新系统时会自动升级 ReFS 版本，系统更新也可能会更新 ReFS 版本。
2 格式化时簇大小，选最大，扩容方便
3 去重功能需要大内存，需要谨慎开启， 比例大概是 1T 存储需要 1g 内存。在 2025 版本中支持增量去重：只对新的或更改的数据进行去重，可以测试一下。
4 做好网络隔离，关闭操作系统更新补丁自动重启功能，或者直接关闭更新。
5 充分测试 我也仅知道这一家在生产环境直接用的公司
如果要找个尽可能的免维护（装上扔那儿就不用管了），方便扩容，性能又不拉的存储，能选什么？
我也是上来就劝人用 s3 协议的存储，但仔细一想，为什么呢？ 人家就简单的装的 windows, 那么大的数量 连监控都没弄 每天都在用。
_______________________________________
题外话 微软的产品槽点挺多 但技术和性能不弱，我说的这个公司除了在用 ReFs… 也在用 SQL Server 单表几十亿了
_________________________________________
反正关于存储, 这个 v 友的测试 ceph 也可以再看看.商用的产品大多时候某个方面还是领先。
https://ex.noerr.eu.org/t/912582
_________________________________________
为避免有人点进来，最后选用 REFS 方案，说下主要问题。这也只是摸鱼无聊发的贴 ，也不是推荐大家用 ReFs
1 REFS 新版不兼容旧版，挂载到新系统时会自动升级 ReFS 版本，系统更新也可能会更新 ReFS 版本。
2 格式化时簇大小，选最大，扩容方便
3 去重功能需要大内存，需要谨慎开启， 比例大概是 1T 存储需要 1g 内存。在 2025 版本中支持增量去重：只对新的或更改的数据进行去重，可以测试一下。
4 做好网络隔离，关闭操作系统更新补丁自动重启功能，或者直接关闭更新。
5 充分测试 我也仅知道这一家在生产环境直接用的公司
 |
1
irrigate2554 4 天前
单机 Windows 的 REFS 挂了怎么办，S3 服务帮你处理了这些后顾之忧，当然价格是要更高了
|
 |
2
peteretep 4 天前  5
选现成方案就是搭车，省力省钱，
你想自己走路 随便你 |
 |
3
vczyh 4 天前
这不就是个协议吗？底层怎么实现的都可以
|
 |
4
min 4 天前
windows server license fee 几何？
|
 |
5
wunonglin 4 天前 1
Q: [为什么非要用 s3 协议的存储?]
A：不是非要用 Q： [我们这儿 用的阿里 oss 90 多 T, 一年的费用大概 10 万多] A：各个公司可以根据预算调整技术方向 |
 |
6
Mithril 4 天前
N 年前 ReFS 加存储池炸过一次以后就再也不信微软那些狗屁玩意了。这玩意不炸你就当 NTFS ，炸了你修不回来的时候哭都没地方哭。
而且支持 S3 API 的存储方案很多，你不想买商用方案，不嫌折腾你自己也可以去搞 Ceph 。MinIO 就别碰了，已经开始完蛋了。 |
 |
7
yplam 4 天前
用 s3 协议最大的好处是你不怕 AWS 大涨价，因为一大堆替代供应商，并且优化与扩展容易实现。譬如你 OSS 90 多 T ，需要优化费用，你可以在本地搞个 MinIO 或者其他低价供应商作为只读缓存，把冷数据丢到低频或者归档
|
 |
8
vopsoft OP MinIO 不能扩容吧
|
 |
9
Reficul 4 天前
S3 协议是云计算的基石，你永远可以相信他的稳定性和通用性。轮子多，不满意你还可以跳船还别家的实现，迁移都有现成的工具。
|
 |
12
codehz 4 天前 4
我还以为是说什么替代 s3 协议，但一看内容。。。
块存储和对象存储是两个东西啊。。。对象存储要求的扩展性、持久性、可用性都不是一个级别的。。。（当然并非所有供应商都能完全实现，但块存储从一开始就没办法做到 例如扩展性，就算是虚拟磁盘可以随意扩容，但也需要重新扩展分区（虽然不一定需要重新格式化，但你肯定得停机才能做） 持久性，磁盘稳定性全靠 RAID/快照备份机制，成本高昂且不能实时保护，供应商之间差异极大 可用性，即使上高可用存储阵列，可用性也没法比较，你单机部署的情况下盘坏了就炸了 当然考虑到具体需求，对象存储确实存在价格高的问题，但要比也要和云服务的比，你单机的块存储方案，基本上爆炸只是时间问题，因此你还要考虑后期轮换的问题，这个组合 RAID 阵列，管理起来成本也不会很低。。（这还没说要备份呢，raid 可不是备份） |
 |
13
FrankAdler 4 天前 2
s3 协议优点太多了，当世界都在用这个技术的时候，如果你理解不了那就跟着用就行了。
|
 |
14
guanyujia5444 4 天前 1
关键不在 S3 ，而是在用的基于云的对象存储，对于文件存储，使用文件服务器方式，对于图片和文件上传下载，每次部署都得解决文件服务器的访问问题，而且在服务器迁移时，文件服务器的路径等非常麻烦，用基于云的对象存储全解决了。所以我这边涉及文件服务器的能用对象存储就用对象存储。
|
 |
15
lambdaq 4 天前
s3 你就当成一个公有云都在用的 WebDAV 协议好了。
虽然槽点很多，但是支持的厂家是真的多。 |
 |
17
ytmsdy 4 天前
我就问你，如果某一天机房被烧了，他们这 100 多 T 的数据怎么办？这些数据丢了，对企业有没有致命影响？
如果一个企业的命脉都在数据上，那就不要在备份，文件存储上抠门！ |
|
18
vopsoft OP @yplam "ECS 做一下中转 " 这个只是听上去似乎可行 , 但是不够折腾的 也不一定就省多.
1 oss 到 ecs 走内网免费 2 ecs 挂个存储临时存 90T 的文件 或者边下边删除 , 这部分或者麻烦或者花钱更多 3 ecs 公网迁移到其他 s3 存储, 这部分要不就很慢 要不就花钱买 ecs 带宽 |
|
21
vopsoft OP @FrankAdler 这话好有哲理 今天也就摸鱼无聊发了个贴
|
 |
22
jeesk 4 天前
Amazon S3 提供最持久的云端存储和业界领先的可用性。 基于其独特的架构，S3 设计为默认提供 99.999999999%（ 11 个 9 ）的数据持久性和 99.99% 的可用性，并以云端最强的 SLA 为后盾。
其他的呢？ |
 |
23
lovedoing 4 天前
可靠性和价格便宜，对，没错，考虑容灾的话，它确实比你自己做高可用便宜，某些大厂都用 s3 做冷备
|
 |
25
RedBeanIce 3 天前
@Mithril 求问，为什么说 minIO 不行了。
|
|
26
wunonglin 3 天前 1
@jeesk #24 经典永流传
[为何仓库中有高达 20 万个发行版] https://github.com/TencentCloud/tencentcloud-sdk-go/issues/276 [你们是把***打包了吗？] https://github.com/TencentCloud/tencentcloud-sdk-nodejs/issues/160 |
|
27
vopsoft OP @jeesk Amazon SLA 没问题，腾讯和阿里云按说也没问题。 自己弄肯定不如云厂商 SLA 级别高，但是自己不会审查自己吧 OSS 被封过文件不止一次，我看论坛上腾讯云还有封桶的
|
|
28
Mithril 3 天前
@RedBeanIce 改了 License ，前段时间又在社区版的 UI 上删除了大部分功能。步 Redis 后尘了。
|
|
31
RedBeanIce 3 天前
@Mithril 在红色论坛上，看到了这个讨论，OMG
|
 |
32
aispring 3 天前
@vopsoft 我们也是百 T 规模，幸好热数据不多可以归档，但其实论经济成本确实自建存储应该比较低，纯预测没实际用
1. 线下机房，直接申请公网 IP 存到线下机房里，访问从云上当缓存回源到本地，但稳定性是个考验，可以自己监测线下不稳定直接存云上，写基本上没影响但历史数据不在线上缓存的没法用 2. 云上 ECS ，可以用阿里云本地盘服务器存储，比如 5.5Tb*6 的那种，再自建 minio 集群，这种也可以用 OSS 当缓存，内网流量不计 |
 |
34
ambition117 3 天前
@Mithril ReFS 是配合 s2d 做分布式存储的，官网文档上就这么写的，不然自修复特性就把数据修没了。ReFS + s2d 就是 azure 的存储方案，怎么不稳了
|
|
35
vopsoft OP @vinciacao 关键字"文件扫描" 我想说凭什么扫描我的文件?或者为什么要放到云上让他们轻易的扫描? 违规文件的标准是谁来定义的 云厂商扫描到涉嫌违规,就会本着 "多一事不如少一事的"原则封掉 不信话可以测试下 ,在 oss 放一张 xi 总的平常照片
|
|
36
vopsoft OP |
 |
37
importmeta 3 天前
S3 协议已经默认成了标准协议, 甚至有一些语言自带了 S3.
|
 |
38
summerwar 3 天前
s3 快成存储协议标准了，好处就是当你需要从一家切换到另一家的时候，只需要改下配置，其他的逻辑代码都不需要改，无缝切换。
|
|
39
summerwar 3 天前
你附言里说的是 cdn 的缺点吧？ s3 只是协议，不是具体的实现
|
|
40
Mithril 3 天前
@ambition117 在 Azure 上稳不代表在你公司也稳啊，既然只在 Azure 上稳，那就不要把这功能放到 Windows Server 里开放给大家用。
前面 OP 也说了，谁能想到你一个 Windows Update ，就能炸掉存储卷呢。而且又不是炸一次，好几年了都不改，几次版本升级都有人抱怨升完了就炸掉了。确实是有规避办法，但作为一个企业级的功能，这么搞是闹着玩呢？ 更别说规避办法就是再格式化个新版本的卷，然后把数据拷过去。这不是搞笑吗？你见过哪次 Linux 升级你家硬盘没了，需要回滚版本，然后把数据拷过去，再升级系统的？ |
 |
41
vinciacao 3 天前
@vopsoft 这不是多一事不如少一事，你运营这个云平台，那就有遵守当地法规的义务
无论是版权，色情，暴力，政治，每个国家有每个国家不同的要求 做盗版站的要找抗投诉资源，搞色情网赌都在国外建站都是一个道理，你搞的东西合法合规，那自然没有问题 但你上传的东西有可能对平台运营产生风险，平台自然要封禁相关的资源，虽然他没有主动监督的义务，但出现法律合规问题，是要负连带责任的 |
|
42
ambition117 3 天前
@Mithril 那是客户端版本的 windows update ，windows server 的 windows update 不会有这么大的变动，除非手动安装。
linux 你用 ext4 、xfs 自然不会有这种问题，然而 btrfs 这种还在积极开发新特性的也是绑定内核版本的 |
|
43
vopsoft OP @summerwar 确实, 我有点混淆了, S3 作为协议还是挺完美的, 但自建支持 S3 的存储...没太完美的, MinIO：简单可靠，但扩容受限
Ceph：功能强大，但维护复杂 |
 |
44
yb2313 3 天前 1
为什么要给公司省钱
|
|
45
vopsoft OP @ambition117 提示下 ext4 是会有问题的,概率挺高, 会无法挂载分区
|
|
46
vopsoft OP @vinciacao 这个回答有点官方了, 虽然可以理解. 但实际上确定是那样吗?
例 1 如我说的那文件 100%合法合规还是被封. 申诉没用 例 2 已知 115 用的 oss, 115 里有几百 PB 的动作片也没被封 -------------------- 从公司的角度来说,肯定也不希望公司内部的文件被扫描 无论文件是否涉秘 |
 |
47
hackroad 3 天前 1
被刷流量可能导致公司破产 ，什么？ s3 直接对外？下一个帖子是不是 CDN 被盗刷？那不用 CDN 。 你这都什么乱七八糟的逻辑。。。
|
 |
48
xiaomushen 3 天前
@min 不都是买服务器预装的嘛？
|
|
49
vinciacao 3 天前
@vopsoft
例 1 ，底层扫描的代码逻辑对使用者是黑盒，且无法保证 bug free ，至于确认无问题无法解封，那是对应供应商的流程问题了 例 2 ，115 这个不知道了，可能人家老板有关系，毕竟动作片是 115 的一大卖点 使用者不希望被扫是肯定的，所以涉密文件上云是要考虑的，到底要不要上，之后才是怎么上，以及涉密性强的可以选择私有云，专有云 |
 |
50
justNoBody 3 天前
我觉得你说的缺点都是 OSS 的，和标题没关系。我挺喜欢 minio 的，尤其是不使用他自己的扩展模式，有完整的目录结构，我想怎么折腾都可以。
|
 |
51
frankies 3 天前
因为 aws 最早这么用的，aws 用户最多，导致几乎所有对象存储服务商都要主动去兼容 s3 ，自然形成垄断。
|
|
52
Mithril 3 天前
@ambition117 你可以看看这个： https://techcommunity.microsoft.com/discussions/windowsserver/refs-volume-appears-raw-version-doesnt-match-expected-value-after-windows-update/3058652/replies/4002933
另外出问题的这些都是累积安全更新，而且也没写过说这个更新会不兼容以前版本的 ReFS 。就是简单炸掉而已。 |
|
53
vopsoft OP @hackroad 随便搜下 好多人被刷过，你说的对 不该对外，但普通人不知道 我也是被刷了两小时知道的 扣了 10000 多 。上边说的普通人，包含部分阿里云客服 ，被刷后问的第一个客服没能给出解决办法 。逻辑不通 ，现实在发生。
|
|
54
vopsoft OP @Mithril 版本不兼容确实存在，现在已经知道了 也能避免。ZFS 升级也可能会遇到不兼容的问题。上边说的那家公司还在用 2016, 网络做好隔离 安全性也没问题。不过微软的升级确实太随意了
|
|
55
ambition117 3 天前 via iPhone
@Mithril 这个 refs 版本也太老了吧…
|
 |
56
sampeng 3 天前 via iPhone
1.90T 数据一年 10 万多是你们没做合理分层和成本优化。我们 300T 也也就 10 万左右。
2 ，同样大小的本地。首先要备份，其次要维护。当然，数据丢了就丢了当我没说。我以前公司是 raid 卡坏了，花了好多钱都没完全恢复。 3 ，同样容量，但方便性，性能，等都不是线上能比的。当然你要完全拿线上成本和线下成本比不是这么比的… |
 |
57
hd7771 3 天前
对象存储是好东西，s3 协议从 api 层面是倒退，大部分人为了用上对象存储不得不吃这口💩。
|
 |
59
laminux29 3 天前 1
ReFS 同样炸过好几次的路过。最后用 Debian 12 OpenZFS + Windows Server NTFS 存储池的异构双机热备搞定。
|
 |
60
untitledabc 3 天前 via iPhone
对 web 来说 s3 完美：
横向扩展 把站点消耗 cpu 的 io 从服务卸载到 s3 ，使得 web 服务本身更容易扩展 海量小文件在文件系统里检索起来就是灾难 数据共享和服务集成，不会有人喜欢搬数据吧 |
|
61
sampeng 2 天前 2
@vopsoft
没人全买标准包，也没人全买冷归档，归档存储有直读功能，但存储费用只有标准的 4 分之一。所以我们存储分了 4 层。标准，低频，归档，冷归档。真正标准的也就 10T 左右。 另一方面，我们从来不会在普通的时候买资源包，他们搞活动的时候买资源包还要打 8-9 折。像存储是打折最狠的，联系销售我最低要到资源包的 5.5 折的价。。 这就是你说 90T 。一年 10 万。我一算，90T 全部用标准，你们公司真是大善人。90T ，就算不要折扣。做好合理分层。我没细算，但一年 3-5 万应该问题不大。 我这么给你算吧，一块企业级硬盘 4T 不算贵了，实际存储大概是 3.5-3.6.，算你 2000 一块不过分吧。90T 用最基础的 raid5 不过分吧 ，算你 30 块硬盘。就是 6 万管 3-5 年。时间到了就陆续可能要换硬盘，根据数据的使用频率有差异。但是能搞 30 块 4T 的硬盘的服务器你要不要钱？我都不算你用正儿八经的存储产品，而是自己撸。10 万一套存 90T 你跑不掉的吧。也就是 10 万管 3-5 年。折算一年也要 2-3 万，还不算电费，你的管理，你还是单机。 OSS/S3.已经是云产品里面确实性价比最高最高的了。我算过很多方式，除了一些特别的用力，合理利用的情况下，怎么弄都不可能达到云端的存储的成本低。 |
 |
62
COW 1 天前
ceph 其实没你想得那么复杂，而且可以统一存储底层，cephadm 现在部署很简单，默认引导完添加一下 osd 集群就部署好了，而且自带 orch 编排，配合 systemd + podman 管理也没那么复杂，只需要用 rgw 对象存储的话，rbd 块存储 和 cephfs 文件存储你不配置保持默认都行，另外 ceph 是前期规划复杂点，后面稳定了基本不怎么要维护，只要挂盘扩容就行了。
|
|
63
vopsoft OP @sampeng 我知道没人全买冷归档，我是说冷归档价格低，按你们的 300T 算 即使都冷归档 10 万也不够啊～何况还得有标准的 。 方便的话可以截图下你们的套餐包 ～但不管怎么说 ～分层这个事是自己的规划能力，也不是所有场景都适用 折扣的也不是谁都能拿，最近阿里销售也给我们打电话说能打折，但得新开个号～一开号又得买 90T 的包 还得迁移 根本不现实
自建 90T 10 万是不够，但如果线下已经有机柜了 就相当于加双筷子 3-5 年也不能一下都坏了 ，企业盘质保也是 5 年，我们机房也有托管的服务器 10 年了 硬盘也没坏 30% |
Select Language