有必要导出一个 100W 数据的 Excel

2020-10-20 08:41:25 +08:00
 hackingwu

产品想要导出数据到 Excel,想要导出的数据量最多可能会到 100w 的数据量。Excel 文件估计会有 200MB 。 我觉得这个需求是很不合理和没用。请问大家有类似的需求吗 ,使用过程中有遇到什么问题吗?

10312 次点击
所在节点    程序员
87 条回复
fx777
2020-10-20 14:44:56 +08:00
我是产品,这个产品是个完全不懂技术的吧。
100w 的 Excel,他用的什么电脑,他能打开 流畅运行吗?想啥呢。。
zoharSoul
2020-10-20 14:52:35 +08:00
根据我和这种**打交道的经验, 别和他争, 白痴只会把你拉到和他同样的层次, 然后用丰富的经验打败你
反正公司给钱, 做就行了

+1
TimePPT
2020-10-20 14:58:47 +08:00
线上导出上线 10w 行,大于这个数的要申请报备 😂
TimePPT
2020-10-20 14:59:09 +08:00
@TimePPT 对了,说的是之前呆过的两家公司
miaoxinwei
2020-10-20 15:09:58 +08:00
正常吧
RuiQ
2020-10-20 15:35:45 +08:00
做过类似的需求 估计没你的十分之一多 Excel 直接就打不开卡死了
meeop
2020-10-20 15:50:08 +08:00
技术上没问题,数据量再大 10 倍都没问题,我试过打开和导出 100w 行,也就一两 G 内存,打开没问题,值得一提的是,微软比 wps 打开速度和占用内存都节约 1 倍

不过这个需求可能不合理,有巨大数据泄露风险,这种导出如果不是为了倒入到另一个系统,是没有意义的,人又不可能阅读这么多信息
xuewuchen
2020-10-20 16:25:11 +08:00
这么大当量的数据导到 EXCEL 表干啥用啊。。。。
co1q84
2020-10-20 16:32:35 +08:00
有可能你到了后,他数据放 powerbi 分析展示用啊。。。。至于为啥是 excel,有可能他只用过这。
foxni
2020-10-20 16:34:51 +08:00
第一次碰到这个需求我跟你对反应一样,但是甲方爸爸就是要这么搞,你能怎么办?还得保证页面不卡死!
keventseng
2020-10-20 16:35:33 +08:00
如果是放到 BI 用为啥要用 execl 导出导入?建议你问清楚产品用途是啥~
wangsd
2020-10-20 16:50:43 +08:00
你管他呢,不麻烦的话做就完了,有些人你没法理解他的脑回路。
12tall
2020-10-20 16:51:15 +08:00
实测 Excel 超过 6w 行就。。。。很卡
raymanr
2020-10-20 16:56:07 +08:00
@12tall 同志你这就很单纯了,一般用到这种表格的都是公司有点地位的,卡?先加几根内存,还卡?小 x, 去京东给我买台最好的电脑,CPU 要 i9 的,内存配个 64G,贵?万把块而已,小钱
andeluOS
2020-10-20 17:16:57 +08:00
理论上是可行的,就是非常慢,最高曾经导出过 1.06g 的一个机场数据
9LCRwvU14033RHJo
2020-10-20 17:50:16 +08:00
@raymanr 这样说来还省钱了?开发复杂的系统更费钱?
raymanr
2020-10-20 17:56:56 +08:00
@user8341 省钱不省钱不知道,我领导就是这种人。。。用最强悍的电脑,跑最垃圾的算法,跑得慢没关系,我们通宵跑,人家训练模型不是也要训练几个星期么?我们 sum 数据 sum 一晚上是很合理的
9LCRwvU14033RHJo
2020-10-20 18:02:01 +08:00
@raymanr 领导心态真好。
yhkang
2020-10-20 18:52:16 +08:00
你们公司有没有 hive 之类的大数据平台,让产品自己去写 SQL 自己导哈哈哈
Yannis1990
2020-10-20 19:46:30 +08:00
我是产品,找研发导过这种数据。700w 行,20 列,300mb,用 pandas 处理。如果你能提供 mysql 或者 hive 之类的,不需要给我文件。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://ex.noerr.eu.org/t/716554

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX