V2EX › cndenis 的所有回复 › 第 2 页 / 共 5 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5

❮

❯

2024-06-03 09:39:11 +08:00

回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存

@wxf666 如果需要严格不能丢数据的话, 不能单用布隆过滤器.

假设重复率比较低的的话,, 可以做两轮读取

第一轮边读边构造布隆过滤器, 把发现的冲突的行记录到数据库

第二轮先把数据库中值导入新的布隆过滤器, 然后用它来过滤原表, 对有冲突的行查用数据库确证没重复再输出

2024-06-01 22:49:20 +08:00

回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存

如果不是要求严格不能丢数据的话, 可以用布隆过滤器去重, 误判率有公式可以算的, 有几十 GB 级别内存的话, 误判率应该比较低的

2024-06-01 20:27:41 +08:00

回复了 silentsky 创建的主题 › 职场话题 › 马斯克说每天要工作 16 小时，所以要吸 k 粉，我最近发现喝茶其实也有不错的效果，能让我每天状态稍微好一点，不容易犯困，也不会那么抑郁了，大家平时是怎么维持良好的精神状态的

为了工作不惜吸 K 粉, 求别这么卷吧...

2024-05-27 09:05:08 +08:00

回复了 leegradyllljjjj 创建的主题 › 京东 › 东子最新发声「凡是长期业绩不好，从来不拼搏的人，不是我的兄弟」

前线送快递的小哥都不需要打卡, 也没有午休. 这次整的都是坐办公室的.

个人感觉东哥真实把快递小哥当兄弟的

2024-05-24 14:51:42 +08:00

回复了 LeeReamond 创建的主题 › Python › 想搞服务拆分，日志系统现在一般大厂是怎么做的？

@zshineee 写硬盘是依赖最小的, 万一你的日志服务挂了也不至于直接崩掉业务.

你会在这里问这个问题的话, 估计业务量也大不到单纯日志就能写到硬盘性能不够的程度

网关可以用专门的网关, 比如 nginx, apisix, 或是云上的负载均衡服务之类, 它们都有标准化的日志.

2024-05-24 14:16:13 +08:00

回复了 LeeReamond 创建的主题 › Python › 想搞服务拆分，日志系统现在一般大厂是怎么做的？

日志直接写硬盘, 部署日志同步程序上传到日志系统, 比如 ELK, 阿里云 SLS 之类

2024-05-23 22:37:19 +08:00

回复了 lesismal 创建的主题 › 程序员 › HTTPS 用明文传输密码的问题，看到很多次了，个人观点不赞成，单开个帖

安全有一个原则叫纵深防御, 就是当一个防护被突破后, 有另一层防护, 会更安全.

就好比说数据库已经有密码保护了, 为啥不能往数据库里存用户口令明文呢?

同意#5 的看法, 口令 Hash 可以避免受到中间人攻击时, 口令明文被用于在别的网站上做碰撞

2024-05-20 09:42:52 +08:00

回复了 eventlooped 创建的主题 › 生活 › 大家夏天用凉席吗？

现在和小时候不一样了. 小时候入夜之后气温就逐渐下降. 现在一到晚上四周邻居空调开起来, 如果你窗外的空调口的话, 晚上温度可能比白天更热, 比大家都没有空调的时代难受多了.

开空调也是个内卷的过程

2024-05-17 09:54:24 +08:00

回复了 joye 创建的主题 › 程序员 › 唉，一年了无人问津，开源算了

现在产品太难, 别说免费, 贴钱给用户人家都不见得会肯用.

靠技术和功能来吸引用户真要做得非常独到才行

这几年我在桌面上使用的新工具软件, 每年可能就一两个而已

2024-05-14 12:36:16 +08:00

回复了 libasten 创建的主题 › 问与答 › 现在是不是很多年轻女孩把小红书当朋友圈一样发？

小红书的推荐系统做得很好, 消息很灵通, 尤其是本地生活方面.
目前来说上面的活人还是比较多的, 而不都是机器人在发贴.
知乎现在称得上恶臭了, 太多令人反胃的机器人在上面

2024-05-11 09:18:26 +08:00

回复了 hekouwang123 创建的主题 › 互联网 › 移动互联网时代的叛逆者

手机最大优点是可以躺着玩

作为休闲的话, 其实很多人并不追求信息处理效率, 打发时间而已

2024-05-10 11:34:53 +08:00

回复了 gpsbird 创建的主题 › 问与答 › 读代码的时候，什么时刻最破防？

@MillaMaxwell 你还别说, 这是 Python 的 EAFP 风格, 请求宽恕比许可更容易(Easier to Ask for Forgiveness than Permission), 用 try...except 代替前置的 if 判断
https://docs.python.org/3/glossary.html#term-EAFP

对于并发的场合, 这种做法是必要的, 比如你从一个并发的任务列队中取值, 即使先用 if 判断队列非空, 取回来的值也有可能是空的, 正确的做法是 try 取值干活 except Empty ...

2024-05-03 10:09:03 +08:00

回复了 einsdisp 创建的主题 › 程序员 › 使用 Jetbrains 插件 Copilot,如何禁止上传某些敏感文件?

@hugi 搞不好你的服务器和密码会出现在别人的自动补全里

2024-04-30 10:13:49 +08:00

回复了 captain55 创建的主题 › 随想 › 观隔壁 [我一个同事被碰瓷了，咋办？] 有感。

我觉得这个社会还是有友善的人的, 比如在 V 站上, 一个新手的虚心提问常常会有高手的热心回答, 这就是友善. 但这种友善也是需要氛围的. 现实社会中, 友善的氛围确实是比较淡了.

2024-04-29 09:17:14 +08:00

回复了 pigeon2049 创建的主题 › NAS › 真.Nas 高可靠性企业级方案

"分布式存储系统如 Ceph 在家庭市场上有着很大的潜力"
这句话吓到我了, 这是一个有 PB 级的数据, 要雇佣运维工程师来管理数据的家庭吗?

2024-04-28 22:32:41 +08:00

回复了 magic3584 创建的主题 › 互联网 › 准备换邮箱了

国内用的话, 其实还是 QQ 邮箱比较方便

1 2 3 4 5

❮

❯