V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
boringwheat
V2EX  ›  职场话题

公司内大模型应用,领导打算从阿里百炼平台切换到私有化部署,如何打消他的安全隐私顾虑?

  •  
  •   boringwheat · 33 天前 · 2042 次点击
    这是一个创建于 33 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. 业务平台已经在阿里云 ECS 上了;
    2. 去年用百炼搭建了一个 RAG 应用( OSS+百炼向量知识库+API 调用千问);
    今年领导觉得用云平台不安全,打算自建,我应该如何打消他的顾虑;(公司就我一个 IT,如果购买大概率就是买 deepSeek 一体机,实在不想自己再额外看护一套设备)。
    目前几个理由:平台的隐私说明,保密协议,大模型的迭代速度,MCP...
    29 条回复    2025-05-15 09:58:47 +08:00
    cat9life
        1
    cat9life  
       33 天前
    好像还真没有充分的理由来证明国内(外)云厂商没有隐私问题。只能拿协议、合同说事。
    jstony
        2
    jstony  
       33 天前
    这种领导你说服不了的,买吧,反正一体机也没多少钱,百八十万肯定能买到了。
    boringwheat
        3
    boringwheat  
    OP
       33 天前
    @cat9life 我的想法是,业务平台(核心保密数据)已经在云上了,基于业务数据的一些 AI 尝试再弄到本地,费时费力不说,开源的效果肯定也比不上付费的,机房环境也不好,我也没有模型本地调优的精力
    boringwheat
        4
    boringwheat  
    OP
       33 天前
    @jstony 倒不是想替公司省钱,单纯就是不想麻烦,而且效果可以预见的是不如云上的
    Mithril
        5
    Mithril  
       33 天前
    不太明白,业务都挂在阿里云上还在这个?

    至于换不换的,你可以给他算算账。看看你们在知识库和 API 调用上花了多少钱,买台这个一体机要多少钱。
    xuxuxu123
        6
    xuxuxu123  
       33 天前
    不要去识图劝说,就直接办就行了;

    对接厂商采购硬件的时候,直接沟通清楚风险点:
    1 、响应速度
    2 、整体费用
    3 、后续维护成本
    4 、稳定性
    .....

    把这些情况与厂商沟通结果给领导看,领导自己去做决策用还是不用;最终大概率就是不用了
    xuxuxu123
        7
    xuxuxu123  
       33 天前   ❤️ 1
    @xuxuxu123 你说的问题,那是你的问题;厂商说的问题,那就是真的问题;
    renfei
        8
    renfei  
       33 天前
    云厂商如果真的想看你们的数据,他们还真能看
    boringwheat
        9
    boringwheat  
    OP
       33 天前
    @xuxuxu123 有道理
    bzj
        10
    bzj  
       33 天前
    为什么要打消顾虑,本地部署就得采购硬件,促进消费,部署也麻烦不了多少,你也有了业绩,如果长期大量用可以节省不少成本,多赢的事情
    coolloves
        11
    coolloves  
       33 天前
    你多虑了,买一体机你们只管用而已,有问题了,也不用你来处理啊
    如果让你窜机器,那才是你该头疼的事情
    snow0
        12
    snow0  
       33 天前
    自己部署的机器弱鸡性能能满足多个人同时使用?
    snow0
        13
    snow0  
       33 天前
    @snow0 google 为了支持 AI 都要建三座核电站了
    murmur
        14
    murmur  
       33 天前
    私有化 deepseek1.5t 显存,嘿 jb 贵,不是大企业根本玩不起,机房还要硬件改造
    null2error
        15
    null2error  
       33 天前
    把看护的钱也一并报到项目里面,让乙方来干呀,你不愿意干的事情,有的是乙方愿意干
    SuperGeorge
        16
    SuperGeorge  
       33 天前
    可以去买阿里云大模型本地化部署的一体机,大概 100 多个 W 。
    Meteora626
        17
    Meteora626  
       33 天前
    百炼那玩意 真不好用,开源的 ragflow dify 都差不多东西,迭代还快 mcp 啥的都能接
    frandy
        18
    frandy  
       33 天前
    我们公司就是一体机,最便宜的那种,模型能力就是幼儿园水平。没什么好让领导打消的,要做好模型的选型,比如你百炼用的满血的,自己部署,用的量化的,出来效果不好,那是你的问题,所以前期做好自己运维大模型的能力。换个角度想想,自己的技能数有多点亮了几个,外加现在招聘市场对 AI 这种渴求度,自己的不满也就打消了。
    lower
        19
    lower  
       33 天前   ❤️ 1
    真正的反对是把这件事按 200%去执行!🤣
    sansam
        20
    sansam  
       33 天前
    @xuxuxu123 #7 兄台深谙职场之道啊
    fredweili
        21
    fredweili  
       33 天前
    有多少访问量啊?需要多少 GPU 啊?开源模型将来的路线路啊?
    这个东西就是成本算账,隐私这玩意说不通
    yinmin
        22
    yinmin  
       33 天前 via iPhone
    云上用 ai ,有 2 种方式:调用 api 按 token 收费,租算力自搭建 ai 按服务时间收费。如果领导担心第三方 api 截取对方记录,可以在云上租算力(服务器)搭建 ai

    目前 ai 进展太快了,自购硬件可能没几个月就落伍了,不如按月租云服务器
    boringwheat
        23
    boringwheat  
    OP
       33 天前
    @yinmin 我也在推荐云上租用服务器的方案
    boringwheat
        24
    boringwheat  
    OP
       33 天前
    @Meteora626 我算是花钱买服务了,有问题提个工单;另外业务系统的文件都是存在阿里的 oss 的,百炼支持一键导入知识库
    boringwheat
        25
    boringwheat  
    OP
       33 天前
    @fredweili 面子工程,访问量几乎为 0 ;现在大部分公司的 AI 都是找使用场景, 我们今天也在打算强制在某些场景使用(比如决策环境的风险提示)
    Meteora626
        26
    Meteora626  
       32 天前
    @boringwheat 开源平台基本上都支持 api 导入文件,自己写个定时任务就行了。 但是私有化部署 和商业版本还是有区别的
    gaigechunfeng
        27
    gaigechunfeng  
       32 天前
    楼主请教一个问题,我们现在是直接调用百炼的 qwen-plus 的 api ,根据进出的 token 收费,但是没做任何定制和训练。我得问题是:百炼是否支持自己提供一些打点数据去做专门的训练?然后如果自己去训练了大模型,收费怎么算?还是根据 token 收吗?
    boringwheat
        28
    boringwheat  
    OP
       32 天前
    @gaigechunfeng 模型调优吗?支持是支持的,但是好像是要租用云主机了,我理解应该租用后按照主机配置、时间收费,跟 tokens 就无关了
    boringwheat
        29
    boringwheat  
    OP
       32 天前
    @gaigechunfeng 建议直接开工单找售前的人聊,可以让本地供应商上面讲解一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5788 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:49 · PVG 10:49 · LAX 19:49 · JFK 22:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.