先给数据分级
L1 公开营销稿、L2 内部运营、L3 客户合同与人事、L4 监管报送。L1-L2 企业云 API 通常够用;L3 需网关脱敏或本地推理;L4 往往要专线与审计。
分级表一页纸,全员可见,比争论「云安不安全」更快达成共识。
云端 API 适合什么时候
团队小于五十人、无专职 MLOps、需要快速切换模型、用量波动大——云 API 按量付费更省。选带境内节点与企业 DPA 的供应商。
务必开 SSO、日志、配额告警,避免离职账号或脚本刷爆账单。
本地/私有化适合什么时候
行业监管明确要求数据不出厂、内网离线、或推理延迟敏感(产线视觉)。同时要有:补丁流程、备份、监控、模型版本管理,否则本地只是「把风险搬进机房」。
- 有专职或外包运维
- 模型更新预算
- 备机与断电预案
混合架构:常见最优解
办公写作走云 API,代码与客服知识库走内网 RAG,视觉检测走边缘盒子。统一身份与日志平台,别三套系统三个管理员密码本。
TCO 怎么算给老板看
云:席位+API+超额+安全网关。本地:硬件折旧+电费+运维人月+升级停机。把「运维人月」算进去,本地常常比想象贵两倍。
试点三个月用真实账单 extrapolate,不要按官网最低价乘人数。
落地顺序建议
月1-2:企业云 API 试点+L1/L2;月3:评估 L3 网关;月6:若监管或用量迫使,再招标私有化。跳过顺序容易买错资产。