中小企业选型:L1/L2 数据走企业云 API+SSO;L3 走本地网关或私有化;先算 TCO 与运维人头,再决定买不买 GPU。

先给数据分级

L1 公开营销稿、L2 内部运营、L3 客户合同与人事、L4 监管报送。L1-L2 企业云 API 通常够用;L3 需网关脱敏或本地推理;L4 往往要专线与审计。

分级表一页纸,全员可见,比争论「云安不安全」更快达成共识。

云端 API 适合什么时候

团队小于五十人、无专职 MLOps、需要快速切换模型、用量波动大——云 API 按量付费更省。选带境内节点与企业 DPA 的供应商。

务必开 SSO、日志、配额告警,避免离职账号或脚本刷爆账单。

本地/私有化适合什么时候

行业监管明确要求数据不出厂、内网离线、或推理延迟敏感(产线视觉)。同时要有:补丁流程、备份、监控、模型版本管理,否则本地只是「把风险搬进机房」。

  • 有专职或外包运维
  • 模型更新预算
  • 备机与断电预案

混合架构:常见最优解

办公写作走云 API,代码与客服知识库走内网 RAG,视觉检测走边缘盒子。统一身份与日志平台,别三套系统三个管理员密码本。

TCO 怎么算给老板看

云:席位+API+超额+安全网关。本地:硬件折旧+电费+运维人月+升级停机。把「运维人月」算进去,本地常常比想象贵两倍。

试点三个月用真实账单 extrapolate,不要按官网最低价乘人数。

落地顺序建议

月1-2:企业云 API 试点+L1/L2;月3:评估 L3 网关;月6:若监管或用量迫使,再招标私有化。跳过顺序容易买错资产。