做ai对比：一个项目复盘
做ai对比最有价值的不是参数表，而是真实项目里两条路线怎么输赢。下面复盘一个客服知识库项目：同一批资料，同一组问题，API方案和本地开源方案差距很明显。
步骤1：先定对比对象，不混着比
这个案例是一家30人跨境电商团队，需求很具体：客服每天要查物流政策、退换货规则、平台申诉模板，资料分散在飞书文档和表格里。目标不是做聊天机器人，而是让新人客服少问老员工。
我们做ai对比时只比两条路线：A方案用商业大模型API加向量检索；B方案用本地部署开源模型加同样的资料库。前端、资料、测试问题保持一致，避免最后变成“谁界面好看谁赢”。
步骤2：准备同一批测试题
测试题一共60个，来自客服真实聊天记录，故意保留口语和错别字。比如“巴西客户说没收到咋申诉”“超过30天还能退吗”“DHL偏远费谁承担”。这比自己编问题更接近上线后的脏场景。
评分分四档：完全可用、需要小改、方向错误、胡编。还额外记录响应时间和是否能给出资料来源。客服系统最怕答得像真的但没依据，所以引用比文采重要。
步骤3：跑第一轮，API方案胜在稳定
A方案两天搭完，主要时间花在资料切分和权限整理。60题里，完全可用38题，需要小改15题，方向错误5题，胡编2题。平均响应约3秒，答案表达顺，能处理口语化问题。
缺点也直接：费用按量走，长文档检索后再生成，token消耗不低；另外供应商接口偶发波动，需要做重试和降级。对这家公司来说，早期还能接受。
步骤4：跑第二轮，本地方案胜在可控
B方案部署花了近一周，模型、推理服务、显存占用、并发都要调。60题里，完全可用27题，需要小改18题，方向错误10题，胡编5题。短问题表现还行，复杂政策组合题明显吃力。
但它有两个优点：资料不出内网，长期高频调用边际成本更可控。如果公司已有运维能力、问题类型固定，本地方案不是不能选，只是别低估调参和维护时间。
步骤5：最终取舍，不选最酷的
最后团队选了A方案上线，B方案保留为后续备选。原因不是API永远更好，而是当时最缺的是快速验证：新人客服能不能少打扰老员工，主管能不能看见常见问题分布。
上线两周后，客服内部重复提问明显下降，最常查的是物流异常和退款条件。这个做ai对比给我的提醒是：别在抽象层面争开源还是闭源，拿同一批真实问题跑一遍，答案会自己浮出来。
常见问题
做ai对比应该看哪些指标？
至少看准确率、可追溯性、响应速度、单次成本、维护成本、数据安全。只看模型排行榜，和真实业务结果经常对不上。
API大模型和本地开源模型哪个好？
早期验证通常API更快；数据敏感、调用量大、团队有运维能力时，本地开源更值得评估。不要脱离场景下结论。
AI知识库为什么会胡编？
常见原因是资料没检索到、资料切分太碎、提示词没限制、模型被迫回答。要允许它说“资料中未找到”，并展示引用来源。