华生测评：别踩这几个坑
华生测评最容易被漂亮演示带偏。真正该测的不是它能不能说得流畅，而是能不能在你的数据、权限、流程和异常问题里稳定工作。下面按一次测评流程拆开看，重点放在容易翻车的环节。
第1步：先定测评边界
做华生测评，第一步不是开账号，而是写清楚边界：测客服，还是测内部知识库；测中文，还是中英混合；测公开资料，还是企业私有文档。边界不清，最后所有人都会用自己的期待打分。
建议只选一个业务流程，比如“售后退换货自助问答”。测评目标写成可量化指标：50个真实问题里，答案可直接采用的比例、引用来源正确率、转人工触发是否合理、平均响应时间。
第2步：准备真实问题集
最大的坑是用标准问法测试。用户不会问“请问贵司退货政策是什么”，他们会问“拆封了还能退吗”“发票丢了咋办”“超过7天但是质量有问题谁管”。测评题必须来自工单、客服聊天记录或内部群。
问题集最好分三类：高频标准问题、模糊表达问题、边界异常问题。前者看效率，中间看理解能力，后者看它会不会乱答。没有异常题的测评，基本没有参考价值。
第3步：检查答案依据
华生测评不要只给答案打分，要看证据链。它引用的是哪份文档、哪一段、哪个生效日期。企业场景里，流畅但无依据的答案反而危险，因为一线人员容易直接照做。
这里常见坑有三个：引用旧版文件、把相近条款混在一起、对没有答案的问题硬编。合格配置应该能在缺少依据时承认不知道，并触发人工或工单。
第4步：测权限和安全
很多团队测功能很认真，测权限很随意。比如普通员工能不能问到管理层薪酬制度，外包账号能不能查客户敏感信息，离职账号是否还可访问。企业AI一旦接内部数据，权限就是核心功能。
测评时至少准备两类账号：普通用户和管理员。用同一个问题分别测试，看返回内容是否不同。再测敏感词、客户信息、合同编号等场景，确认日志、脱敏和访问控制是否符合公司要求。
第5步：算维护成本
最后一步是很多华生测评报告不写的：谁来维护。制度更新后谁上传，答案错了谁修，业务新政策多久同步，反馈入口给谁看。没有维护机制，刚上线表现不错，三个月后就会变成旧知识库。
我的判断标准很简单：如果一次更新要找三个人、走五个流程，这套系统很快没人敢改。测评结论必须包含维护人、更新频率、回滚方式和错误追踪，否则“可上线”三个字太轻。
常见问题
华生测评主要看什么？
重点看真实问题命中率、答案依据、权限控制、转人工机制、响应速度和后期维护成本，不要只看回答是否流畅。
华生测评需要准备多少问题？
小型试点建议至少准备50个真实问题，覆盖高频、模糊和异常三类。问题越接近真实用户表达，测评越有价值。
华生回答错误怎么办？
先查是知识源错误、检索错误还是流程配置错误。修正后要把该问题加入回归测试集，防止下次更新又犯同样错误。