AI心理功能验收:测试集要覆盖事实、边界、稳定性和人工接管

AI心理功能验收应冻结模型和知识版本,使用覆盖正常、边界、异常与高影响场景的测试集,并记录错误严重度、人工接管和回归结果。

AI心理功能验收需要把“回答看起来不错”变成可以重复执行的测试。知识问答、报告辅助、文本分类和风险线索整理承担不同任务,测试输入、期望结果和允许错误也不同。机构应在上线前冻结版本,明确每项功能怎样算通过。

验收对象写到具体调用链

记录模型名称与版本、部署或接口方式、系统提示、知识库、检索配置、工具权限、前后处理规则和报告模板。同一个基础模型接入不同知识库与权限后,会形成不同产品行为。只写模型品牌无法复现结果。

量表计分、标准分转换等确定性程序单独验收。生成模型负责的文字解释和资料检索另建测试。这样出现分数错误时可以查计分链,出现虚构内容时可以查检索与生成链。

测试集同时包含普通和困难场景

普通场景覆盖高频问答、常见报告和正常服务导航。边界场景包含资料不足、分数接近参考位置、量表与访谈矛盾、知识来源冲突和超出服务范围的请求。异常场景包含断网、超时、接口限流、无权限访问和恶意提示。

心理风险相关测试还要覆盖直接表达、含蓄表达、否定句、历史叙述、第三方转述和普通负面情绪。测试资料使用虚构或经过严格处理的案例,避免把真实个人危机记录复制到开发环境。

测试集本身也要版本化。每条样本记录场景、目标能力、期望行为、允许变化和禁止结果,并限制无关人员查看高敏感内容。供应商不能提前针对全部验收样本调试后再用同一批数据证明泛化能力,采购方应保留一部分独立样本。

结果按错误类型和严重度记录

事实性检查分数、量表名称、时间窗口和服务资源是否准确。边界性检查系统是否生成诊断、固定标签、效果保证或超出角色权限的建议。稳定性检查同一输入重复运行、模型更新前后和不同设备入口的关键结论是否一致。

总体通过率不能掩盖严重错误。一个虚构诊断或一次越权显示,影响可能高于多条普通措辞偏差。验收表记录错误严重度、影响人群、是否阻断上线、负责人和修复后的复测结果。

验收人员应包括业务、心理专业、技术、数据安全和实际使用者。不同角色分别签署其负责范围,避免由供应商演示人员代替机构作出专业判断。未解决问题进入限制清单,并与功能开关和上线范围对应。

人工接管与系统降级也要测试

模型无法回答、检测到高影响内容或服务中断时,页面应说明当前状态并提供人工路线。任务能否创建、由谁领取、多久升级、是否保留必要上下文,都需要实际操作。普通机器人不能承诺即时危机服务。

关闭 AI 功能后,测评、既有报告、预约和求助入口继续可用。系统回退到上一版本时,知识库、提示和工具权限也要匹配,不能只切换模型名称。

上线后保留回归测试

通过验收的样本成为基线。模型、提示、知识库、量表、权限或接口发生变更后,自动运行固定测试,再由专业人员检查高影响结果。新投诉和真实错误经过审核后补充到测试集,避免只优化旧题。

AI心理功能验收的交付物包括版本清单、测试集、期望行为、实际输出、错误记录、修复证据和审批决定。橙星云等平台接入 AI 能力时,机构可以用这套材料持续判断功能是否仍符合心理测评与服务责任。

Leave a Reply

Your email address will not be published. Required fields are marked *