据介绍,ASSERT能够从产品需求、政策文件或系统提示等文本出发,自动生成测试场景、数据集、评估指标和计分卡,并针对目标模型、应用或智能体运行测试。该框架建立在这样一个前提之上:行为规范本身应当成为评估的核心输入,而非仅仅作为背景参考。ASSERT将这一过程系统化为四个阶段:首先,将宽泛的行为描述细化为明确的概念规范,进而转换为可编辑的许可与不许可行为分类体系;随后,基于开发者指定的维度(如任务类型、角色、工具可用性等)生成分层测试用例,涵盖单轮提示、多轮场景以及善意交互和对抗性探测;接着,对目标系统运行这些用例并记录完整轨迹,包括工具调用、中间决策等;最后,对照行为分类和策略立场对每个轨迹进行评分,输出通过与否标签、判断理由、策略引用以及作出该裁决的具体回合或动作。为了验证ASSERT的有效性,微软团队开展了两项覆盖率研究和人工评审对比。第一项覆盖率研究显示,相比直接从意图生成的评估集,ASSERT在多项行为(亚汇网注:如社会评分、拍马屁行为、任务遵循、工具使用规范、不安全健康建议)上生成的测试集覆盖更广,暴露出更多值得检查的案例,区分强弱系统的能力更强,同时显现出更多独特的失败模式。第二项验证通过对比LLM判定器与人工审核,显示两者一致率通常在80%–90%,而人工标注者之间一致率约为90%,表明LLM判定器能够捕捉大部分目标信号,但在策略细微差别或高度专业领域仍需谨慎。微软指出,ASSERT最适用于行为定义明确、约束清晰的场景。丰富的工具、政策和边界描述有助于生成更精确的测试用例。开发者不应将汇总评分视为最终结论,更多情况下,收集的失败案例和操作轨迹对改进系统和评估方法更有价值。ASSERT并不能替代人工判断、遥测数据或领域专家评审,而应将其作为使评估更快速、更明确和更易于迭代的一种方式。参考资料:代码库:项目网站:实例:广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,亚汇网所有文章均包含本声明。
风险提示
外汇交易涉及高风险,可能不适合所有投资者。杠杆交易可能导致快速亏损,请确保您完全理解相关风险。过往表现不代表未来结果。
本分析仅供参考,不构成投资建议。投资者应根据自身情况做出独立判断,并承担相应风险。