一句话让AI帮你做UI测试,多模态测试智能体AUITestAgent来了

一句话让AI帮你做UI测试,多模态测试智能体AUITestAgent来了
最新回答
可爱的害羞鬼

2026-10-22 20:55:27

AUITestAgent: 一句话启动的多模态UI测试新工具

美团和复旦大学周扬帆教授团队联手开发了智能AI测试工具,AUITestAgent,它能根据自然语言输入自动执行终端UI测试。只需一句描述,如“查看景点门票频道中自然风光下的第一个景点评分,检查一致性”,AUITestAgent就能驱动交互,自动校验,如在美团App中的操作所示。

在实际操作中,例如在Facebook上,输入“发布内容‘Hello everyone’并点赞,检查显示和按钮状态”,AUITestAgent将自动完成并验证结果。AUITestAgent采用创新的交互与检查解耦结构,将任务分解为交互和校验,简化了过程,提升了成功率和稳定性。

具体工作中,AUITestAgent的工作流程分为交互模块和检查模块。交互模块通过智能代理协作执行任务,而检查模块则从交互中提取关键信息进行判断。在实验评估中,AUITestAgent在商业应用如美团、Facebook等上的交互和检查任务中表现出色,准确率和效率优于现有基准。

落地应用中,AUITestAgent在美团的多次回归测试中已发现4个有效异常,证明了其在实际商业应用中的价值。总结来说,AUITestAgent是首个基于自然语言的UI测试工具,具有显著的性能提升和低误报率,预示着在大规模自动化UI测试中有着广阔的应用前景。