读完就能用的 AI 知识文章

Agent 评估实践：从"改了不敢发"到"发布有据可依"

AliExpress 技术分享 Agent 评估落地实践，破解「改了不敢发」。痛点根源是 Agent 不是函数：相同输入未必产生相同输出、对错没有唯一判据，所以传统单测前提被同时打破。文章前半梳理业界共识——评测集从真实失败案例挑 20–50 个简单任务起步（越晚建越难）、LLM-as-a-Judge 有局限、只看结果不够；后半讲落地：框架选型与三模块架构，并复盘三个坑——一次抽样绕过了 CI 卡口、评测集自身没填对致误判、同一数据集四次跑出四个分数。结论：先定契约再定指标、平台管执行业务管判分、评估体系自己会坏且坏得安静。