阶段1：大模型与智能体通用基础 / 第 14 节
T14 Agent评测、模型选择与效果改进
T14 Agent评测、模型选择与效果改进
阶段1：大模型与智能体通用基础
本日课程安排
先修/输入：T13的原系统调用DEMP的完整链路、启动说明、日志与恢复步骤
当前问题：集成版已能运行，需要证明改进发生在哪些问题上
本日增量：固定测试集、人工评分、模块诊断和版本回归报告
下一日承接：T15 Agent系统权限、隐私与安全验收
第1节 · 案例讲解与配置实践 · 固定测试集、离线质量与完成标准（分钟待核定）
教学活动：承接T13交接。用T03原问题加资料不足、工具失败和正常任务构造测试集。
产出与评价证据：说明样本来源、预期依据和通过条件
第2节 · 案例讲解与配置实践 · 回答、引用、推理任务与工具分别评测（分钟待核定）
教学活动：承接本日第1节结果。按事实、任务结果、检索和工具动作分层检查。
产出与评价证据：误答能归因到资料、检索、生成或执行环节
第3节 · 案例讲解与配置实践 · 召回、精确率、延迟与在线反馈（分钟待核定）
教学活动：承接本日第2节结果。用小样本算检索指标，认识在线评测和Benchmark边界。
产出与评价证据：指标分母和场景明确，不以单个榜单代表企业可用性
第4节 · 案例讲解与配置实践 · 幻觉、模型辅助评分与人工校准（分钟待核定）
教学活动：承接本日第3节结果。比较人工复核和模型评分，检查错误评分。
产出与评价证据：保留分歧与复核依据，评分不是事实来源
第5节 · 案例讲解与配置实践 · Prompt与模型选择的同题比较（分钟待核定）
教学活动：承接本日第4节结果。对批准可用模型或固定回放比较质量、时间和成本。
产出与评价证据：写明真实运行或回放，说明开源/API模型选择条件
第6节 · 案例讲解与配置实践 · 反馈、失败分类与持续改进（分钟待核定）
教学活动：承接本日第5节结果。把用户反馈转成资料、提示或工具修改项。
产出与评价证据：持续改进不等于模型自动训练，修改可追踪
第7节 · 案例讲解与配置实践 · 前后对照与回归验收（分钟待核定）
教学活动：承接本日第6节结果。比较T03和当前版本，复跑曾通过样本。
产出与评价证据：形成改善、退化和未解决清单，交T15权限复核
当日产出与验收
固定测试集、人工评分、模块诊断和版本回归报告
日验收：形成改善、退化和未解决清单，交T15权限复核
教学边界
售前Agent：在DEMP中逐项配置，使用T03固定问题逐日复测
编写依据：2026-10-15会议重构版课程大纲；课程安排不代替完整教材。