AI Product Manager · Agent Products · Evaluation

把复杂任务,变成
可控、可交付的 Agent 产品。

我设计 Agent 如何接收任务、分工协作和持续执行,让用户知道谁在做、做到哪一步、何时需要确认。

主对话从一句任务到确认计划
团队 Agent明确 Owner、状态与交付物
Automation持续执行、失败恢复与追踪
103 组Agent 与模型评测题
01 · Featured case

Elo Agent 产品系统

把一次对话、多人协作和重复执行连接成同一条任务链,让用户不必学习复杂配置,也不会失去控制。

核心闭环可演示产品定义与交互方案生产状态待确认

从一句任务开始,到结果持续交付

面向用 AI 完成复杂知识工作的个人与团队,我负责产品定义、关键交互和评审基线,重点解决任务入口分散、责任不清、过程不可见和敏感操作失控。

我的职责需求拆解、方案设计、原型、PRD 与验收规则
产品对象主对话、团队项目与 Automation
核心判断用户控制关键决定,系统承担过程协调
证据范围产品方案与 Demo 已形成,生产效果待验证
01 · 发起

主对话

用户用自然语言提出目标,补充文件或页面,确认计划后再开始执行。

Elo 主对话统一任务入口
统一入口 · 输入目标并带入当前资料
  • 少配置先说要完成什么,不要求先搭流程。
  • 先确认计划、权限和交付位置在执行前说清楚。
  • 可恢复失败时保留上下文,支持调整后继续。
02 · 协作

团队 Agent

任务进入项目后,由不同 Agent 分工;每项交付只有一个负责人。

Elo 团队项目任务看板
团队项目 · Owner、状态、阻塞与产物同屏可见
  • 责任明确一个任务只设一个 Owner,避免重复执行。
  • 按需响应通过 @ 和任务归属唤醒对应 Agent。
  • 项目隔离不同项目的资料与记忆默认不混用。
03 · 持续执行

Automation

把已经确认的任务保存下来,按计划重复运行,并保留每次结果。

Elo Automation 运行结果页
运行结果 · 处理步骤、状态、产物与下一步
  • 定义与运行分开任务可复用,每次执行独立留痕。
  • 异常可见失败原因、等待确认和下一步清楚展示。
  • 风险受控外发、删除、付费等操作必须再次确认。

这套设计解决的不是“多放几个 Agent”

而是把发起、分工、执行和交付放进同一条用户能理解的流程,减少反复解释目标,也让责任、风险和结果都有迹可循。

  • 用户看得懂知道当前由谁负责、进展到哪里。
  • 用户能控制关键权限和高风险操作由用户确认。
  • 团队可追踪每次执行都有状态、产物和失败记录。
02 · Product teardown

Grok Bot 多 Agent 产品实测

独立体验创建、配置、群聊协作与 Computer Use,不做功能清单,而是还原产品如何让 Agent 接任务、找工具和交接工作。

独立调研 产品实测 非研发参与

从“创建一个 Bot”,拆到它如何真正完成工作

我用招聘、项目管理和网页操作等任务逐步测试,记录界面、响应规则与异常,再把观察转成可用于 Agent 产品设计的判断。

我的工作设计任务、逐项实测、记录问题并归纳产品规则
测试范围创建、工具配置、群聊分工、任务交接与网页操作
核心发现角色、工具和任务归属要同时清楚,协作才不会变成抢答
证据范围基于个人实测截图与调研记录,不代表官方产品说明

我得到的三个产品判断

  1. 先选角色,再补能力先让用户说明 Bot 要做什么,再选择需要访问的工具,比一次性填写复杂配置更容易开始。
  2. 多人对话不等于协作通用任务可能引发多个 Bot 同时回答;明确 @ 对象、任务负责人和交接顺序,才能避免重复执行。
  3. 工具可靠,网页操作补位有稳定接口时优先调用工具;没有接口时再通过可视化网页操作完成任务,并把登录、付费等关键步骤交还用户。
对 Elo 的启发:Agent 的角色、可用工具和自动执行不是三个孤立开关。任务需要明确负责人,执行过程需要可见,涉及权限与风险时需要用户确认。
Grok Bot 群聊中的多 Bot 任务交接实测
群聊协作实测 · 用明确指派和任务描述完成交接
Grok Bot 创建流程中的角色选择
创建流程 · 先明确工作类型
Grok Bot 角色与工具配置详情
Bot 详情 · 角色说明与可用能力
Grok Bot Computer Use 网页执行画面
Computer Use · 执行过程对用户可见
03 · Agent workflow

腾讯 ADP 门店促销执行助手

用主控 Agent、参数化 Workflow 与三个专业 Agent,把促销上线前的政策、库存和审批核验组织成一条可追踪、可停止的执行链。

个人项目 ADP 内部调试 合成数据 · 未发布

让 Agent 解释业务,让 Workflow 守住执行边界

门店促销不是固定先后顺序的表单:政策条件会改变库存需求,库存缺口又会影响最终上线决策。方案用 Workflow 固定字段、计算与状态机,再由专业 Agent 分别解释政策证据、库存风险和最终建议。

执行架构主控 → Workflow → 政策 → 库存 → 决策 → 汇总
代表结果C02 返回 CONDITIONAL,库存缺口 40 件
安全门禁缺少 SKU 时停止下游;补货、改价、通知和发布需人工审批
证据边界验证了主控中转的串行链路,未证明原生 Teammate 点对点移交

这次实战验证了什么

  1. 分工要靠结构化交接每个 Agent 只接收完成自己职责所需的字段,避免政策 Agent 顺手判断库存、库存 Agent 重复政策核验。
  2. 确定性计算放进 Workflow库存公式、必填字段和终态优先级由代码与规则控制,模型负责解释,不改写数值。
  3. Bad Case 是产品资产记录了工具未绑定、输入变量为空、Agent 越界和旧事实并行等问题,并把修复转成回归规则。
内部调试证据:C02 的一次完整 Workflow 运行耗时 11.6 秒、2021 tokens;M01 缺少 SKU 时返回 NEEDS_INFO,未触发下游调用。以上均为合成数据下的单次或有限次验证,不代表生产效果。
腾讯 ADP 门店促销助手返回 CONDITIONAL 的调试结果
代表用例 C02 · 库存不足,返回条件通过与补货建议
腾讯 ADP Claw 应用调试配置页面
应用配置 · Claw 模式与调试入口
腾讯 ADP Workflow 节点编辑画面
Workflow · 参数、节点和输出逐步收敛
04 · VLA evaluation

VLA 场景理解与决策评测台

把驾驶视觉语言模型的单次回答,组织成场景、指标、Bad Case 与版本准入证据。

真实 API 输出Bench2Drive Mini · 10 场景开环单帧评测

看见什么,准备怎么开?

逐场景检查关键目标、风险预测、动作建议和不确定性,再把失败定位到感知、预测、规划、运动或执行层。

VIDEO FRAME · CARLACARLA 仿真中的前车紧急制动场景前视帧
Bench2Drive / CARLA 仿真前视帧 · 用于“前车紧急制动”等场景的开环视觉判断
34.5候选版本综合得分
0%安全门槛通过率
10待回归 Bad Cases
10 / 10代表场景覆盖

一条完整的版本决策链

  • 模型实际输出读取原始前视帧,输出关键目标、风险、动作、速度区间与置信度。
  • 错误归因按感知、预测、规划、运动、执行五层定位,并标记 S1—S3 严重度。
  • 指标体系安全 35%、动作 20%、目标召回 15%,叠加风险、效率与舒适性。
  • 版本门禁综合分、最低安全分与 S3 失败数共同决定 GO / NO-GO。
05 · Model evaluation

Google Gemini 与生成式 AI 模型评测

公开 benchmark 用来理解能力上限;产品决策必须回到真实任务、成本、稳定性和可回归的失败样本。

Gemini 竞品评测阶段性框架

103 组题目,三层评测集

把长文档、引用检索、多模态、研究任务等真实文件形态,整理成 questions、gold 与 rubric。

Corpus
Questions
Gold
Rubric
v0 基础链路
45
v1 复杂项目
37
v2 多模态
21
证据边界:已完成题集与评分结构;生产基线、压力测试及统一量化对比仍需执行。
Google 官方 Gemini 3 模型 benchmark 对比表
公开基准参考 · Google 官方 Gemini 3 评估表。公开榜单用于能力扫描,不替代业务场景评测。

阶段性结论:竞争焦点正在从“单模型更强”转向“场景闭环更完整”

OpenAI

通用 AI 平台与开发者生态,强调推理、工具调用与 Agent 产品化。

Google

以 Search、Android、Workspace 为生态入口,放大多模态与跨产品调用优势。

Anthropic

围绕长上下文、安全与企业工作流,强化高合规场景的可控性。

Microsoft

通过 Microsoft 365 与 Windows,将 AI 直接嵌入生产力工作流。

06 · Strategy case

小米生态方向|智能家居战略研究

从行业诊断与竞争分析,收敛到可评审的产品路线、指标与风险;公开内容已做脱敏处理。

智能家居战略研究三阶段产品路线视觉图
小米生态方向脱敏公开

从设备连接,走向持续的智能服务

围绕头部消费电子与智能生态业务,参与完成行业诊断、竞争分析与产品路线设计。

核心判断:真正的问题不是设备不够多,而是连接之后,用户仍感受不到持续价值。
  • 主动服务把一次性硬件价值拆成基础联动、增值服务与专业管家。
  • 高价值场景优先验证家庭照护、能源管理与跨终端协同。
  • 体验闭环围绕人、车、家设计连续服务,并前置授权与隐私边界。
07 · More evidence

更多产品闭环

同一套工作方法:定义场景、形成判断、建立验收、用证据决定下一版。

B 端知识工作 · RAG

AnalystCopilot

把研报 PDF 转成可检索、可追问、带引用的知识库,关注会话隔离与成本可控。

体验项目 ↗
智能座舱 · Agent

ChargeFlow Agent

围绕电量、路线、排队和偏好,设计“感知—决策—确认—执行”的补能 Agent。

查看交互原型 ↗
车载语音 · 数据闭环

NOMI 语音优化

按 ASR、NLU、槽位、误唤醒与执行失败拆解问题,推动语料和回归验证。

了解项目背景
08 · Contact

如果你在找能把模型能力收敛成产品决策的人,我们可以继续聊。

手机 / 微信:15618179903邮箱:xuefx123@163.comGitHub ↗