~/writingseries
产品经理
-
Anthropic 的评测实验：Agent 分数涨了，能力真的变强了吗？
结合基础设施噪声与联网答案污染案例，说明 Agent 成绩比较需要哪些配…
-
OpenAI、Anthropic 的评测实践：谁来给 AI 裁判打分？
结合 SWE-bench Verified、PaperBench 与 B…
-
Qwen 的规划评测：Agent 的计划，为什么看着合理却执行不了？
从 Qwen DeepPlanning 提炼局部条件、全局可行性与优化目…
-
OpenAI 复盘 ChatGPT 回滚：测试结果不错，为什么还出问题？
精读 OpenAI 的历史回滚复盘：正向反馈为何仍会遗漏行为问题，以及怎…
-
Anthropic 工具评测：Agent 用错工具，问题可能藏在接口里
从 Anthropic 工具评测实践拆解选错工具、读错字段和漏查数据，给…
-
OpenAI 内部数据 Agent：查数看着对，结果为何还会错？
从 OpenAI 数据 Agent 实践出发，区分查询能运行、业务口径正…
-
再读A社博文：怎样建立可信的 Agent 评测
按原文顺序精读 Anthropic 的 Agent 评测方法：任务、试跑…
-
一文讲透 Agent 测评：测什么、看哪些指标、数据从哪来
从传统测试的区别讲起，用白话解释 Agent 测评的核心指标、所需字段、…
-
Agent 上线标准怎么定：从评估指标到发布决策
一次上线决策需要把业务目标、护栏、评估器可信度和定性警示放在一起。沿着发…
-
Agent 改进怎么验证：数据集、基线与对照实验
从同一批输入的新旧版本比较出发，设计可运行的数据集，固定比较条件，检查收…