为什么需要黑盒模型
产品经理学习 Skill,不需要一开始理解底层 runtime、文件加载、沙箱、代码执行、权限隔离、模型上下文管理等工程细节。那是工程师和平台架构师需要深入掌握的内容。
但是,产品经理必须理解 Skill 的基本工作过程。
如果不理解它如何工作,就会出现三个问题。
第一,误以为 Skill 是“模型已经学会的知识”。实际上,很多 Skill 更像按需加载的任务说明、资源包或工作流方法。OpenAI、Anthropic 和阿里云等平台的公开说明都强调,Skill 是可复用的能力模块,通常包含指令、元数据和可选资源,并在相关任务中被使用,而不是简单等同于模型参数内部的知识。
第二,误以为 Skill 一定会自动生效。实际上,Skill 能否使用,取决于任务是否被正确识别、description 是否匹配、平台是否启用、权限是否允许、输入是否足够。
第三,误以为 Skill 输出错误就是模型“不聪明”。实际上,很多错误发生在 Skill 工作链路的前面,例如没有触发正确 Skill、输入材料不足、Skill 边界写得不清楚、资源文件过时。
因此,本章用一个产品经理能理解的黑盒模型解释 Skill 如何工作。
所谓黑盒模型,是指我们不打开技术内部,只观察输入、处理过程和输出。对产品经理来说,暂时只需要理解:
Skill 的工作过程,就是智能体在任务中发现“这类事有现成做法”,然后加载这套做法,并按照它生成结果。
Skill工作的六步黑盒模型
从用户视角看,一次 Skill 工作通常可以拆成六步:
任务进入 → 意图识别 → Skill匹配 → Skill加载 → 任务执行 → 结果输出
这六步不是某一家平台的唯一工程流程,而是对主流 Skill 机制的产品化抽象。不同平台可能叫法不同,但基本逻辑相似。
第一步:任务进入
用户向 AI 提出一个任务。
例如:
- “帮我检查这份 PRD 有没有遗漏。”
- “把这些用户访谈整理成需求机会。”
- “根据会议记录提取行动项。”
- “分析这几个竞品的功能差异。”
这一步看起来只是用户发消息,但实际上它决定了后续能否触发正确 Skill。用户表达越清楚,系统越容易判断任务类型。
如果用户只说:“帮我看看。”
系统可能不知道是要总结、检查、改写、分析,还是生成建议。
如果用户说:“请检查这份 PRD 是否缺少目标用户、用户场景、验收标准和埋点方案。”
系统更容易识别这是“PRD 完整性检查”任务。
因此,Skill 虽然可以提升自动化程度,但并不意味着用户可以完全不表达任务目标。好的用户输入仍然很重要。
第二步:意图识别
系统或模型会尝试理解用户到底要做什么。
这是 Skill 工作的关键入口。它不是简单看关键词,而是判断用户意图、任务类型、输入材料和期望输出。
例如,用户说:“这些客服反馈里有什么值得做的功能?”
系统可能识别为“用户反馈分析”任务。
用户说:“这份 PRD 会不会过评审?”
系统可能识别为“PRD 检查”任务。
用户说:“把这段会议内容整理成谁做什么、什么时候完成。”
系统可能识别为“会议行动项整理”任务。
意图识别如果失败,后续就可能不会使用 Skill,或者使用错误 Skill。
产品经理要理解,很多 Skill 问题不是发生在执行阶段,而是发生在识别阶段。
第三步:Skill匹配
识别意图之后,系统会判断是否存在适合当前任务的 Skill。
这一步通常依赖 Skill 的名称、description、元数据、触发规则或平台配置。Anthropic 公开资料说明,Agent Skills 是打包指令、元数据和可选资源的模块化能力;一些 Skill 创建说明也强调 description 对模型是否调用 Skill 很关键。阿里云文档也把 Skills Portal 定义为技能发现和安装平台,用户搜索并安装技能后,Agent 才能使用相关自然语言能力完成任务。
这意味着,Skill 不会凭空工作。它必须先被找到、被匹配、被允许使用。
例如,系统里有三个 Skill:
- PRD 完整性检查 Skill;
- 用户反馈需求提取 Skill;
- 会议行动项整理 Skill。
当用户输入“帮我把这段会议记录整理为行动项”时,系统应匹配第三个 Skill。
如果 description 写得太宽泛,例如“帮助产品经理提高效率”,系统可能很难准确匹配。
如果 description 写得太窄,例如“只在用户明确说‘会议行动项整理Skill’时使用”,系统可能漏触发。
因此,description 是 Skill 匹配的关键。
第四步:Skill加载
- 如果 Skill 中写了输出格式,AI 会尽量按格式输出。
- 如果 Skill 中写了处理步骤,AI 会按步骤执行。
- 如果 Skill 中写了边界,AI 应该避免越界。
- 如果 Skill 中包含过时模板,AI 可能产出过时结果。
第五步:任务执行
Skill 被加载后,AI 开始按 Skill 的任务方法处理输入。
例如,会议行动项整理 Skill 可能会执行以下处理:
- 识别会议主题;
- 提取关键结论;
- 提取行动项;
- 寻找负责人;
- 寻找截止时间;
- 标记未决问题;
- 生成结构化表格。
用户反馈需求提取 Skill 可能会执行:
- 读取用户原话;
- 识别使用场景;
- 提取痛点;
- 形成需求假设;
- 标注证据强度;
- 输出产品机会。
在这一步中,AI 仍然不是传统软件。它不会像确定性程序一样保证每次完全相同。Skill 可以提高稳定性,但不能把大语言模型变成完全确定的规则引擎。
因此,产品经理应该把 Skill 理解为“提高一致性的任务方法”,而不是“保证绝对一致的程序”。
第六步:结果输出
最后,AI 根据 Skill 要求输出结果。
一个成熟 Skill 的输出应该符合三个要求:
- 结构稳定;
- 证据清楚;
- 边界明确。
例如,PRD 检查 Skill 的输出不应只是:
“这份 PRD 基本不错,但还可以补充一些细节。”
更好的输出应该是:
| 检查项 | 状态 | 证据 | 问题 | 建议 |
|---|---|---|---|---|
| 目标用户 | 部分完整 | 文档提到“新用户” | 用户分层不足 | 补充新用户、老用户、付费用户差异 |
| 验收标准 | 缺失 | 未发现相关内容 | 无法评审完成标准 | 增加可测试验收条件 |
| 埋点方案 | 缺失 | 未发现相关内容 | 上线后难以衡量效果 | 补充关键事件和指标 |
结果输出不是 Skill 工作的全部,只是用户看得见的最后一步。真正影响输出质量的是前面五步。
一个简单比喻:Skill像“临时调用的岗位SOP”
为了便于理解,可以把 Skill 想象成企业中的岗位 SOP。
一个新员工本来可以凭经验处理工作,但结果可能不稳定。公司给他一份 SOP:
- 什么时候使用这份 SOP;
- 需要收集哪些材料;
- 按照什么步骤处理;
- 输出什么表格;
- 哪些情况需要上级确认;
- 哪些事情不能自行决定。
员工遇到对应任务时,打开 SOP,按步骤完成。
Skill 对 AI 的作用类似。它不是让 AI 变成另一个模型,而是给 AI 一套任务处理手册。
这个比喻有三个好处。
第一,它说明 Skill 为什么可以复用。SOP 不是只用一次,Skill 也不是一次性 Prompt。
第二,它说明 Skill 为什么需要边界。SOP 会规定“哪些情况必须升级处理”,Skill 也应该规定“不做什么”。
第三,它说明 Skill 为什么需要维护。公司的流程变了,SOP 要更新;产品模板变了,Skill 也要更新。
但这个比喻也有限制。人类员工可以主动发现流程矛盾、询问同事、理解组织政治;AI 则依赖输入、上下文、Skill 说明和平台能力。因此,产品经理不能因为 Skill 像 SOP,就把 AI 当作完全可靠员工。
Skill不是模型训练,也不是简单插件
Skill不是模型训练
创建或安装一个 Skill,通常不是重新训练模型。
它更像是给模型提供一套可加载的外部任务说明、资源和流程方法。2026年的 Agent Skills 综述研究指出,agent skills 让智能体通过按需加载指令、代码和资源扩展能力,而不是把所有程序性知识都编码进模型参数中。
这对产品经理很重要。
如果问题是模型完全缺乏某种基础能力,Skill 不一定能解决。
例如,如果模型无法理解某种复杂专业图纸,仅靠 Skill 写几条说明可能不够。
如果问题是任务方法不稳定、输出格式不统一、组织标准没有注入,Skill 就非常有价值。
因此:
- 模型能力决定上限;
- Skill 设计决定任务表现;
- 输入质量决定输出质量;
- 人工评审决定责任边界。
Skill不是简单插件
插件通常强调连接外部能力,例如搜索、数据库、邮件、日历、云资源、项目管理系统等。
Skill 强调的是一类任务如何完成。它可以调用工具,也可以完全不调用工具。
例如:
- “读取网页”是工具能力;
- “读取竞品网页后输出功能对比和产品启示”是 Skill。
- “调用日历”是工具能力;
- “根据项目成员时间安排一次需求评审会并生成议程”是 Skill。
- “搜索最新政策”是工具能力;
- “根据政策原文生成合规影响分析清单”是 Skill。
Anthropic 的工程说明也强调 Skills 与 MCP 等外部工具连接机制是互补关系:MCP 类机制更像连接外部系统,Skills 则提供完成复杂工作流的方法。
Skill工作的三种触发方式
从用户体验看,Skill 可能通过三种方式工作。
用户显式调用
用户明确说:
“用 PRD 检查 Skill 帮我检查这份文档。”
这是最清晰的方式。适合培训、团队初期推广和高风险任务。
显式调用的优点是可控。用户知道自己在使用哪个 Skill。
缺点是需要用户记住 Skill 名称,使用体验不够自然。
系统自动匹配
用户不说 Skill 名称,只说任务:
“帮我检查这份 PRD 有没有遗漏。”
系统判断这个任务匹配 PRD 检查 Skill,于是自动使用。
这种方式体验更自然,也是很多智能体产品追求的方向。OpenAI 的 ChatGPT Skills 说明中提到,安装后 ChatGPT 可以在有帮助时自动使用 Skill;用户也可以通过明确方式调用。
自动匹配的优点是自然、低摩擦。
缺点是可能误触发或漏触发。
因此,自动匹配对 description 和任务边界要求更高。
工作流固定调用
在更产品化的 Agent 系统中,Skill 可能不是由用户临时触发,而是由工作流固定调用。
例如,一个“用户访谈处理流程”可能包括:
- 上传录音;
- 转写文本;
- 清洗文本;
- 调用用户痛点提取 Skill;
- 调用需求机会生成 Skill;
- 生成报告;
- 进入人工评审。
Dify 等平台强调 Agentic Workflow 可以通过可视化构建块组织模型、工具、数据检索和人工输入等步骤,说明复杂任务往往不是单个能力完成,而是多个节点协作完成。
工作流固定调用的优点是稳定、适合产品化。
缺点是灵活性较低,流程设计错误会系统性放大。
Skill工作的关键机制:按需加载
理解 Skill 工作,最重要的概念之一是“按需加载”。
模型的上下文空间有限,不能把所有 Skill 的完整说明、模板、脚本、资源都一直放进去。更合理的方式是:先通过名称和 description 识别可能相关的 Skill,等确定需要时,再加载更完整的内容。
这也是为什么很多平台强调 Skill 的元数据和 description。研究中也指出,SKILL.md 中的自然语言元数据和说明会影响 Skill 的发现、选择和加载,因此它不是被动文档,而是会塑造智能体行为的操作性文本。
对产品经理来说,这带来三个启发。
第一,description 是入口。如果入口写错,后面写得再好也可能用不上。
第二,Skill 内容要分层。最关键的信息要放在最容易被系统看到的位置。
第三,Skill 越多,治理越重要。因为系统需要在多个 Skill 之间选择,重名、重复、边界模糊都会增加匹配错误。
为什么有时 Skill 会失败?
Skill 不是万能的。理解它如何失败,比理解它如何成功更重要。
失败一:没有触发
用户提出了适合 Skill 的任务,但系统没有调用 Skill。
可能原因包括:
- Skill 未安装或未启用;
- 用户表达太模糊;
- description 写得太窄;
- 任务与 Skill 描述不匹配;
- 平台不支持自动触发;
- 当前工作区没有权限使用该 Skill。
例如,用户说“帮我看看这个文档”,系统不知道要检查 PRD、改写语言、总结内容,还是提取行动项,于是没有触发 PRD 检查 Skill。
解决方法不是简单责怪系统,而是优化用户表达和 Skill description。
失败二:误触发
系统调用了不该使用的 Skill。
例如,用户只是想问“什么是用户故事”,系统却触发了“用户故事生成 Skill”,输出了一张用户故事表格。
误触发常见原因是 description 过宽。例如:
“用于所有需求相关任务。”
这个描述太泛,容易把解释、生成、检查、拆解等不同任务混在一起。
解决方法是缩小 Skill 边界,明确适用场景和不适用场景。
失败三:输入不足
Skill 被正确调用,但用户提供的材料不足。
例如,用户只说:
“帮我写一个会员系统 PRD。”
但没有提供目标用户、业务目标、功能范围、约束条件和成功指标。
如果 Skill 仍然输出完整 PRD,就很可能大量编造。
好的 Skill 应该在输入不足时提示补充,或者把缺失项标记为“未明确”。
失败四:执行偏离
Skill 被调用,输入也足够,但 AI 没有严格按 Skill 流程执行。
例如,Skill 要求输出表格,但 AI 输出长段落;Skill 要求引用证据,但 AI 只给结论;Skill 要求标记不确定性,但 AI 给出过度确定判断。
这说明 Skill 的执行规则可能不够清晰,或者输出要求不够强。
解决方法通常是优化 Process 和 Output,而不是只改名称。
失败五:资源过时
Skill 本身没有错,但它依赖的模板、规范、示例或脚本已经过时。
例如,公司 PRD 模板新增了“AI 合规风险”字段,但 PRD Skill 仍然使用旧模板。此时 Skill 会稳定地产出错误结构。
这类失败最隐蔽,因为输出看起来很规范,但规范已经过时。
失败六:边界失效
Skill 在不该给结论的场景给了结论。
例如,合规风险 Skill 直接说“该方案合规”;用户研究 Skill 直接说“用户一定需要这个功能”;竞品分析 Skill 编造没有来源的市场份额。
边界失效是高风险问题。产品经理在设计和评估 Skill 时,必须测试边界场景。
Skill工作质量由什么决定
用户任务表达
用户表达越清楚,越容易触发正确 Skill。
“帮我看看”不如“请检查这份 PRD 是否缺少验收标准”。
Skill描述质量
description 决定 Skill 是否容易被正确发现和匹配。
过宽会误触发,过窄会漏触发。
输入材料质量
输入材料决定输出上限。
没有证据,就不应输出确定结论。
没有上下文,就不应生成完整判断。
处理规则
Process 决定 AI 按什么方法做事。
只有角色设定,没有处理步骤,输出通常不稳定。
输出格式设计
Output 决定结果能否进入工作流程。
结构化、可检查、有证据的输出,比漂亮段落更适合团队协作。
平台能力与权限
平台是否支持工具调用、文件读取、代码执行、工作流编排、权限控制和审计,也会影响 Skill 能完成什么。
例如,云资源操作类 Skill 必须依赖平台权限和安全机制。阿里云 Skills Portal 明确定位为支持 Agent 通过自然语言进行云资源操作的技能发现与安装平台,这类能力天然依赖平台环境和权限控制。
产品经理视角下的黑盒诊断法
第一步:任务是否说清楚
用户是否明确表达了任务目标?
是否说明要生成、分析、检查、转换,还是总结?
第二步:Skill是否被正确触发
是否使用了正确 Skill?
有没有可能没有触发?
有没有可能触发了错误 Skill?
第三步:输入是否足够
是否提供了必要材料?
是否缺少业务背景、用户场景、目标、约束或数据来源?
第四步:Skill说明是否清楚
description 是否具体?
Process 是否有步骤?
Output 是否有格式?
Boundary 是否明确?
第五步:输出是否符合标准
是否按格式输出?
是否引用证据?
是否区分事实、推测和建议?
是否标记不确定性?
第六步:是否需要人工判断
这个任务是否本来就不该由 Skill 给最终结论?
是否涉及高风险决策?
是否需要专家确认?
这个诊断法可以帮助产品经理把“AI 不好用”转化为可修复的问题。
案例:PRD检查Skill为什么没有发挥作用
案例背景
某团队创建了一个“PRD 完整性检查 Skill”。它的目标是检查 PRD 是否缺少目标用户、业务指标、用户场景、异常状态、验收标准和埋点方案。
一位产品经理上传了一份 PRD,并输入:
“帮我看看。”
AI 输出:
“这份文档整体比较清晰,建议进一步补充细节,使需求表达更完整。”
产品经理很失望,认为 Skill 没有效果。
黑盒诊断
第一,任务表达不清楚。
“帮我看看”没有说明要检查完整性、评审准备、语言润色,还是总结内容。
第二,可能没有触发正确 Skill。
如果系统依赖自动匹配,用户表达过于模糊,可能没有匹配到 PRD 检查 Skill。
第三,Skill description 可能不够好。
如果 description 写成“用于产品文档处理”,系统也很难判断具体任务。
第四,输出格式没有体现 Skill 要求。
真正的 PRD 检查 Skill 应输出检查表,而不是泛泛建议。
改进方式
用户可以显式调用:
“请使用 PRD 完整性检查 Skill,检查这份 PRD 是否缺少目标用户、业务指标、用户场景、异常状态、验收标准和埋点方案,并用表格输出。”
同时,Skill description 应改为:
“当用户提供 PRD 初稿、功能说明或需求文档,并希望检查是否缺少产品评审所需要素时,使用本 Skill。”
这样,触发概率和输出稳定性都会提高。
案例启示
案例:PRD检查Skill为什么没有发挥作用
案例背景
某产品经理使用“用户反馈需求提取 Skill”分析一组客服反馈。输入材料中只有三条反馈:
“会员页面看不懂。”
“权益太复杂。”
“我不知道升级后有什么用。”
AI 输出:
“用户主要痛点包括价格敏感、续费意愿低、权益感知弱、支付流程复杂和会员等级体系不清晰。”
其中“价格敏感”“续费意愿低”“支付流程复杂”并未出现在材料中。
黑盒诊断
第一,输入材料有限。
三条反馈只能支持“权益说明不清晰”相关结论。
第二,Skill 可能没有要求引用证据。
如果 Skill 输出不需要引用原话,AI 容易生成看似合理但没有依据的扩展结论。
第三,Boundary 不清楚。
Skill 没有规定“不得把没有证据支持的推测写成事实”。
改进方式
Skill 的 Process 应增加:
- 逐条引用用户原话;
- 每个痛点必须对应证据;
- 无证据推测必须放入“可能假设”字段;
- 不得把假设写成事实。
Output 应增加:
- 用户原话;
- 证据支持;
- 需求假设;
- 证据强度;
- 待验证问题。
案例启示
分析型 Skill 的关键不是“总结得多”,而是“证据链清楚”。产品经理应该优先评估 Skill 是否区分事实和推测。
Skill如何与人协作
Skill 的目标不是替代产品经理,而是改变产品经理的工作分工。
在 Skill 工作过程中,人类产品经理至少承担四个角色。
任务定义者
输入提供者
产品经理提供必要上下文、材料和约束。
AI 无法凭空知道公司战略、团队资源、用户真实访谈背景和内部优先级。
结果审查者
方法迭代者
- 哪些字段没用;
- 哪些步骤缺失;
- 哪些输出经常需要修改;
- 哪些边界需要加强;
- 哪些场景不该触发。
黑盒模型下的产品经理使用原则
为了更安全、稳定地使用 Skill,产品经理可以遵循以下原则。
原则一:先明确任务,再使用Skill
不要用 Skill 替代任务思考。
在使用 Skill 前,至少说清楚:
- 我要处理什么材料;
- 希望得到什么结果;
- 结果用于什么场景。
原则二:先小样本验证,再进入真实流程
原则三:让Skill输出证据,而不只是结论
尤其是分析型 Skill,必须要求引用输入材料。
没有证据的结论,不能进入产品决策。
原则四:让Skill标记不确定性
原则五:人负责最终判断
Skill 可以生成初稿、检查遗漏、提取结构、提出问题,但产品经理仍要负责产品判断和组织沟通。
小结
Skill 的工作过程可以用六步黑盒模型理解:
- 任务进入;
- 意图识别;
- Skill 匹配;
- Skill 加载;
- 任务执行;
- 结果输出。
Skill 不是模型训练,也不是简单插件。它更像按需加载的任务方法、说明书和资源包。它可以帮助 AI 更稳定地完成一类任务,但不能保证绝对正确。
Skill 工作是否成功,取决于用户表达、Skill description、输入材料、处理规则、输出格式、平台能力和人工审查。
产品经理在使用 Skill 时,不应只看最终输出,而要能沿着黑盒流程诊断问题:
- 是任务没说清?
- 是 Skill 没触发?
- 是触发错了?
- 是输入不足?
- 是规则不清?
- 是输出格式不对?
- 还是任务本身不该让 Skill 给结论?
理解这些问题,产品经理才能从“AI 使用者”升级为“AI 能力设计者”。
课后练习
练习一:画出Skill工作流程
练习二:诊断Skill失败原因
某产品经理输入:
“帮我看看这些用户反馈。”
AI 输出了一段笼统总结:
“用户对当前产品体验不够满意,希望功能更简单、价格更合理、服务更及时。”
请判断可能失败在哪些环节:
- 任务表达是否清楚?
- 是否触发了正确 Skill?
- 输入材料是否足够?
- Skill 是否要求引用证据?
- 输出格式是否可用?
练习三:改写用户输入以触发Skill
原始输入:
“帮我看看这份 PRD。”
请改写为更容易触发 PRD 检查 Skill 的输入。
练习四:分析Skill误触发
用户问:
“什么是用户故事?”
AI 却输出了一张用户故事表格,包含“作为……我想要……以便……”。
请分析为什么可能发生误触发。
AI 助教
提示:您可在此提出学习中遇到的问题。回答由 AI 生成,可能存在错误,请注意甄别。
