织弦三源能力治理:让 AI 生成应用有清晰的运行边界 · 织弦技术文档
用课堂计时器与口语应用解释最小权限,深入理解声明、作品结构和实际行为怎样相互核对,以及授权怎样被执行和收回。
当一个想法可以很快变成应用
教师描述“帮我做一个课堂倒计时”,AI 就能给出带有按钮、颜色和提示音的页面。这种创作方式降低了软件制作的门槛,也让学校有机会为自己的教学任务设计更贴合的工具。
与此同时,一个看起来简单的页面,可能具有远超表面需要的能力。倒计时需要计算时间,却通常不需要读取身份;分数演示需要改变图形,却通常不需要向外部网站发送信息。安全设计需要把这些能力区分清楚。
织弦将这一问题组织为 三源能力治理框架:同时理解作者想做什么、作品准备做什么,以及运行时实际发生了什么,再据此确定合适的使用边界。
本文从学校能够理解的场景展开这套架构。它关注的是可解释的授权、可执行的限制,以及问题出现后的处置方式。
从“这个应用安全吗”,走向更具体的问题
“安全”是一个过于宽泛的问题。更有用的判断通常是:它能读取哪些信息?能调用哪些付费服务?可以连接哪里?能否改变页面或请求设备权限?这些行为是否与教学任务有关?
织弦把这些可以被允许或限制的行为称为“能力”。能力清楚,授权才可能具体。一个需要 AI 文本问答的应用,不应因为获得了“AI 权限”,就顺带拥有视频生成、身份读取和消息发送能力。
| 能力类别 | 学校容易遇到的例子 | 需要考虑的边界 |
|---|
| 平台服务 | AI 问答、生成媒体、发送通知 | 是否必要,额度与使用对象是什么 |
| 数据访问 | 读取名单、保存练习记录 | 能访问谁的数据,用于什么目的 |
| 外部连接 | 获取公开资料、发送请求 | 可以连接哪些来源,是否有信息外传 |
| 页面与文件 | 下载作品、打开链接 | 是否符合用户预期,是否可能误导跳转 |
| 设备能力 | 录音、摄像头、剪贴板 | 是否与任务相关,是否经过适当授权 |
这种划分让教师和管理者能够理解“允许什么”。技术系统则需要进一步把这些决定落实到运行环境中。
三源证据:让意图、结构与行为彼此核对
三源能力治理中的“三源”,分别是声明、静态证据和运行观测。它们提供不同视角,任何一个都无法单独回答全部问题。
声明:任务允许做到哪里
声明描述作品的预期用途和所需能力。教师制作课堂倒计时,预期可能包括计时、声音提醒和全屏展示;若要向班级发送消息,则应另外说明这一用途,并受到角色与学校政策约束。
自然语言能够帮助理解意图,但“模型推测用户可能需要”不能自动变成授权。明确的任务范围,是后续判断的上限。
静态证据:作品中安排了哪些行为
静态检查相当于在正式运行前阅读作品结构,识别它准备调用哪些服务、加载哪些资源、连接哪些地址。它可以发现很多与需求不一致的能力,也有助于把问题指回具体位置。
但程序可能在点击某个按钮后才组合出新的行为。因此,静态证据提供的是重要线索,不能被解释为对所有运行路径的穷尽证明。
运行观测:真实操作时发生了什么
运行观测通过受控环境中的操作,观察作品实际发出了哪些请求、调用了哪些能力。它尤其适合发现只在特定交互顺序下出现的问题。
例如,倒计时首次打开时一切正常,但点击重置后出现了不必要的外部请求。这样的行为,需要通过实际操作补充证据。观测同时要说明覆盖了哪些动作,因为没有触发的分支仍可能需要进一步检查。
一个简单关系,解释最小权限的核心
在技术讨论中,我们用 D 表示声明范围,用 S 表示静态证据,用 R 表示运行证据。候选允许能力可以用一个简洁关系表达:
A = D ∩ (S ∪ R)
不熟悉集合符号也没有关系。这句话的意思是:一项能力既要处于允许的任务范围中,也要有合理的使用依据,才进入候选授权。 随后还要受使用者角色、学校政策和本次会话条件限制。
它带来的变化,是把权限从“先全部打开”改为“围绕实际需要逐项确定”。它同时让差异变得可解释:作品提出了任务之外的请求,属于需要处理的偏差;作品申请了许多暂时没有用途的能力,则应减少预先授权。
这是一种约束设计,不能仅凭公式就证明系统安全。真正的保护还取决于检查质量、执行边界和后续治理。
三源之间的差异,怎样帮助审核
假如一个应用声明需要查询天气,作品中确实安排了天气查询,运行时也只访问批准的数据来源,这三种证据就相互支持。
如果作品声明只是分数演示,运行时却尝试读取用户信息,那么差异就直接指向一个需要解释的问题:这项能力与学习目标有什么关系?如果无法说明,应限制相关行为或要求作者修改。
织弦的治理思路不是把所有差异都归为恶意。它们可能来自需求表达不清、生成器引入多余功能,也可能来自真正的越权行为。审核需要保留原因,才能选择合适的动作。
| 发现的差异 | 通俗解释 | 适合的处理方向 |
|---|
| 作品能力超出声明 | 做了没有要求它做的事 | 限制相关能力,要求说明或修改 |
| 运行行为超出预期 | 实际操作触发了额外行为 | 阻止调用,保留触发过程 |
| 运行发现静态未识别的行为 | 某条动态路径被遗漏 | 扩充检查与操作样例 |
| 申请能力缺少实际用途 | 提前拿了过多权限 | 延后授权,缩小开放范围 |
让限制真正生效,需要多层边界
一份安全报告能够解释问题,但阻止行为需要运行环境配合。织弦的能力治理架构把限制分布在几个彼此补充的位置。
隔离页面限制作品直接接触宿主工作空间;平台服务入口再次检查身份、方法与额度;网络策略控制允许连接的来源;设备能力按具体任务开放。这样,即使某一层遗漏了问题,其他层仍有机会阻止越界行为。
对教学资源而言,很多交互可以在资源内部完成。拖动分数、切换交通信号、观察图形变化,都不必默认获得学生身份或平台服务。通用应用则可能需要更多能力,因此需要更细的授权说明。
这让专业体验与权限控制相互支持:资源能够保持轻量、直接的操作方式,需要平台协作的应用则通过明确入口获得相应能力。
审核结果必须对应同一份作品
学校批准的是某个版本。如果作者后来替换了内容,原来的审核结果就不应被不加区分地沿用。
可以把版本绑定理解为给作品配上一张可核对的“指纹”。内容、能力范围和审核依据相互关联,运行入口确认使用的仍是对应版本。只要作品发生影响行为的变化,就需要重新检查相关边界。
这种完整性设计解决“审的是一份,运行的是另一份”的问题。它与内容是否适龄、概念是否正确属于不同层面的检查,需要共同纳入发布流程。
撤销能力,是持续治理的一部分
作品进入市场后,仍可能因为外部来源变化、规则调整或新的使用场景而暴露问题。因此,授权需要考虑如何收回。
撤销可以有不同范围:停止市场分发,拒绝新的使用会话,阻止正在进行的服务调用,或终止已加载的页面。它们影响的对象不同,生效条件也不同,需要在设计中明确区分。
发现问题后,系统还应保留足以帮助修复的最小证据:哪一版作品,在什么操作下,触发了什么不允许的行为。这样,作者可以有针对性地修改,再进入验证。审计记录应围绕解释与处置服务,避免无必要地保留完整学生输入。
两个课堂工具,怎样得到不同的边界
以课堂计时器为例,核心任务是计时和提示。它可以在本地完成大部分工作,授权应保持简单。如果生成结果加入了与任务无关的外部信息发送,就需要限制或移除。
再看一个帮助学生练习口语的应用。它可能确实需要录音与 AI 反馈,但这不意味着可以访问任意文件、读取其他班级名单或无限制使用媒体服务。权限需要围绕这一次口语任务展开,并结合使用者身份与学校政策确认。
相同的技术能力,在不同任务中具有不同的合理性。织弦三源能力治理要建立的,就是这种能够解释理由、限制范围并持续核查的工作方式。
参考与延伸阅读