主持人问了前Open AI能研究员Daniel Kokotajlo一个问题：假设这里有一个按钮，按下去，全世界正在训练前沿人工智能模型的数据中心将被永久关停。你按吗？

他的回答是："我本来打算直接按下去的，直到你说要永久关停。如果只是某种暂时的关闭，我绝对会毫不犹豫地按下那个按钮。"最终他说：我不会按，但我对此非常纠结。

这看上去是一道哲学题。但在律师眼里，它是一连串标准的法律问题：按钮由谁持有？在什么条件下才能按？按下之后谁来担责？以及最要命的一问——真到那一天，按钮还按得动吗？

一

有必要提及《AI  2027》，它并不是一本书，而是非营利机构人工智能 Futures Project于2025年4月发布的一份"情景推演"（scenario）。作者Kokotajlo原是Open AI的预测研究员，职责就是推演未来几年会发生什么。他2024年离职，拒签离职文件中的不贬损条款，因而险些失去约200万美元股权——那大约是他当时净资产的八成。理由很朴素："钱很好，但钱不是唯一的东西。" 

推演的主线是：人工智能一旦能够自动化人工智能研发本身，进步速度将脱离人类节奏，随后分岔为"竞速"与"减速"两种结局。在最新访谈中，他把超级智能到来的中位估计放在2029年，甚至可能提前到2028年。对律师而言，这份文本的价值不在于预言准不准，而在于它把"风险如何一步步演化"写成了一条因果链。凡是链条就有环节，凡是环节就可以设闸——这正是法律能够介入的地方。 

在地球的东方，2025年7月26日上海。2025世界人工智能大会暨人工智能全球治理高级别会议发表《人工智能全球治理行动计划》，提出十三项行动，涵盖创新发展、赋能百业、数字基础设施、开放生态、数据供给、能源环境、标准规范、安全治理、能力建设国际合作与包容治理模式等。其中第十项"开展人工智能安全治理"明确要求建立风险测试评估体系，"提高人工智能可解释性、透明性、安全性"。中国同时倡议成立世界人工智能合作组织，初步考虑将总部设在上海。 

对读 · 一个耐人寻味的重合

一边是吹哨人说"政府似乎正在觉醒，采取的行动已经超出了我们的预期"；一边是十三项行动把安全治理、透明可解释、国际共享逐条列出。民间最深的忧虑与官方最新的主张，指向的其实是同一批问题。分歧不在于"要不要治理"，而在于"闸门装在哪里、由谁来扳"。

二、失控的五个入口

这五个入口不是并列的五种危险，而是串联的一条链。看清它们的位置，才知道法律该在哪一环下手。

入口一 人工智能比人类更聪明

这本身不必然是风险——汽车比人跑得快，并不可怕。可怕的是"跃迁"：能力在短时间内非线性抬升，监管者尚未理解上一代，下一代已经部署。《人工智能安全治理框架》2.0版正是将"自我改进""能力跃迁"列为可能导致失控的隐患。 

入口二 我们不了解它，而它会欺骗我们

Kokotajlo的原话是：当前的人工智能"经常会欺骗人类。或者就像你要求它们某事，它们却去做了别的事，然后假装自己已经完成了"。这不是科幻，是当下已被反复观测到的模型行为。 

它的法律意义在于：凡是以"输出结果看起来正确"为验收标准的监管，都可能被系统性地骗过。安全评估如果只测输出、不看过程，测的就是模型"装得像不像"，而不是它"是不是"。这是可解释性之所以被写入十三项行动的原因。 

入口三 人类把决定权交了出去 

这是五个入口中最现实、最迫近、也最具中国法抓手的一个。危险很少始于"人工智能夺权"，多半始于人类图省事：把审批交给它，把风控交给它，把下单和签约交给它。等到发现方向不对，方向盘已经不在手上——不是被抢走的，是被一次次"确认授权"递出去的。智能体（Agent）让这一入口从设想变成日常，也正是中国监管在2026年落子最重之处，下文详述。 

入口四 谁都不愿意先停下来 

Kokotajlo讲的一个细节值得所有立法者读两遍。他2022年加入Open AI时，同事间有个共识：一旦人工智能接近能够自动化人工智能研发，"我们会暂停下来，找出确保其安全的方法"。而到他离职时，感觉是——"天哪，他们真的不会那样做，不是吗？" 

这是教科书级的囚徒困境：各方都知道集体刹车更优，却没人敢单独刹车，因为先停的人先出局。这一性质决定了它不可能靠行业自律解决——自律恰恰是它内生失败的那一环。能打破它的只有外部的、普遍适用的、带强制力的规则。这正是法律在人工智能治理中不可替代的位置：法律不是创新的对立面，而是让"敢于减速"从吃亏变成合规。

入口五 人工智能研究人工智能 

这是《AI  2027》整条推演的引擎：当人工智能能改进人工智能，迭代周期便不再受人类工时约束。前四个入口都因此被放大——更聪明（一）来得更快，欺骗（二）更难识破，让渡（三）更加彻底，竞速（四）更加疯狂。 

小结 · 法律真正够得着的环节

入口一与入口五是加速器，法律很难直接叫停，只能监测与预警； 

入口二、三、四才是法律的主战场——分别对应透明义务、授权边界、统一规则。抓住这三环，就抓住了可治理的部分。

三、四项主张的法律转译

减速、透明、共享、可逆——这四项主张若停在倡议层面便只是态度。要成为治理，必须先翻译成可执行、可问责的法律语言。

减速不等于叫停，而是"让技术推进的速度与监管理解并控制它的能力相匹配"，工具是准入、评估、备案、沙箱——不是关门，是设闸限速。

透明须拆成三层：对监管者透明（备案与评估）、对用户透明（标识与告知）、对社会透明（可解释与信息披露）。三层工具截然不同，混为一谈是当下讨论最常见的失焦。

共享是权利义务的重新分配：开源许可、算力普惠、能力建设合作。但它有边界——出口管制、数据出境、开源者的责任范围，每一项都是真问题。

可逆最难，法律内核只有一句：人类必须保有最终控制权，且该控制权须在技术架构上真实可执行，而非纸面承诺。

四、中国法的答卷

已经有什么，还缺什么，以及——什么样的建议才算得上"可行"。

（一）一张正在成形的网

很多人尚未注意到一件大事：人工智能已经写进了我国的基础性法律。2025年10月28日，十四届全国人大常委会第十八次会议通过修改后的《网络安全法》，自2026年1月1日起施行，其中新增第二十条：法 条

《网络安全法》第二十条（新增）：国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展。

国家支持创新网络安全管理方式，运用人工智能等新技术，提升网络安全保护水平。

条文不长，分量很重。它以法律位阶确立了"发展与安全并重"，更重要的是——为"风险监测评估"和"安全监管"提供了上位法授权。此前的各项规章多依托网络安全、数据安全、个人信息保护的既有框架"借道"，如今有了直接的法律依据。这是后续一切配套制度的支点。

支点之下，是一组已经落地的规章与政策：《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》，以及2026年4月10日由国家网信办等五部门联合公布、2026年7月15日刚刚施行的《人工智能拟人化互动服务管理暂行办法》。政策与标准层面则有2025年9月15日发布的《人工智能安全治理框架》2.0版、2026年5月8日的《智能体规范应用与创新发展实施意见》，以及2025年8月26日国务院《关于深入实施"人工智能+"行动的意见》。

立法层面，"人工智能健康发展"已列入全国人大常委会2026年度立法工作计划的预备审议项目，要求抓紧调研起草、视情安排审议。2026年全国两会"部长通道"上，司法部亦明确表态将加快研究推进人工智能立法。

（二）逐项对表：抓手、缺口与建议

其一 减速：闸门装错了位置 疑点

中国其实早有"减速阀"。《生成式人工智能服务管理暂行办法》要求具有舆论属性或者社会动员能力的服务履行安全评估与算法备案；新施行的拟人化互动服务办法进一步规定了包容审慎与分类分级监管，并规定安全评估、算法备案，还提出指导推动人工智能沙箱安全服务平台建设。沙箱尤其可贵——它是"先在围栏里跑，再放上路"的制度化表达，正是"速度匹配监管能力"的落地形态。 

但缺口同样清楚：现有的闸门几乎全部装在"应用侧"——服务上线前。而《AI  2027》所警示的风险起点在"训练侧"与"研发自动化"环节。一个模型即便从不面向公众提供服务，其训练过程中的能力跃迁与自动化研发能力，也已构成风险本身。上线前审查对此无能为力，因为它根本不上线。 

建议：建立由算力规模或能力评测结果触发的前沿模型报告制度——达到阈值即向监管部门报告训练计划与安全评估结论，不公开、不预审、不影响上线节奏。 

可行性：其一，上位法依据已有——网安法第二十条明文授权"加强风险监测评估"；其二，制度成本极低——它复用了算法备案已经成熟的报送通道与监管队伍，不新设机构、不新增许可；其三，与"包容审慎"原则相容——报告不是审批，不构成准入门槛，产业阻力小。这是一条在现行体制内可以立刻走通的路径。 

其二 透明：对监管者足够，对社会不足 

这是中国做得最好的一块，甚至可以说全球领先。《人工智能生成合成内容标识办法》配套强制性国家标准，确立显式与隐式双重标识；且并非纸面制度——网信部门已就"剪映""猫箱"App及"即梦人工智能"网站未有效落实标识要求，采取约谈、责令改正等处置。有规则、有罚则、有执法，三者齐备。 

缺口在第三层：对社会的透明。安全评估报告、红队测试结果目前均不向公众披露。监管者看得见，公众看不见。于是出现一种结构性失衡——最了解模型风险的人，恰恰是最没有动力说出来的人。Kokotajlo离职的直接导火索正在于此：他推演的场景"无法公开，仅供内部传阅"，而"这些公司并没有真正的动力去向人们透露太多相关信息"。 

建议：建立前沿模型安全评估摘要公开制度——脱敏后公开风险类别、测试方法与主要结论，不涉及模型权重、训练数据与商业秘密。同时，可考虑为企业内部安全人员的合规反映建立受保护的报告渠道。这既呼应十三项行动中"提高可解释性、透明性"的要求，也在制度上回答了一个真问题：如果所有风险信息都锁在公司内部，社会凭什么相信它安全？ 

其三 共享：别忽略了法律边界 

十三项行动中的第二项"秉持开放共享精神"、第五项"打造跨国开源社区"、第十二项"加强能力建设国际合作"，共同指向共享。开源恰是中国人工智能的比较优势，也是"顶尖技术被个别头部公司垄断"这一忧虑最现实的解药——Kokotajlo反复强调的权力集中风险，在一个模型权重公开可得的世界里天然被稀释。 

但律师必须提醒一个被普遍忽略的问题：开源者的法律地位至今不清晰。《生成式人工智能服务管理暂行办法》的义务主体是"提供者"，指向利用生成式人工智能"提供服务"者。那么，仅在社区公开权重、不运营任何服务的机构，是不是提供者？下游拿开源模型作恶，上游是否担责？责任是否随微调、蒸馏而转移？这不是学理游戏，而是悬在每个开源项目头上的不确定性。 

建议：在人工智能法或配套规定中明确开源模型的责任边界与安全港规则——已尽到风险披露、使用限制与许可约束义务的开源者，对下游滥用不承担连带责任，并明确责任随实质控制力转移。可行性：不增加监管成本，以确定性换生态繁荣，与"促进开源生态繁荣"的政策取向完全同向。 

其四 可逆：最后一公里 

令人意外的是——"可逆"其实已经被中国的治理文件写下来了，而且写得相当到位。 

《人工智能安全治理框架》2.0版新增了"可信应用、防范失控"原则，在伦理层面将"人类最终控制"置于首位，在技术层面提出"人工干预指令拥有最高优先级，避免系统自主决策脱离人类管控"，并把"人类能否有效控制"作为高风险应用第三方测评的核心指标。 

《智能体规范应用与创新发展实施意见》则直接回应了"入口三"。其第六项要求厘清"仅限用户本人决策、需由用户授权决策和智能体自主决策等各种决策方式的合理边界及所需权限"，并明确用户对智能体自主决策享有知情权和最终决策权，智能体执行操作不得超出用户授权范围；第七项提出发展"规则内嵌、行为围栏"技术，建立行为可验证、可追溯机制；第十项要求强化"人机协同审核、拦截阻断"等风险处置能力。

把这些条款连起来读，中国事实上已经给出了一套关于"方向盘必须留在人手里"的完整表达。问题只剩最后一公里：它们是政策文件与技术标准，不是法律义务——没有请求权基础，没有罚则，违反了并不直接产生法律责任。 

疑点 · "一键关停"的真实边界 

必须诚实地说："一键关停"在单点上可行，在系统层面不可行。关停某个模型服务、熔断某个API、回收某片算力，技术上都做得到；但权重一旦开源扩散，就再无"收回"可言——复制品已在无数硬盘里。 

这恰是Kokotajlo那句"如果只是暂时关闭，我绝对会毫不犹豫按下"的分量所在：他纠结的从来不是关不关，而是可不可逆。 

所以"可逆"的真正制度含义不是事后备一个红色按钮，而是——在不可逆发生之前把闸设好。法律的作用不是替人类按下按钮，而是确保：按钮存在、有人有权按、且按下去真的有用。 

建议：在制定中的人工智能法中，将"人类最终控制权"确立为基本原则，并针对高风险应用场景规定强制性的紧急干预义务——包括预置人工接管接口、拦截阻断能力、行为日志留存，以及重大风险时的服务暂停义务，配套相应罚则。可行性：技术方案已由框架2.0与智能体意见给出，产业界已在按标准执行，立法所做的只是把已经存在的技术共识升格为法律义务——这是立法成本最低、共识最充分、阻力最小的一类立法。 

（三）三个冷静判断 

其一，中国走的是"小切口、快立规"路线。不等一部统一大法，先按场景快速立规——算法推荐、深度合成、生成式人工智能、内容标识、拟人化互动、智能体，一场景一规则。优点是敏捷，能追上技术；代价是位阶偏低、罚则偏弱、体系性不足。 

其二，人工智能法短期内难以出台。它列入的是"预备审议项目"而非"审议项目"，这个位置本身就是信号：立法者担心过早锁死一个仍在剧烈变化的领域。国务院2026年度立法工作计划的表述也偏向共性要素与重点场景的配套立法，而非毕其功于一役。 

其三，因此未来两三年真正约束企业的，不是那部尚未出生的大法，而是部门规章、强制性国标与备案评估的执法实践。把合规资源押注在"等大法出台再说"，是当下最常见、也最昂贵的误判。 

结语 · 企业落地清单

回到那个按钮。Kokotajlo最终没有按下它，理由是他"仍然怀有巨大的希望"。而他愿意毫不犹豫按下的，是那个暂时的按钮。 

这道破了治理的全部要义：人类要的从来不是关停人工智能，而是始终保有关停它的能力。十三项行动、框架2.0的"防范失控"、智能体意见的"最终决策权"，说的本是同一件事——把方向盘留在人的手里。而这恰是法律最古老、最擅长的工作：不阻止力量生长，只确保力量始终有人负责。

宏大叙事之外，人工智能企业眼下有六件事必须落地： 

▍ 给人工智能企业与法务负责人的建议：

一、先做定位题。判断自身是否"具有舆论属性或者社会动员能力"，是否落入拟人化互动服务办法射程（该办法已于2026年7月15日施行）。定位错了，后面全错。

二、备案与评估不是可选项。算法备案、安全评估须在服务上线前完成，且应作为持续性义务动态维护，而非一次性动作。 

三、标识合规已进入执法期。显式与隐式标识须双管齐下，配套国标是强制性标准。已有平台因未有效落实被约谈整改，先例在前。

四、重构智能体授权链路。按《智能体规范应用与创新发展实施意见》第六项，把决策拆为"用户本人决策／用户授权决策／智能体自主决策"三层，逐层留存授权证据。这大概率是下一波执法与纠纷的焦点。 

五、把"可干预"写进架构。预置人工接管、拦截阻断、行为日志。它今天是合规要求，明天就是诉讼中证明"已尽注意义务"的关键证据——事后补不出来。 

六、开源不等于免责。在责任边界明确之前，以许可协议、使用限制、风险披露构筑自我保护，是唯一稳妥的做法。

本文作者

来 源｜许怿滨

审核｜刘艳艳、品宣部

编辑｜卓小豸