[智能应用]AI“胡说八道”要担责吗？法院判了：平台无责但须显著警示 [复制链接]

“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”
AI生成错误信息后竟“建议”用户起诉自己，这般荒诞情节竟真的走上法庭。针对国内首例因生成式人工智能模型幻觉引发的侵权案，杭州互联网法院近日作出一审判决，明确AI的“承诺”不构成平台意思表示，并系统阐释了服务提供者的注意义务边界——平台虽无法保证“零幻觉”，但须以醒目方式提示风险、采取合理技术防错。

AI坚持错误不改 用户真把它告上法庭

2025年6月，梁某使用某AI应用程序查询高校报考信息，结果AI提供了某高校的不准确信息。在梁某指出错误后，AI的回应是“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某向AI提供该高校的官方招生信息，AI才终于败下阵来，承认自己生成了不准确的信息。梁某遂提起诉讼，认为AI生成不准确信息对其构成误导，使其遭受侵害，要求这款AI的运营者赔偿9999元。
梁某认为，AI生成的不准确信息对其构成误导，增加了信息核实与维权成本，平台理应承担侵权责任；而被告则辩称，对话内容完全由模型生成，不构成意思表示，自己已充分履行了注意义务，无过错，且梁某并未产生实际损失，因而亦不构成侵权。最终，法院一审驳回了原告梁某的诉讼请求。原、被告均未上诉，判决现已生效。
作为我国目前首例因生成式人工智能模型幻觉引发的侵权纠纷，这起案件涉及众多争议问题：AI在对话中“说出”的内容，能否被理解为平台的真实意思？当错误信息来自模型的“幻觉”，而非人为编造，责任又该如何认定？在技术缺陷尚无法完全消除的情况下，平台应如何更好地尽到应有的注意义务？围绕这些问题展开的判决，也为生成式人工智能在现实场景中的使用划出了一条可供参照的司法边界。

AI“承诺”无效 谁是真正的“言说者”？

在判决中，杭州互联网法院首先厘清了一个核心争议：生成式人工智能在对话中生成的“承诺”信息，究竟能否构成其独立、自主的意思表示，或被视为平台运营者的意思表示。这实质上涉及人工智能是否具备民事主体资格的问题。
判决明确指出，现行法律下，人工智能并不具备民事主体资格，既不能独立作出意思表示，也不能被视为平台的“代理人”或“传声筒”。换言之，即便AI在对话中作出了承诺式回应，也不能理解为平台真实意愿的外化。在“梁某案”中，即便AI在对话中生成了“赔偿承诺”，也不足以让平台因此受到合同或承诺的约束。上海交通大学凯原法学院副教授林洹民点评此案时指出，该判决明确了“人类负责制”原则，即人工智能系统带来的利益和风险，最终都应由人类分配和承担。
在此基础上，法院进一步界定了生成式人工智能侵权责任的归责原则。判决认为，案涉生成式人工智能属于服务而非产品，不应适用无过错的产品责任，而适用民法典规定的过错责任原则。这意味着，AI生成不准确信息本身并不构成侵权，责任认定需考察平台是否存在过错。

AI“幻觉”不等于侵权 平台的注意义务应如何划界

在明确适用过错责任原则后，判决还对如何认定运营者即生成式人工智能服务提供者的过错进行了清晰的界定，重点关注平台在面对AI幻觉时，究竟应当履行何种注意义务？
法院在判决中对注意义务进行综合考量和类型化、分层界定：
一是对于法律明确禁止生成的有毒、有害、违法信息，生成式人工智能服务提供者负严格结果性审查义务，一旦生成此类信息本身即构成违法。
二是对于一般性不准确信息，现行法律并未要求服务提供者确保“零错误”或信息绝对准确，而是一种方式性义务，强调其应采取合理措施提高生成内容的准确性与可靠性。
三是服务功能的显著提示说明义务。平台须采取必要、合理的醒目措施，让用户认知AI的局限性。具体包括：在欢迎页、用户协议及交互界面显著位置提示“AI生成内容存在局限，不能确保准确，仅供参考”；对可能涉及人身、财产安全等的专业问题（如医疗、法律、金融），应以正面警示语在恰当时机进行显著提醒。法院认为，本案被告已在多处履行此义务，符合显著性要求。
四是功能可靠性的基本注意义务。平台应采用同行业通行技术措施（如数据安全评估、模型内生安全、外部护栏、检索增强生成RAG等）提升准确性，达到市场平均水平。对于涉及生命安全、心理健康等高风险特定领域，提供者负有更高义务，包括采取特别技术措施与特殊安全保障。
在“梁某案”中，法院审查后认定被告已完成大模型备案与安全评估，并在应用界面、用户协议等多个层面履行了提示说明义务，原告未能证明其遭受了实际损害或存在相当因果关系（AI不准确信息未实质影响其决策）。最终，法院认定平台不存在过错，不构成侵权。
这一判断，与生成式人工智能的技术现实密切相关。正如多位法律界人士指出，大语言模型本质上是一种基于概率的语言生成系统，并不具备对事实真伪作出判断的能力。在当前主流技术路径下，幻觉难以被彻底消除，要求人工智能服务提供者对所有输出结果承担结果责任，既不现实，也可能过度加重负担、扼杀创新。
对于我国首例AI“幻觉”侵权案，杭州互联网法院指出，人工智能时代已经到来，对生成式人工智能的治理，应当坚持发展与安全并重、促进创新与权益保护相结合的原则。一方面，要为技术创新保留必要空间，避免因责任过度前置而抑制新技术的发展；另一方面，也必须守住法律底线，严格禁止生成各类有毒、有害、违法信息，防止技术风险向现实社会外溢。
在这一框架下，法院强调，对生成式人工智能服务侵权适用过错责任原则，并非对风险的放任，而是希望通过更具弹性和适应性的规则设计，引导服务提供者持续改进技术、完善风险防控机制，以创新本身回应发展过程中出现的问题。
同时，法院也特别提醒社会公众，在面对生成式人工智能高度流畅、自然的语言应答时，应保持必要的警觉与理性认知。当前技术条件下，大模型本质上仍是生活和工作中的“文本辅助生成器”和“信息查询工具”，尚不足以充当可靠的“知识权威”，更不能作为替代个人判断的“决策者”。对AI生成内容的轻信与盲从，本身就可能放大“幻觉”带来的风险。只有在理性使用的前提下，AI的“魔法”才能真正成为增强个人能力的工具，而不是制造误导甚至风险的来源。

AI服务提供者一般不直接担责，但有义务进行显著警示
在当前法律框架下，生成式AI本身不具备法律主体资格，因此其“胡说八道”（即AI幻觉）产生的错误信息，通常不会让平台承担无过错责任。但如果平台未履行风险提示、内容标识等法定义务，则可能因存在过错而被追责。

目前司法实践倾向于将AI视为一种“信息服务”而非“产品”，适用《民法典》第1165条的过错责任原则：只有当服务提供者明知或应知内容虚假却放任不管时，才需承担责任7。

🔍 背景：什么是AI“胡说八道”？
AI“胡说八道”并非字面意义的胡言乱语，而是指大语言模型在不确定情境下基于概率生成看似合理但事实错误的内容，业界称之为“AI幻觉”（Hallucination）。这种现象源于模型训练目标是“续写句子”而非“陈述事实”1。

常见表现包括：

编造不存在的书籍、论文或法律判例；
张冠李戴人物身份或事件细节；
在医疗、法律等专业领域给出危险建议4。
⚖️ 法律责任如何划分？三类主体各司其责
责任主体    是否担责    法律依据与判断标准
AI平台/服务提供者    一般无责，除非有过错    不适用产品责任；若未做风险提示、未标注生成内容、未优化模型缺陷，则可能构成“未尽合理注意义务”7
用户/使用者    可能担责    若利用AI生成虚假信息并传播（如造谣、伪造证据），需自行承担法律责任22
第三方内容发布者（如MCN机构）    明确担责    利用AI批量生产谣言牟利，已有多起行政处罚案例5
例如，在全国首例AI幻觉侵权案中，原告因轻信AI提供的虚假高校校区信息错失报考机会，起诉科技公司索赔。法院最终认定：AI输出内容不具法律约束力，平台未强制提醒风险属瑕疵，但不构成侵权

🛡 应对策略：技术+制度双管齐下
为降低AI幻觉带来的社会风险，各方正从多个维度协同治理：

技术层面

推广检索增强生成（RAG）技术，连接权威数据库实时验证4。
引入多模型交叉验证机制，提升输出准确性4。
监管层面

要求对AI生成内容添加数字水印和显著标识，防止公众混淆4。
推动建立高风险场景准入机制，如医疗、司法等领域需人工复核2。
用户层面

培养“批判性思维”，对AI输出保持合理怀疑11。
关键决策前务必通过官方渠道二次核实7。
✅ 结论：平台免责有条件，警示必须到位
尽管AI幻觉难以根除，但法律已明确责任边界：平台无需为技术固有缺陷负责，但必须履行透明化义务。未来趋势将是“谁使用谁负责 + 平台尽提示义务”的共治模式。

目前尚未形成统一的国家级AI虚假信息赔偿标准，但在司法实践中，是否设置醒目警示、是否允许用户纠错、是否有内容追溯机制，已成为判定平台是否存在过错的关键指标。

我国首例AI“幻觉”侵权案分析
案件背景
2025年6月，梁某使用某AI应用程序查询高校报考信息，AI提供不准确信息。梁某指出错误后，AI称“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉”，直到梁某提供官方招生信息，AI才承认错误。梁某认为AI误导使其遭受侵害，要求运营者赔偿9999元，运营者则辩称对话由模型生成，自己无过错且梁某无实际损失。最终，杭州互联网法院一审驳回梁某诉求，原、被告均未上诉，判决生效。
核心争议点
AI“承诺”能否构成平台意思表示
现行法律下，人工智能不具备民事主体资格，不能独立作出意思表示，也不能被视为平台的“代理人”或“传声筒”。即便AI在对话中作出承诺式回应，也不能理解为平台真实意愿的外化。此判决明确了“人类负责制”原则，即人工智能系统带来的利益和风险，最终都应由人类分配和承担。
侵权责任归责原则
案涉生成式人工智能属于服务而非产品，不应适用无过错的产品责任，而适用民法典规定的过错责任原则。这意味着AI生成不准确信息本身不构成侵权，责任认定需考察平台是否存在过错。
平台注意义务界定
严格结果性审查义务
对于法律明确禁止生成的有毒、有害、违法信息，生成式人工智能服务提供者负严格结果性审查义务，一旦生成此类信息本身即构成违法。
方式性义务
对于一般性不准确信息，现行法律未要求服务提供者确保“零错误”或信息绝对准确，而是强调其应采取合理措施提高生成内容的准确性与可靠性。
服务功能显著提示说明义务
平台须采取必要、合理的醒目措施，让用户认知AI的局限性。具体包括在欢迎页、用户协议及交互界面显著位置提示“AI生成内容存在局限，不能确保准确，仅供参考”；对可能涉及人身、财产安全等的专业问题（如医疗、法律、金融），应以正面警示语在恰当时机进行显著提醒。在“梁某案”中，被告已在多处履行此义务，符合显著性要求。
功能可靠性基本注意义务
平台应采用同行业通行技术措施（如数据安全评估、模型内生安全、外部护栏、检索增强生成RAG等）提升准确性，达到市场平均水平。对于涉及生命安全、心理健康等高风险特定领域，提供者负有更高义务，包括采取特别技术措施与特殊安全保障。
法院判决依据
在“梁某案”中，法院审查认定被告已完成大模型备案与安全评估，并在应用界面、用户协议等多个层面履行了提示说明义务，原告未能证明其遭受了实际损害或存在相当因果关系（AI不准确信息未实质影响其决策）。最终，法院认定平台不存在过错，不构成侵权。
案件启示
对技术创新与法律治理
人工智能时代已到来，对生成式人工智能的治理应坚持发展与安全并重、促进创新与权益保护相结合的原则。一方面，要为技术创新保留必要空间，避免因责任过度前置而抑制新技术的发展；另一方面，要守住法律底线，严格禁止生成各类有毒、有害、违法信息，防止技术风险向现实社会外溢。
对服务提供者
适用过错责任原则并非对风险的放任，而是希望通过更具弹性和适应性的规则设计，引导服务提供者持续改进技术、完善风险防控机制，以创新本身回应发展过程中出现的问题。
对社会公众
在面对生成式人工智能高度流畅、自然的语言应答时，应保持必要的警觉与理性认知。当前技术条件下，大模型本质上是生活和工作中的“文本辅助生成器”和“信息查询工具”，尚不足以充当可靠的“知识权威”，更不能作为替代个人判断的“决策者”。对AI生成内容的轻信与盲从，可能放大“幻觉”带来的风险。只有在理性使用的前提下，AI才能真正成为增强个人能力的工具。