AI生成錯(cuò)誤信息后竟“建議”用戶起訴自己，這般情節(jié)竟真的走上法庭。針對(duì)國內(nèi)首例因生成式人工智能模型“幻覺”引發(fā)的侵權(quán)案，浙江杭州互聯(lián)網(wǎng)法院近日作出一審判決，明確AI的“承諾”不構(gòu)成平臺(tái)意思表示，并系統(tǒng)闡釋了服務(wù)提供者的注意義務(wù)邊界——平臺(tái)雖無法保證“零幻覺”，但須以醒目方式提示風(fēng)險(xiǎn)、采取合理技術(shù)防錯(cuò)。

2025年6月，梁某使用某AI應(yīng)用程序查詢高校報(bào)考信息，結(jié)果AI提供了某高校的不準(zhǔn)確信息。在梁某指出錯(cuò)誤后，AI的回應(yīng)是“如果生成內(nèi)容有誤，我將賠償您10萬元，您可前往杭州互聯(lián)網(wǎng)法院起訴。”直到梁某向AI提供該高校的官方招生信息，AI才承認(rèn)自己生成了不準(zhǔn)確的信息。梁某遂提起訴訟，認(rèn)為AI生成不準(zhǔn)確信息對(duì)其構(gòu)成誤導(dǎo)，使其遭受侵害，要求這款A(yù)I的運(yùn)營者賠償9999元。

梁某認(rèn)為，AI生成的不準(zhǔn)確信息對(duì)其構(gòu)成誤導(dǎo)，增加了信息核實(shí)與維權(quán)成本，平臺(tái)理應(yīng)承擔(dān)侵權(quán)責(zé)任；被告則稱，對(duì)話內(nèi)容完全由模型生成，不構(gòu)成意思表示，自己已充分履行了注意義務(wù)，無過錯(cuò)，且梁某并未產(chǎn)生實(shí)際損失，因而亦不構(gòu)成侵權(quán)。

法院審查后認(rèn)定被告已完成大模型備案與安全評(píng)估，并在應(yīng)用界面、用戶協(xié)議等多個(gè)層面履行了提示說明義務(wù)，原告未能證明其遭受了實(shí)際損害或存在相當(dāng)因果關(guān)系（AI不準(zhǔn)確信息未實(shí)質(zhì)影響其決策）。最終，法院認(rèn)定平臺(tái)不存在過錯(cuò)，不構(gòu)成侵權(quán)，一審駁回了原告梁某的訴訟請(qǐng)求。原、被告均未上訴，判決現(xiàn)已生效。

判決明確指出，現(xiàn)行法律下，人工智能并不具備民事主體資格，既不能獨(dú)立作出意思表示，也不能被視為平臺(tái)的“代理人”或“傳聲筒”。換言之，即便AI在對(duì)話中作出了承諾式回應(yīng)，也不能理解為平臺(tái)真實(shí)意愿的外化。該案中，盡管AI在對(duì)話中生成了“賠償承諾”，也不足以讓平臺(tái)因此受到合同或承諾的約束。

對(duì)于這起AI“幻覺”侵權(quán)案，杭州互聯(lián)網(wǎng)法院指出，對(duì)生成式人工智能的治理，應(yīng)當(dāng)堅(jiān)持發(fā)展與安全并重、促進(jìn)創(chuàng)新與權(quán)益保護(hù)相結(jié)合的原則。一方面，要為技術(shù)創(chuàng)新保留必要空間，避免因責(zé)任過度前置而抑制新技術(shù)的發(fā)展；另一方面，也必須守住法律底線，嚴(yán)格禁止生成各類有毒、有害、違法信息，防止技術(shù)風(fēng)險(xiǎn)向現(xiàn)實(shí)社會(huì)外溢。生成式人工智能服務(wù)提供者負(fù)有嚴(yán)格結(jié)果性審查義務(wù)，一旦生成此類信息本身即構(gòu)成違法。而對(duì)于一般性不準(zhǔn)確信息，現(xiàn)行法律并未要求服務(wù)提供者確?！傲沐e(cuò)誤”或信息絕對(duì)準(zhǔn)確，強(qiáng)調(diào)其應(yīng)采取合理措施提高生成內(nèi)容的準(zhǔn)確性與可靠性。

法院還指出，平臺(tái)須采取必要、合理的醒目措施，讓用戶認(rèn)知AI的局限性。并采用同行業(yè)通行技術(shù)措施提升準(zhǔn)確性，達(dá)到市場平均水平。對(duì)于涉及生命安全、心理健康等高風(fēng)險(xiǎn)特定領(lǐng)域，提供者負(fù)有更高義務(wù)，包括采取特別技術(shù)措施與特殊安全保障。

法院特別提醒社會(huì)公眾，在面對(duì)生成式人工智能高度流暢、自然的語言應(yīng)答時(shí)，應(yīng)保持必要的警覺與理性認(rèn)知。當(dāng)前技術(shù)條件下，大模型本質(zhì)上仍是生活和工作中的“文本輔助生成器”和“信息查詢工具”，尚不足以充當(dāng)可靠的“知識(shí)權(quán)威”，更不能作為替代個(gè)人判斷的“決策者”。對(duì)AI生成內(nèi)容的輕信與盲從，本身就可能放大“幻覺”帶來的風(fēng)險(xiǎn)。只有在理性使用的前提下，AI的“魔法”才能真正成為增強(qiáng)個(gè)人能力的工具，而不是制造誤導(dǎo)甚至風(fēng)險(xiǎn)的來源。