首页大河网讯 近年来，随着生成式人工智能的快速发展，AI幻觉带来的风险正影响越来越多的人。全国首例AI幻觉侵权纠纷案正式宣判，标志着AI幻觉已从技术问题升级为法律和社会问题。
什么是AI幻觉？
清华大学新闻与传播学院新媒体研究中心与人工智能学院发布的《DeepSeek与AI幻觉》报告中，AI幻觉被定义为“模型生成与事实不符、逻辑断裂或脱离上下文的内容，本质上是统计概率驱动的‘合理猜测’”。
其实，AI生成本质上是从海量文本里学习词语、句子之间的统计关联，再根据上下文预测下一个最有可能出现的词。但最可能、最平滑的回答不一定是最正确的。出现问题的核心，就在于很多AI的工作原理是预测而非理解。
AI内容伪造为什么会发生？
省政协委员、河南科技大学信息工程学院（人工智能学院）院长张志勇在接受采访时表示，AI内容伪造成因是多方面的。
——造假门槛太低。当前互联网用户能够轻易地利用语言、文本、图像、音视频等多模态数据，完成生成式、跨模态、联合的信息内容深度伪造，并且成本非常低，代价非常小，效率非常高。
——漏洞隐患和数据污染。生成式大模型自身存在内生安全和漏洞隐患，包括对抗样本攻击、数据投毒与后门攻击、模型窃取、提示注入攻击。
AI训练数据来自开源网络，如果把AI比作一个学生，面对数据污染，就像是给学生看了错误的教科书，自然会导致“胡说八道”。
——人为调校和干预。相较于事实真相，AI更在意自己的回答是否契合用户需求，从而导致AI有时为了“讨好”用户而编造答案，也就是网友们常说的“这届AI,只负责讨好不负责兑现。”
同时，针对不同需求，AI的训练、打分方式也不同。偏理性的事实严谨在打分系统中占比相对较低，偏感性的词语优美、富有感情色彩等占比更高。所以可能出现一篇辞藻华丽但词不达意的文章，里面的内容甚至与事实相悖。
为了遏制AI内容伪造的蔓延，张志勇建议构建全省统一的网络安全态势感知中心，开展人工智能与网络空间安全治理“进机关、进企业、进社区、进学校”专项行动，开设网络安全公开课、科普短视频等线上内容，提升全民网络安全意识与数字素养，形成“政府主导、高校赋能、企业主责、公众参与”的共治共享格局。
真正值得警惕的，是许多人开始把AI当作一种新的权威。
过去我们说“网上说的”，后来是“专家说的”，再后来是“博主说的”，现在变成了“AI都说了”。
但必须认清：AI并不天然等于真理。下次向AI提问前，不妨先问自己一句：这个答案，我能信几分？毕竟，承担后果的从来不是AI，而是自己。（刘远）