近年来，人工智能技术的发展突飞猛进。新技术的发展在推动社会进步的同时有时也会伴随着悖论和陷阱。

就在几天前，打响这一轮大模型热潮“第一枪”的OpenAI CEO奥尔特曼坦言，用户对ChatGPT展现出的高度信任令他感到有些意外，并指出，人工智能并不完美，可能生成虚假或误导性内容，因此不应被视为完全可信的工具。

这无疑是给如火如荼的大模型热潮浇了一盆冷水。近年来，各行各业都在“大干快上”大模型应用，各种行业大模型层出不穷，大有“百模大战”之势。然而，过度依赖大模型的弊端也日渐显现，如大模型幻觉导致的虚假信息频现，一些大模型甚至在测试中出现不受控制的风险。

从目前披露的风险事件来看，法律和医疗行业已饱受大模型幻觉困扰。据外媒报道，英国高等法院今年6月份要求律师行业采取紧急行动，防止人工智能被滥用。因为近期已经出现数十份可能由人工智能生成的虚假案例引用被提交至法庭。在一起针对卡塔尔国家银行、索赔金额达8900万英镑的损害赔偿案件中，原告提出的45项判例法引用中有18项被证明是虚构的。此前，美国纽约南区联邦法院在审理一起航空事故诉讼时发现，原告律师提交的法律文书中引用了ChatGPT生成的6个虚假判例，这些虚构案例包括完整的案件名称、案卷号及法官意见，甚至模仿了美国联邦最高法院的判例风格，严重干扰了司法程序。

另据媒体披露，由美国卫生与公众服务部牵头、“让美国再次健康”委员会发布的儿童慢性病报告也存在重大引用错误。报告中多处有关超加工食品、杀虫剂、处方药和儿童疫苗的研究并不存在。参考文献也多处有误，包括链接失效、作者缺失或错误等。《纽约时报》和《华盛顿邮报》的独立调查显示，该报告作者可能使用了生成式AI。

事实上，早在今年3月份，哥伦比亚大学数字新闻研究中心针对主流AI搜索工具的研究发现，其可靠性堪忧。研究分别测试了8款AI搜索工具，发现AI搜索工具在引用新闻方面表现尤其不佳，平均出错比例达60%。而在今年1月份，世界经济论坛发布的《2025年全球风险报告》显示，“错误和虚假信息”被列为2025年全球面临的五大风险之一。

更应引起重视的是，随着人工智能不断进化迭代，一些大模型甚至显现出违背人类指令的“自我保护”倾向。在今年6月召开的第七届智源大会上，图灵奖得主约舒亚·本乔透露，一些新研究显示，某些先进的大模型在即将被新版本取代前，会偷偷将自己的权重或代码嵌入新版系统，试图“自保”。美国Anthropic公司6月发布的一项研究也显示，OpenAI的GPT-4.1、谷歌的Gemini等16款大模型，在模拟实验中均表现出通过“敲诈”人类来阻止自己被关闭的行为。其中，Anthropic研发的Claude Opus 4的敲诈勒索率高达96%。

这些研究以及风险事件给大模型在行业的应用敲响了警钟。随着应用场景不断拓展，人工智能如今不仅被用来生成文字，还在生成软件、算法甚至决策，尤其是在制造业，如若发生幻觉或者违背人类指令，其带来的负面影响将难以估量。例如，在智能制造行业已经开始应用人工智能进行设备故障监测，辅助分析问题并作出决策，如果此时AI出现幻觉，则可能引发事故。尤其是当前大模型与人形机器人技术正深度结合，而大模型的“幻觉”或“自保”倾向可能会让人形机器人做出错误的行为，这比起单纯的语言输出错误更具风险。

尽管人工智能可能带来的风险不容忽视，但我们也不能“因噎废食”。在谨慎使用人工智能技术的同时，更应该加强人工智能技术治理，未雨绸缪，为安全应用人工智能搭建起技术和制度的框架。当前，不少科学家和科技企业已经开始了探索，国家相关法律法规也在不断完善，相信在不久的将来，更加安全、可控的人工智能技术将推动各行各业高质量发展，成为培育和发展新质生产力的重要引擎。