切换到宽版
  • 26阅读
  • 2回复

[智能应用]如何看待AI“一本正经地胡说八道” [复制链接]

上一主题 下一主题
在线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
111505
金币
375
道行
19523
原创
29308
奖券
17828
斑龄
197
道券
10550
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 22341(小时)
注册时间: 2007-11-29
最后登录: 2025-07-11
所谓AI幻觉,可以通俗地理解为AI也会像人产生心理幻觉一样,遇到不熟悉或超出“知识储备”的问题时,编造一些并不存在的细节,生成与事实相悖的答案。一项调研显示,对于“公众认为使用AI应用过程中有哪些突出问题”,反馈最多的是“内容不准确,或含虚假信息”,占比高达42.2%。

  AI幻觉从何而来?可能得从源头寻找答案。

  大模型的工作原理,是基于概率生成内容。给它上半句,它就根据自己“学”过的海量知识,“算出”下半句该说什么。比如,当用户输入“今天天气非常”,它大概率会接“不错”“热”“潮湿”等答案,而不会出现“甜”。同时,大模型又不是简单地储存所有事实,而会像人脑记东西那样,进行大量压缩和泛化——也就是“抓概要、找规律”。因此,当“喂给”大模型的训练数据包含虚假信息时,它就会产生“幻觉”、给出错误答案。

  有报告显示,我国生成式人工智能产品用户规模达2.49亿人。用户规模快速增长,AI幻觉潜藏的风险也随之增加。比如,如果一些看似合理却与现实相去甚远的内容被AI反复学习,会形成“数据污染—算法吸收—再污染”的恶性循环。有效防范由此带来的虚假信息泛滥,已成为不容回避的课题。

  不过也有观点认为,AI幻觉可被视作一种“发散思维”和“想象力”。理论上,如果把训练一个大模型看作信息“压缩”的过程,那么大模型经过推理、输出答案就是一个信息“解压”的过程。这种处理信息的方式,可能会出现谬误,也可能触发新的创造。对发展尚未定型的新事物,要保持开放心态,辩证看待其利与弊,在有效防范弊端的同时,给予足够空间使之朝好的方向成长。

  短时间内,AI幻觉问题难以被解决。各方都在努力降低其负面影响,相关部门也加大了对违规AI产品的处置力度,推动生成合成内容标识加速落地。一些大模型厂商在积极行动,比如文心大模型利用检索到的信息来指导文本或答案的生成,提高了内容的质量和准确性;通义大模型加强训练语料管理,通过“红蓝对抗”机制提升对虚假信息的识别能力。对广大用户而言,则要加快提升AI素养,学会“智慧”地运用“智慧工具”,既借助大模型破除思维定式、启发创新思路,又提高自身有效获取、理解、评估和使用信息的能力。

  人类塑造工具,工具也影响人类生活。应对AI幻觉等问题挑战的过程,既促使人们思考改进工作方法,也为AI不断进化提供了源动力。激发新技术的正向价值,让AI更好融入生产生活、赋能千行百业,我们迈向智慧时代之路才能走得更加稳当、更加顺畅。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
167676
金币
273012
道行
2004
原创
2404
奖券
2775
斑龄
35
道券
1005
获奖
0
座驾
设备
摄影级
在线时间: 38146(小时)
注册时间: 2008-10-01
最后登录: 2025-07-11
只看该作者 沙发  发表于: 07-02
AI幻觉是指人工智能在处理超出其知识范围或不熟悉的问题时,可能会生成与事实不符的答案或编造不存在的细节的现象。这种现象类似于人类在心理幻觉中遇到未知或不确定情况时的反应。AI幻觉的产生与以下几个因素有关:

1. 基于概率的内容生成:AI大模型通过概率生成内容,根据其学习过的海量知识预测接下来的内容。这种预测并非总是准确的,尤其是当输入的信息超出模型的训练范围时。

2. 知识压缩与泛化:AI大模型并不存储所有事实,而是像人脑一样进行信息的压缩和泛化,抓取概要和规律。如果训练数据中包含虚假信息,模型就可能产生幻觉,输出错误答案。

3. 用户规模增长与风险增加:随着AI产品的用户规模快速增长,AI幻觉潜藏的风险也随之增加。错误的信息如果被AI反复学习,可能会形成恶性循环,导致虚假信息泛滥。

4. AI幻觉的另一面:有观点认为AI幻觉可以被视作一种发散思维和想象力的表现。在信息压缩和解压的过程中,虽然可能出现错误,但也可能触发新的创造。

5. 降低负面影响的努力:为了降低AI幻觉的负面影响,相关部门加大了对违规AI产品的处置力度,并推动生成合成内容标识的加速落地。一些大模型厂商也在积极采取措施,如利用检索信息指导文本生成,加强训练语料管理,提升对虚假信息的识别能力。

6. 用户AI素养的提升:用户需要提升AI素养,学会智慧地使用AI工具,提高获取、理解、评估和使用信息的能力。

7. AI进化的源动力:应对AI幻觉等挑战的过程促使人们思考改进工作方法,并为AI的不断进化提供动力。

总的来说,AI幻觉是AI技术发展中需要关注和解决的问题。通过提升AI素养、加强技术管理和政策引导,可以有效降低AI幻觉带来的风险,并促进AI技术的健康发展。
如何不发帖就快速得到金币道行
 
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
144120
金币
263391
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 16762(小时)
注册时间: 2012-06-21
最后登录: 2025-07-11
只看该作者 板凳  发表于: 07-04
如何看待AI“一本正经地胡说八道”
AI“一本正经地胡说八道”的现象表现与定义
使用人工智能大模型时,不少人遇到过AI捏造细节、“一本正经地胡说八道”的情况。比如让它推荐书,会给出压根不存在的书名;人物身份张冠李戴,还给出不准确的链接等,这些现象被归为AI幻觉。通俗来讲,AI幻觉就是AI像人产生心理幻觉一样,遇到不熟悉或超出知识储备的问题时,编造不存在的细节,生成与事实相悖的答案12345。

产生该现象的原因
工作原理层面
大模型基于概率生成内容,给它上半句,它依据学过的海量知识算出下半句。同时,大模型不是简单储存所有事实,而是像人脑记东西那样进行大量压缩和泛化,即“抓概要、找规律”。这种处理方式在信息解压过程中可能出现谬误1235。

训练数据层面
当喂给大模型的训练数据包含虚假信息时,它就会产生幻觉、给出错误答案。例如,如果一些看似合理却与现实相去甚远的内容被AI反复学习,会形成数据污染—算法吸收—再污染的恶性循环135。

该现象带来的影响
风险与弊端
信息质量方面:一项调研显示,公众认为使用AI应用过程中,内容不准确或含虚假信息这一问题反馈占比高达42.2%。随着我国生成式人工智能产品用户规模达2.49亿人且快速增长,AI幻觉潜藏的风险增加,可能导致虚假信息泛滥136。
数据生态方面:若虚假内容被反复学习,会破坏数据生态,形成数据污染的恶性循环13。
潜在好处
也有观点认为,AI幻觉可被视作一种“发散思维”和“想象力”。理论上,大模型处理信息的方式(训练看作信息压缩,推理输出看作信息解压),可能触发新的创造1235。 智能写作助手

应对态度与措施
应对态度
对发展尚未定型的AI这一新事物,要保持开放心态,辩证看待其利与弊,在有效防范弊端的同时,给予足够空间使之朝好的方向成长1235。

应对措施
相关部门:加大对违规AI产品的处置力度,推动生成合成内容标识加速落地13。
大模型厂商:一些大模型厂商积极行动,比如文心大模型利用检索到的信息来指导文本或答案的生成,提高了内容的质量和准确性;通义大模型加强训练语料管理,通过红蓝对抗机制提升对虚假信息的识别能力
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个