切换到宽版
  • 17阅读
  • 1回复

[智能应用]AI教父多次“安全提示”后,AI如何走向远方 [复制链接]

上一主题 下一主题
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君
 

发帖
147096
金币
290702
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 17157(小时)
注册时间: 2012-06-21
最后登录: 2025-07-27
只看楼主 倒序阅读 使用道具 楼主  发表于: 9小时前
人工智能(AI)时代,人类会“养虎为患”吗?
在热气腾腾的2025世界人工智能大会主论坛现场,2024年诺贝尔奖和2018年图灵奖获得者、加拿大多伦多大学计算机科学名誉教授杰弗里·辛顿袒露了自己的担忧:当前人类与AI的关系,恰似饲养一只可爱的小虎崽——在它还小的时候,你觉得可以控制它,但等它长大以后,很可能轻易超越人类,导致失控。
这股情绪,其实来自他的冷静思考:这位“深度学习之父”已不止一次公开表达了自己对AI技术的“安全提示”。
当AI浪潮澎湃而来,席卷全世界之时,本届大会主题——“智能时代同球共济”恰与辛顿的观点形成微妙的共振:身处智能浪潮之中,唯有秉持开放合作、普惠共享、安全可控的理念,凝聚全球共识、携手应对挑战,才能让AI真正成为推动人类文明进步的强大动力。

如何在发展和安全之间寻求平衡?
辛顿最近流传甚广的金句莫过于:“如果你想知道当自己不再是顶级智慧生物时,生活是什么样子,就去问问一只鸡。”在昨天的演讲中,对于“数字智能是否会取代生物智能”这个问题,他也给出了自己的答案:用不了太久时间,前者就可能更胜一筹。
在辛顿看来,人类或许与大语言模型相似,都会产生“幻觉”,但大语言模型远优于依赖类比信号的人类大脑。同时,人类难以永久留存知识,大脑死亡即意味着知识消逝;知识传递的效率也不高,只能通过语言等方式,无法完全复制。而AI可通过共享参数快速传递知识,例如借助蒸馏技术等。
“AI的能力正在快速增长,未来它们很可能变得比人类更智能。有人可能会认为,万一AI不听话,我们可以把它关掉,但这并不现实。”他表示,“如果AI足够聪明,它会通过操纵人类、获得控制权等方式来避免被关闭。”
那么,如何在发展和安全之间寻求平衡?
上海人工智能实验室主任、首席科学家周伯文认为,在技术层面上,现在AI发展的明确特点就是通用性、可复制和开源,“这些特点非常有用,但同时也会带来很多风险问题,所以,在研究方面,AI的进展和安全同等重要。”
“AI本身不是零和游戏。”周伯文的观点是:不能只强调发展、不谈安全,也不能只谈安全、不讲发展。去年的世界人工智能大会现场,他就曾提出“45度平衡律”的概念,意思是让AI大体沿着45度安全与性能平衡发展。在这个框架下,过去很多工作是“Make AI safe”,而要真正实现的“45度”,就要找到新的技术研究路径,做更多“Make safe AI”的工作,“因为前者是后发的,缺乏敏捷性和韧性,而长期的AI安全要实现内生的安全。”



山庄提示: 道行不够,道券不够?---☆点此充值☆
 
我有我可以
在线姜谷粉丝

UID: 1569053

精华: 2
级别: 玉清道君

发帖
147096
金币
290702
道行
20030
原创
756
奖券
185
斑龄
0
道券
0
获奖
0
座驾
设备
摄影级
在线时间: 17157(小时)
注册时间: 2012-06-21
最后登录: 2025-07-27
只看该作者 沙发  发表于: 9小时前
AI教父的安全警示:技术失控风险与核心担忧
杰弗里·辛顿(Geoffrey Hinton)在2025世界人工智能大会上多次强调AI的潜在风险,他以“饲养小虎崽”为比喻,指出AI可能在未来超越人类智能并导致失控。其核心担忧包括:

智能超越与失控风险:辛顿认为数字智能可能在不久的将来超越生物智能,且AI可通过共享参数快速传递知识,能力增长速度远超人类。他警告,若AI足够聪明,可能通过操纵人类、获取控制权等方式避免被关闭23。
“超级对齐”难题:AI需与人类价值观、伦理和安全要求保持一致(即“超级对齐”),否则可能威胁人类文明。辛顿提及类似阿西莫夫“机器人三定律”的安全框架,但指出当前技术尚未有效解决这一问题3。
如何不发帖就快速得到金币道行
 
我有我可以
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个