超级AI智能会杀死所有人！
Sam曾多次公开表达对AI未来的担忧，甚至到了晚上睡不着觉的程度。
现在，已经组建团队超级人类科技，尝试在未来四年内用20%的算力解决“超智能对齐问题”。
最新团队将由联合创始人兼首席科学家 Ilya 和 Jan Leike 共同领导。
博客一开始，用短短几行文字，详细阐述了对超级智能到来时间的预测以及对其“毁灭世界”能力的严重担忧。
超级智能将成为有史以来最有影响力的技术，帮助我们解决世界上许多最重要的问题。 但超级智能的巨大力量也可能非常危险，可能导致人类力量的丧失，甚至人类的灭绝。
尽管超级智能现在看来还很遥远，但我们相信十年内就有可能实现。
未来四年我们要做的就是阻止超级智能杀死全人类。
四年解决超级AI对齐问题
并认为，为了管理这些风险并彻底解决一致性问题，必须建立一个新的治理机构。
他表示，目前还没有合适的解决方案来引导或控制潜在的超级人工智能。
目前的技术都依赖于人类监督，例如基于人类反馈的强化学习（RLHF）等。
但仅仅依靠人力来监管比我们聪明得多的人工智能系统，有一天将是艰巨而困难的。 目前的对位技术还无法扩展到超智能，因此新的技术突破的需要被提上了日程。
“英雄榜”也于今日上线。
目标是建立一个大致达到人类水平的自动对齐研究者，然后使用大量计算来扩展研究工作并迭代调整超级智能。
为了创建第一个“自动对齐研究员”，本质上是创建一个人工智能，需要三个步骤。
首先，制定可扩展的培训方法；
其次，验证生成的模型；
第三，对整个对齐的管道进行压力测试。
研究人员使用 AI 系统来帮助评估其他 AI 系统（可扩展监督），研究人员还希望了解和控制他们的模型如何将监督推广到人类研究人员无法监督的任务（有点拗口）。
随后，为了验证系统的一致性，研究人员自动搜索有问题的行为和有问题的内部结构。
最后，可以通过找到错位模型来测试整个过程，确认开发的框架可以检测各种不同的错位类型（称为对抗性测试）。
研究人员预计，随着对这个问题的研究越来越深入，研究重点将会发生变化，甚至可能会出现新的研究领域。
全新团队
为此，我们正式宣布组建一支由顶尖机器学习研究人员和工程师组成的团队——“”。
未来四年，目前已获得的计算资源的20%将专门用于解决超级人工智能的对齐问题。
预计许多团队将参与这一过程，从开发新方法到将其扩展到实际应用。
表示，他的目标是在四年内解决超智能对齐的核心技术挑战。
虽然听起来很大，实施起来也不一定能100%成功，但我仍然相信，只要多方共同努力，还是可以解决的。
Ilya 作为联合创始人兼首席科学家，已将这一目标作为核心研究重点，并将与 项目负责人 Jan Leike 共同领导该团队。
团队成员包括之前负责比对工作的研究人员和工程师，甚至还有其他团队的研究人员，可以说是阵容庞大。
LeCun的“狗级”AI十年后真的会翻身吗？
可以说，十年之内超级智能的AI系统将会诞生，这是一个非常大胆的预测。
首先，比如说，没有人承认它是一种具有人类思维能力的人工智能。
相比之下，类似于自动完成的大型语言模型可以在不完全理解单词背后的含义的情况下重新创建类似人类的响应。
因此，它有时会给出明显错误的答案，或者无法理解基本逻辑。
前段时间，Ng Enda 在新课程中指出，单词不会颠倒过来直接出现在热榜上。
例如，如果您要求它反转单词，则输出完全是混乱的。
主要原因是大型模型使用标记来处理文本，其优点是减少内存和时间复杂度。
然而，对单词进行分词显然存在一个致命的问题，那就是模型很难学习到有意义的输入，同时也能理解为什么它无法理解单词的含义。
当被要求处理单词反转的任务时，模型可能只是反转每个标记，从而使自己出丑。
除此之外，从更广泛的角度来说，图灵奖获得者Yann LeCun一直称当前的人工智能是比猫和狗还糟糕的AI。
一句话概括就是：“论智力，他可能连狗都不如。”
LeCun表示，目前的AI系统即使有，也根本不具备人类智能的水平。
在他看来，没有必要太过紧张。 如今的AI智能水平还远远没有达到我们应该担心的水平。
目前的生成式AI模型都是LLM训练的，这种只接受语言训练的模型并没有聪明多少。 这些模型的性能非常有限，并且它们无法提供对现实世界的理解。
从这个角度来看，预测超级人工智能即将到来对某些人来说可能看起来很奇怪。
尽管如此，他们仍然希望做好准备，利用先发制人的打击，将人工智能灭绝人类的想法扼杀在萌芽状态。
网友解答疑问
AI 首席执行官表示，我们计划将 AGI 与 ASI 结合起来。
我的观点（给出你的观点）：我们不可能在不剥夺自由的情况下绝对地调整超级智能。 对齐和自由是正交的。 我们不要构建可能对人类构成生存威胁和剥夺人类权力的人工智能。
博客称，未来将投入20%的算力来做这件事，但遭到网友质疑。
是时候有人考虑一下超级智能的安全性了。 但我们现实一点，20%的计算真的能解决问题吗？ 对于如此大的问题来说，这似乎是九牛一毛。
协调团队负责人 Jan Leike 解释说，
20% 的计算量可不是小数目，如此规模的资源分配意愿给我留下了深刻的印象。
这是有史以来最大的对齐投资，可能比人类迄今为止在对齐研究上花费的还要多。
完成这项任务需要4年时间。 如何判断是否失败或者进度不够快？
IT之家11月5日报道 在新版本发布之前，《和平精英》官方昨天爆料新的安全更新和平精英透视，将推出游戏底层反透视机制，并推出战斗信息雾系统。
IT之家获悉，《和平精英》官方表示，除了账号封禁之外，近两年一直在研究解决方案，从游戏底层机制上解决安全问题。
此前，为了解决视角作弊问题，《和平精英》推出了观众端对手可见度判断机制：由服务器判断观众与对手之间的可见度，从根本上解决了视角作弊问题。
基于解决观看游戏视角作弊问题的经验，《和平精英》开始尝试将这一解决方案应用在战斗端，游戏服务器会实时判断对手是否可见。
为此，《和平精英》对观战端的对手可视判断机制进行了修改升级，并正式上线了战斗信息雾系统。 升级后的反透视系统对整个地图的建筑物和地形进行扫描计算，并采用专属判断机制来判断对手是否隐形。 服务器只会向玩家本地客户端发送可见的对手信息，视角插件无法篡改服务器数据。
《和平精英》官方表示，经过半年的灰度测试验证，目前部分模式和地图验证的结果都取得了非常好的效果。 目前视角插件只能读取视野外对手的延迟位置信息，有效降低了视角插件的使用率，骗取了利润。
据介绍，由于该系统涉及到游戏底层机制的调整，为了保证玩家的游戏体验，《和平精英》将分为城市测试和外地测试两个阶段逐步上线该系统。
城市测试阶段：本次更新后，《和平精英》将在更多城市区域的模式和地图中激活战斗信息雾系统。 届时，市区内玩家与对手之间的能见度判断将由游戏服务器接管。
野外测试阶段：所有城区开放后，《和平精英》将在后续版本中启用野外地区的战斗信息雾系统。
广告声明：文章中包含的外部跳转链接（包括但不限于超链接、二维码、密码等）用于传达更多信息，节省选择时间。 结果仅供参考。 所有 IT House 文章均包含此声明。
