今日热闻!大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf-
今日热闻!大语言模型中的涌现现象是不是伪科学？Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
-
世界视点！开局首季各地经济“成绩单”出炉 怎么看？我国31个省区市已经全部公布各自省份一季度的经济运行数据。从数据来看，各地经济发展呈现回升向好态势，经 -
闪崩90%：又一股出事！消费股却逆市大涨今天是假期第四天了，港股已经开盘，一起来看下最新情况。5月2日，港股三大指数高开后悉数走跌，截至目前， -
淘汰名将与黑马 布雷切尔成首位“90后”世锦赛冠军本次世锦赛决赛是一场“80后”与“90后”的强强对话。 -
报道：梁红玉的英雄事迹_梁红玉1、梁红玉是战死的，绍兴五年(1135)年在楚州随夫出征抵御金军入侵时死去的。2、绍兴五年，梁红玉随夫出镇楚 -
怎么选择新生儿奶嘴_新生儿奶嘴如何选择 环球精选1、买婴儿奶嘴要小心。选择奶嘴时，要注意它的材质。一般奶嘴材料分为硅胶和乳胶两种。乳胶奶嘴弹性好，也 -
世界观天下！江苏德力化纤有限公司工艺工程师蔡瑞：脚踏实地做优面料江苏德力化纤有限公司工艺工程师蔡瑞：脚踏实地做优面料---江苏德力化纤有限公司工艺工程师蔡瑞在纺丝设备 -
鹭江时评：城市处处皆课堂●詹文我们所珍视的孩子，要如何与新时代同向同行、共同前进？让孩子们书写家乡桥铭牌，成为生动的一课。有 -
【世界新要闻】【全力以赴打好森林草原防灭火这场硬仗】夯实基层基础筑牢安全屏障【全力以赴打好森林草原防灭火这场硬仗】夯实基层基础筑牢安全屏障,主流媒体,山西门户。山西新闻网是经国务 -
华为p30升级鸿蒙系统步骤使用华为p30的小伙伴非常的多不过最近这些用户都有困惑自己的设备是不是可以使用新的鸿蒙系统，下面就给你 -
谢晖太保守了！大连人守得住吗？小闯确实18岁，曼巴只剩下速度了梅州客家并不是强队，前三轮1平2负只拿1分，排在积分榜第二的位置，而面对大连人踢得并不保守，在丢掉一球 -
端口445是什么端口（端口445）端口445是什么端口，端口445很多人还不知道，现在让我们一起来看看吧！1 端口445用于共享文件夹和打印机。 -
淘宝盖楼大挑战怎么退出_你知道方法吗欢迎观看本篇文章，小勉来为大家解答以上问题。淘宝盖楼大挑战怎么退出，你知道方法吗很多人还不知道，现在 -
米粉直呼Redmi Note 12 Turbo续航太顶：亮屏4小时耗电才33% 用的还是流量此外，RedmiNote12 Turbo搭载高通第二代骁龙7+移动平台，这颗芯片跟骁龙8+移动平台在核心架构和工艺层面基 -
女子办哥特式婚礼像舞台剧_世界观速讯00:10原标题：女子办哥特式婚礼像舞台剧4月30日，陕西西安。暗黑系哥特式婚礼仪式见过吗？老大爷感觉也有点 -
当前快看：宝钢股份携手沙特阿美共建全球首家绿色低碳全流程厚板工厂证券时报e公司讯，5月1日，宝武集团旗下宝钢股份(600019)与沙特阿拉伯国家石油公司（简称“沙特阿美”）、 -
动物园猩猩用石头砸游客_园方回应 全球即时看很多人对动物园猩猩用石头砸游客，园方回应比较关心，现在让我们一起来瞧瞧具体是什么情况吧！1、近日2、有 -
敦煌月牙泉单日接待超两万人，景区：2400多峰骆驼仍供不应求 播报极目新闻记者杨锦英五一小长假期间，甘肃敦煌市鸣沙山月牙泉景区迎来火爆人潮，4月30日单日接待量超两万人 -
冰水混合物算不算纯净物_冰水混合物算纯净物吗 全球今亮点1、冰和水是同一种物质的不同状态（固态与液态）。2、纯净物和混合物的界定是根据物质的组成来划分的。3、 -
全球观察：北京选择老年相亲节目有哪些_北京电视台有哪些老年类相亲节目欢迎观看本篇文章，小勉来为大家解答以上问题。北京选择老年相亲节目有哪些，北京电视台有哪些老年类相亲节 -
天天即时看！库里赛前训话：闹情绪就别打G7！知情人：说给普尔库明加的曝库里G7前恳求大家放下私人情绪 -
颐和园游人如织工人日报—中工网记者王伟伟4月30日，北京，游客正在颐和园观赏游园。目前4月30日到5月2日的门票已经全部约 -
人生第一粒扣子的含义_人生第一粒扣子是什么1、人们常说，我们是祖国的花朵。2、然而，现在正是我们建立人生观、价值观的时候，就好像穿衣系扣，如果第 -
【世界热闻】《天真派武林外传》_天真派武林外传免费全集1、电视剧《天真派武林外传》一共18集，原版《武林外传》一共拍摄了81集，公映的只有80集。2、《天真派武林 -
郭德纲相声全集高清版最新_郭德纲相声全集高清版1、以下是我所知道的郭老师2010年最新的如果你想知道更多建议你去新浪播客有个郭德纲相声全收录我感觉那里 -
每日时讯!劳动之美 奋斗之光上海工匠（油画）李根城市上空（油画）李文龙西部生产线（中国画）李青稞守护平安行（中国画）梁曙光枕海夜 -
低龄访客涌入数字中国建设成果展 学中带玩展馆里上“数字”-环球即时低龄访客涌入数字中国建设成果展览会学中带玩展馆里上“数字”自然语言AI模型、虚拟实验教学、过山车模拟体 -
洪欣深夜发文官宣离婚 张丹峰回应：对，不过了洪欣深夜发文官宣离婚张丹峰回应：对，不过了,洪欣,张丹峰,莫少聪,张镐濂 -
“五一”假期农产品市场购销两旺 全省“菜篮子”量足价稳新湖南，主流新媒体，移动新门户。-分享自@新湖南 -
深入交流促提升 缔结友好谋发展 天津赤峰商会、安徽商会开展交流座谈 观天下天津市赤峰商会为会员服务为家乡服务为天津服务01聚焦商会动态·友好商会交流·2023年4月27日下午，为进一
