天天实时：大语言模型中的涌现现象是不是伪科学？
Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
今天晚上，花了一点儿时间看了两篇文章：
(相关资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf-
天天实时：大语言模型中的涌现现象是不是伪科学？Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
-
泰森食品完成收购威廉姆斯香肠公司 今日热议泰森食品(TSN US)周二宣布，该公司完成了对威廉姆斯香肠公司(WilliamsSausageCompany)的收购。此次收购预计 -
世界热点评！沈腾近照曝光瘦了好多……这样减肥靠谱吗？【沈腾瘦了好多】什么？沈腾瘦了？17日两个话题词引发网友围观—— 沈腾瘦下来了 普拉提 。10月17日，沈腾 -
无人搬运车_关于无人搬运车介绍无人搬运车，关于无人搬运车介绍这个很多人还不知道,现在让我们一起来看看吧！1、无人搬运车(AutomatedGui -
世界速读：非遗“冀”忆丨坠子声声永流传近日，石家庄市藁城区鸿祥坠子剧团走进本区大丰化、北小屯等乡村，将一场场丰盛的戏曲文化大餐送到老百姓家 -
环球快讯:《人生路不熟》：除了主角粉丝，谁不不适合看人生路不熟，烂到家了，易小星的水平比《沐浴之王》还退步了呢怎么。主角，范某，怎么说呢，完全没有电影感 -
管道标识的颜色（管道用什么颜色标识） 焦点速看1、随着国内环境保护意识不断增强，加快水处理产业的改革与发展已成为国家的一项重点工作。2、然而，在新建 -
思科瑞：拟4960万元增资陕西海测，并成为其控股股东|独家思科瑞5月23日公告，拟使用自有资金4960万元增资陕西海测，本次增资后公司将持有陕西海测51 67%的股权并成 -
天津大风预警来了！8级阵风，后天还有雷阵雨！今天津城阳光充足午后15时全市大部分地区气温在30℃左右预计明天白天仍以晴到多云为主风力较大，外出注意防 -
实时：注意！苏州科达将于6月8日召开股东大会苏州科达（SH603660，收盘价：7 22元）5月23日发布公告称，2023年6月8日14点00分，公司将在苏州高新区金山 -
沙＝͟͟͞͞尘＝͟͟͞͞天＝͟͟͞͞气＝͟͟͞͞已＝͟͟͞͞在＝͟͟͞͞路＝͟͟͞͞上＝͟͟͞_全球独家转载请注明来源甘肃交通广播（记者周伟妮）5月22日，甘肃省生态环境厅发布沙尘天气预警，受高空槽影响，预 -
又是杭州！乘客因定位偏差拒下车，能协商解决的别占用公共资源极目新闻评论员吴双建5月21日，浙江杭州，乘客使用一口价方式约车，因打车时使用的定位点和实际目的地有偏 -
色彩搭配师_关于色彩搭配师的介绍1、运用色彩专业知识和技能，从事色彩搭配与设计、色彩策划与营销、色彩调查与管理、色彩研究与咨询的人员 -
江苏连云港：“智慧税务”多跑腿 企业纳税少跑路中新网连云港5月23日电 题：江苏连云港：“智慧税务”多跑腿 企业纳税少跑路作者 朱志庚 杨青 -
学校公办大专院校排名 其他信息：今天，大学路小编为大家带来了学校公办大专院校排名其他信息：，希望能帮助到广大考生和家长，一起来看看吧 -
规划范围50.8平方公里 宜兴打造培源科学城“新名片”-关注近日，清华大学—宜兴市校地合作座谈会举行，双方就深化校地产学研合作、蒋南翔诞辰纪念活动等事宜开展交流 -
目前国内黄金价格查询（2023年5月23日） 信息目前国内黄金价格查询（2023年5月23日） -
天天速递！CFA一级备考需要注意哪些问题？CFA一级备考需要注意很多问题，包括了解考试内容和形式、制定合理的备考计划、选择适合自己的学习方式、注 -
天天微速讯：王者荣耀清扬电竞卡怎么获得 清扬电竞卡获取攻略[多图]王者荣耀清扬电竞卡怎么获得清扬电竞卡获取攻略,王者荣耀清扬电竞卡如何得到，这是游戏中的新推出的一个KPL -
创在上海，赢在青浦，这里为何成为众多科技企业的选择？|全球今热点2023年“创·在上海”国际创新创业大赛正在如火如荼地进行中，位于青浦区的中国北斗产业技术创新西虹桥基地 -
地产新势力 | 低调多年的“中信系”地产平台重出江湖 今日关注房地产行业深度洗牌之际，谁在向上发展？中信泰富，一个淡出行业久远的名字，重新出现在各大业绩排行榜上。 -
全球今头条！山东药玻：公司二季度采购纯碱、煤炭、天然气单价有下降走势 可能对公司成本端带来一定的下降趋势每经AI快讯，有投资者在投资者互动平台提问：贵公司的产品所需原料纯碱、石英砂、煤炭等期货价均是大幅度走 -
詹姆斯回应下赛季是否考虑退役 詹姆斯向约基奇致敬掘金是我和AD四年来遇到的最强球队一、詹姆斯回应下赛季是否考虑退役直播吧5月23日讯据名记Haynes报道，詹姆斯不确定是否回归，在考虑是否退
-
环球简讯:1gb等于什么?（1GB是什么含义）1gb等于什么?，1GB是什么含义这个很多人还不知道,现在让我们一起来看看吧！1、商家对存贮产品是如下计算：1 -
天天滚动:安徽省宣城市市场监管局联合教体局开展学校食堂暨校外供餐单位专项执法检查为进一步强化校园食品安全监管，防范群体性食品安全事件发生，5月17日，安徽省宣城市市场监管局联合市、区 -
全球热点评！阿伊努族生活在哪里_阿伊努族1、哦，不你最多说今天的日本人祖先是绳文人和弥生人混血的后代。2、大概82%的日本人可以测出2个共同男性祖
-
当前速递！西藏：牦牛背驮起珠峰梦在珠峰登山大本营附近的帐篷里，牦牛工烧水煮茶（5月17日摄）。西藏定日县扎西宗乡是我国境内距离珠峰山体 -
今日看点：2023年退休人员基本养老金上调3.8%本报北京5月22日电 （记者李婕）退休人员养老金再次迎来调整。近日，人力资源和社会保障部、财政部印发 -
世界资讯：南岭国家公园（拟建）野生动植物 种类达5470种南方日报讯（记者 邵一弘通讯员 林荫）广东含笑花开半放，含而不露；美花石斛花姿优雅、气味芳香……漫步在 -
朱一龙飞机延误无法出席华表奖颁奖典礼 遥祝大会圆满成功朱一龙飞机延误无法出席华表奖颁奖典礼遥祝大会圆满成功
