每日热文:大语言模型中的涌现现象是不是伪科学?
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
Datawhale干货
(资料图片)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
[ 相关文章 ]
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了一点儿时间看了两篇文章:《Emergent
音频解说一、辽宁省阜新市天气预报1、雷电黄色预警信号。2、预计未来1到2小时,彰武县将出现雷电天气,并将
1、你好!参考一下,“在什么样情况下用哪种测光模式”。2、一、评价测光(多重测光):拍摄时相机把图像分
1、液化气是乙烯、乙烷、丙烷、丙烯、丁烷、丁烯等气体的混合气煤气是一氧化碳煤气中毒指的就是一氧化碳中
日前,我们从工信部最新一期申报目录中获取到了一组福特蒙迪欧混动版车型的申报图,新车搭载1 5T混动系统,
1、有孙中山纪念公园,西山寺,岐江公园 孙文公园,紫马岭公园,长江水上乐园(郊区了)如果再偏郊区一点有:孙中
闲鱼拟对高频高额卖家收取服务费。5月16日,澎湃新闻记者发现,闲鱼APP发布最新公告,据闲鱼社区软件服务费
1、具体审核方法如下: 一、出生日期 (一)认定依据 出生日期的认定以档案中最早形成材料记载的
我们日常生活中对电的使用无处不在,其中玻璃保险丝也是我们必须要时常关注的问题,大部分电路在刚接通电源
5月11日13时许,哈尔滨市通河县公安局富强派出所巡逻车组巡逻至新建社区附近时,发现一男子躺在马路旁边。
中国航海博物馆门票半价时间表(更新时间:2023年5月16日)优惠时间优惠政策及票价中国旅游日2023年5月19日成
2023年5月16日,山东盛旭能源有限公司糠醛(国标,工业级,250公斤 桶)市场报价11500元 吨。
记者今天从民航局新闻发布会上了解到,目前我国与中亚五国均已签订政府间航空运输协定,将逐步提升航权开放
随着工信部第65批《免征车辆购置税的新能源汽车车型目录》的公布,长安新能源全新产品序列启源首款量产车,
Win10重装系统无限重启进不了系统怎么办?有用户通过本地重装的方法进行Win10系统重装的时候,系统安装出现
1、截止2020年1月,一般乾隆通宝市场价大概是1-20元一枚,例如乾隆通宝(小平钱)背满文(宝泉)黄铜市值1
科技出力,帮农产品涨了“身价”
北京翠微小学大兴分校举办一年级学生家长开放日活动
香港商报网报导,政府建议修订《野生动物保护条例》,并订明除了野生动物外,任何人不得喂饲野鸽。根据文件
近日,中牟县市场监督管理局召开2023年度优化营商环境规范餐饮监管和食品抽检工作会议,安排部署中牟县2023
[ 相关新闻 ]
Copyright 2015-2022 华中医院网 版权所有 备案号:京ICP备12018864号-26 联系邮箱:2 913 236 @qq.com