人工智能:对涌现与智能的再思考

引子

一年前在粗略了解 Sora 之后发表了对通用人工智能(AGI) 的粗浅看法((见人工智能:Sora 随感),经过对 AGI 知识的学习之后,再次刷新对 Scaling Law、Transformer 以及智能/涌现的理解,因此有了此文以更新对这个知识点的“模型参数”(一年前我对 AGI 能否达到涌现是存疑的,现在转变为肯定)。都说大道至简,但精准简化岂是常人所能,我只好在通俗与严谨之间,弃严谨而取通俗。下面就是用通俗的方式来讲述我对人工智能架构主要思想的新理解。

Scaling Law 与涌现

Scaling Law 描述了数据规模、计算资源和模型参数对 AI 模型的影响。大模型之所要大,是因为只有当模型的训练(样本)数据和参数大到突破一定的临界值后,才可能涌现出一些不可预测、更复杂的能力和特性,而进行这样大规模的训练又依赖于大规模的计算资源。这等规模的模型能够从原始训练数据中自动学习并发现或发明新的、更高层次的特征和模式,这种能力被称为“涌现(Emergence)”。随着科技的进步,曾经被认为难以突破的计算和数据限制,将来一定会是可控和可实现的。从本质上讲,Scaling Law 不是决定 AI 智能形态的根本因素,而是影响其发展的资源门槛。但就像“巧妇难为无米之炊”,即使有再先进的模型架构,也需要规模足够大的数据和计算能力来达到涌现所需的阈值。此外,涌现现象的出现通常依赖于大规模个体之间的相互作用,只有在规模足够大的个体之间的非线性关系才可能催生出整体大于部分之和的智能表现。

关于 AMC8 数学竞赛你所需要知道的一切

前言

AMC 美国数学竞赛全称 American Mathematics Competitions,由美国数学协会主办,是美国国家级别的系列数学竞赛,赛事分 AMC8(初级中学)、AMC10(高级中学)、AMC12(高级中学)三个级别,分别允许不超过美国 8、10、12 年级的学生参加。

为什么要参加一个美国的数学竞赛考试?

  • 从功利角度来讲:对走国际路线的学生,AMC 竞赛是美国国家级别的竞赛,拿到 AMC 高分证书是申请美国高中、本科学校非常有说服力的材料。对国内的升学来说,很多优秀初中在小升初的刷选中也很看重 AMC 证书,比如网传的上海三公对数学素质的期待为 AMC8 20分。

  • 从非功利角度来讲:学习数学竞赛能开拓学生思维,把学过的一个概念应用于更综合、更深奥的问题中,培养深度思考的能力。遇到难题不畏惧,遇到简单题不骄躁,通过理智的分析,逐步解除复杂问题。这种解决问题的行为模式,能跳出学术,应用到生活中。

什么样的小学学生适合参加 AMC8 竞赛?

  • 打算走国际学校路线的学生
  • 打算参加小升初选拔的学生
  • 对数学有兴趣,以考促学的学生

总的来说,小学阶段有实际需求以及具备相应领悟能力、学有余力的学生可以备考 AMC8 竞赛。不建议硬控硬上,给孩子留一个快乐的童年和一份阳光健康的心态比让孩子在高压下学习要重要得多

2024年阅读统计-追根溯源

前言

今年的阅读可以说是春读诗、夏读史、秋读艺术、冬读考古。首先是接续去年的心智和诗文阅读主题,阅读了心理学以及诗文解析相关的著作;然后是经由太平洋战争三部曲激发的对日本历史文化、美国崛起、二战欧洲战场的扩展阅读,可惜没找到合适的关于二战欧洲战场的书籍;接着带着弥补美学三书仅读过其一的遗憾,而补读了其它两本,进而对李泽厚的西学思想来源(如康德)有了兴趣,进而阅读欧洲近代思想和哲学;最后出于对照中日、中欧文明,而对中华文明的起源和形成有了兴趣,从而大量阅读中国考古、中华文明起源相关书籍。

这些阅读的总体感悟是,中国现阶段的学人已经开始尝试打破西学理论框架的垄断,试着重新构建基于独特中华文化的新理论。在某种程度上对西方理论的迷信,可以说是跟随美国对华自毁规则式的围堵打压而幻灭。基于最近几十年的考古发现,中国考古界有了切实的理论构建进展,但这个新理论构建的过程才刚刚起步,依然任重而道远。其他领域的创建也是如此,比如《踌躇的霸权》的构建就非常优秀。

中西文化在基本理念上的区别是根源性的:中华文化是世俗的(人伦关系)、综合的(天人合一),西方文化是超越的(思辨理性)、分析的(物我二分)。超越的优点是个体能动性,永不满足,永远追索,螺旋上升,一如西方哲学史的发展历程;分析的优点是质疑精神(更准确地说批判和刨根问底的精神),较少成见,如笛卡尔和黑格尔思辨哲学的无预设起点。个人的感触是西方的创新优势就植根于这两个思维基点之中。

日本为什么不诚恳认罪?

前言

又是一年九一八事变纪念日,也是定时勿忘国耻之日。回顾种种无耻侵华事实固然能激发愤慨的爱国之情,可待警钟声了,纪念日一过,一切又照常,不会在心底留下些许涟漪,也不会在脑海中留下什么的感悟。面对如此惨痛的灾难,每个人心中都应该有一份独特的“5D报告”,以深刻认识日本为什么发动战争,又为什么不诚恳地认罪(“遗憾”不是悔罪,甚至也不是道歉。就如盟军不会把对波茨坦公告的“默杀”(日语有多重含义:不置评或拒绝)回应视为接受投降条件一样),以便让自己保持警醒与清醒,意识到什么样迹象和社会氛围可能会重蹈覆辙,而在此种情况下又当如何应对。以下是我个人对侵华战争的“5D报告”,鉴于所知甚陋,疏漏错误之处难免,有错必改。

黄山游记

准备

上一次去黄山还是十年前(2023)的六月。当时老婆刚有身孕,于是戏说黄山是即将出生宝宝的幸运山。之后由于养育二娃,一直都没有怎么外出旅行。今年嘟嘟十岁了,于是决定陪她去她的幸运山来一场幸运之旅。

十年前去黄山是跟团游,跟团游的特点是:走马观花一时爽,尔后回忆全都忘。在准备这次自由行之前,我就是处于这样的状态,连黄山的前山、后山都没有半点印象了。于是狠狠地补课研究了一番从南大门登山的三日游攻略,结合真实行程而得出如下攻略。