人工智能发展之潮起潮落

引子:在迷雾中寻找光的轨迹

人工智能的演进史是一部充满悖论的启示录:图灵用停机问题为计算划定边界,却意外点燃了智能革命的导火索;罗森布拉特的感知机本欲模仿神经元放电,最终演变成深度学习中抽象的矩阵运算;辛顿在冷板凳上坚守神经网络四十年,等来的却是算力暴力破解智能密码的"苦涩教训"。这些戏剧性的转折揭示着一个残酷的真相:我们对智能的理解,始终在知其然与不知其所以然之间徘徊

当下的人工智能狂欢背后暗涌着深刻的认知危机:当GPT-4能通过律师资格考试却无法理解"正义"的哲学内涵,当Stable Diffusion创作出媲美莫奈的画作却对光影美学毫无感知,我们不得不追问——这究竟是智能的曙光,还是复杂曲线拟合制造的认知幻觉?尤瓦尔·赫拉利在《未来简史》中的警告振聋发聩:“人类正在创造比自己更了解自己的神灵,但这些神灵可能根本不在乎人类的存亡。”

这次人工智能“考古”之旅,既是向那些在寒冬中守护火种的先驱者致敬(从图灵到辛顿),更是对当下AI神话的祛魅仪式。在本文中,我们将看到:

  • 神经网络惊人的模式识别能力背后,是统计力学对生物智能的粗糙模拟
  • Transformer架构的革命性突破,本质是利用预训练机制对大规模数据的概率关系的高效建模
  • 强化学习的试错进化,不过是达尔文主义在数字世界的投影

在这个深度学习主导的"暴力美学"时代,重访人工智能发展的潮起潮落,不仅是为了理解技术演进的内在逻辑,更是为了在算法黑箱与人类认知的裂隙中,寻找智能本质的蛛丝马迹。

下文将系统梳理人工智能发展的三次高潮与两次低谷,剖析符号主义、连接主义、行为主义三大流派的哲学分野,并探讨哥德尔不完备定理对强人工智能的理论约束。通过跨学科的视角,试图在数学的严谨、神经科学的实证与哲学的思辨之间,勾勒人工智能演进的可能图景。

人工智能:对涌现与智能的再思考

引子

一年前在粗略了解 Sora 之后发表了对通用人工智能(AGI) 的粗浅看法(见人工智能:Sora 随感),经过对 AGI 知识的学习之后,再次刷新对 Scaling Law、Transformer 以及智能/涌现的理解,因此有了此文以更新对这个知识点的“模型参数”(一年前我对 AGI 能否达到涌现是存疑的,现在转变为肯定)。都说大道至简,但精准简化岂是常人所能,我只好在通俗与严谨之间,弃严谨而取通俗。下面就是用通俗的方式来讲述我对人工智能架构主要思想的新理解。

Scaling Law 与涌现

Scaling Law 描述了数据规模、计算资源和模型参数对 AI 模型的影响。大模型之所要大,是因为只有当模型的训练(样本)数据和参数大到突破一定的临界值后,才可能涌现出一些不可预测、更复杂的能力和特性,而进行这样大规模的训练又依赖于大规模的计算资源。这等规模的模型能够从原始训练数据中自动学习并发现或发明新的、更高层次的特征和模式,这种能力被称为“涌现(Emergence)”。随着科技的进步,曾经被认为难以突破的计算和数据限制,将来一定会是可控和可实现的。从本质上讲,Scaling Law 不是决定 AI 智能形态的根本因素,而是影响其发展的资源门槛。但就像“巧妇难为无米之炊”,即使有再先进的模型架构,也需要规模足够大的数据和计算能力来达到涌现所需的阈值。此外,涌现现象的出现通常依赖于大规模个体之间的相互作用,只有在规模足够大的个体之间的非线性关系才可能催生出整体大于部分之和的智能表现。

关于 AMC8 数学竞赛你所需要知道的一切

前言

AMC 美国数学竞赛全称 American Mathematics Competitions,由美国数学协会主办,是美国国家级别的系列数学竞赛,赛事分 AMC8(初级中学)、AMC10(高级中学)、AMC12(高级中学)三个级别,分别允许不超过美国 8、10、12 年级的学生参加。

为什么要参加一个美国的数学竞赛考试?

  • 从功利角度来讲:对走国际路线的学生,AMC 竞赛是美国国家级别的竞赛,拿到 AMC 高分证书是申请美国高中、本科学校非常有说服力的材料。对国内的升学来说,很多优秀初中在小升初的刷选中也很看重 AMC 证书,比如网传的上海三公对数学素质的期待为 AMC8 20分。

  • 从非功利角度来讲:学习数学竞赛能开拓学生思维,把学过的一个概念应用于更综合、更深奥的问题中,培养深度思考的能力。遇到难题不畏惧,遇到简单题不骄躁,通过理智的分析,逐步解除复杂问题。这种解决问题的行为模式,能跳出学术,应用到生活中。

什么样的小学学生适合参加 AMC8 竞赛?

  • 打算走国际学校路线的学生
  • 打算参加小升初选拔的学生
  • 对数学有兴趣,以考促学的学生

总的来说,小学阶段有实际需求以及具备相应领悟能力、学有余力的学生可以备考 AMC8 竞赛。不建议硬控硬上,给孩子留一个快乐的童年和一份阳光健康的心态比让孩子在高压下学习要重要得多

2024年阅读统计-追根溯源

前言

今年的阅读可以说是春读诗、夏读史、秋读艺术、冬读考古。首先是接续去年的心智和诗文阅读主题,阅读了心理学以及诗文解析相关的著作;然后是经由太平洋战争三部曲激发的对日本历史文化、美国崛起、二战欧洲战场的扩展阅读,可惜没找到合适的关于二战欧洲战场的书籍;接着带着弥补美学三书仅读过其一的遗憾,而补读了其它两本,进而对李泽厚的西学思想来源(如康德)有了兴趣,进而阅读欧洲近代思想和哲学;最后出于对照中日、中欧文明,而对中华文明的起源和形成有了兴趣,从而大量阅读中国考古、中华文明起源相关书籍。

这些阅读的总体感悟是,中国现阶段的学人已经开始尝试打破西学理论框架的垄断,试着重新构建基于独特中华文化的新理论。在某种程度上对西方理论的迷信,可以说是跟随美国对华自毁规则式的围堵打压而幻灭。基于最近几十年的考古发现,中国考古界有了切实的理论构建进展,但这个新理论构建的过程才刚刚起步,依然任重而道远。其他领域的创建也是如此,比如《踌躇的霸权》的构建就非常优秀。

中西文化在基本理念上的区别是根源性的:中华文化是世俗的(人伦关系)、综合的(天人合一),西方文化是超越的(思辨理性)、分析的(物我二分)。超越的优点是个体能动性,永不满足,永远追索,螺旋上升,一如西方哲学史的发展历程;分析的优点是质疑精神(更准确地说批判和刨根问底的精神),较少成见,如笛卡尔和黑格尔思辨哲学的无预设起点。个人的感触是西方的创新优势就植根于这两个思维基点之中。

日本为什么不诚恳认罪?

前言

又是一年九一八事变纪念日,也是定时勿忘国耻之日。回顾种种无耻侵华事实固然能激发愤慨的爱国之情,可待警钟声了,纪念日一过,一切又照常,不会在心底留下些许涟漪,也不会在脑海中留下什么的感悟。面对如此惨痛的灾难,每个人心中都应该有一份独特的“5D报告”,以深刻认识日本为什么发动战争,又为什么不诚恳地认罪(“遗憾”不是悔罪,甚至也不是道歉。就如盟军不会把对波茨坦公告的“默杀”(日语有多重含义:不置评或拒绝)回应视为接受投降条件一样),以便让自己保持警醒与清醒,意识到什么样迹象和社会氛围可能会重蹈覆辙,而在此种情况下又当如何应对。以下是我个人对侵华战争的“5D报告”,鉴于所知甚陋,疏漏错误之处难免,有错必改。