前言

机器学习近年来备受关注, 对机器学习理论感兴趣的人士也日渐增多. 然而这方面的专门书籍颇少, 中文读物尤甚.

顾名思义, 机器学习理论研究的是关于机器学习的理论基础, 主要内容是分析学习任务的困难本质, 为学习算法提供理论保证, 并根据分析结果指导算法设计. 虽然这方面的内容对深入理解机器学习技术甚为重要, 但由于内容艰深广袤, 既需对机器学习问题有恰当把握, 又需相当的数学技巧, 且不少内容来源流派颇为不同, 不仅初学者感觉难以下手, 浸淫多年的学者往往也难纵览全貌.

国际上关于机器学习理论的书籍大致有两类. 一类从介绍机器学习具体技术的角度展开, 重点在于告诉读者如何从理论角度来理解这些技术, 学习理论自身的内容则散见于不同机器学习技术的讨论中. 另一类则聚焦于某项具体的学习理论, 其他理论内容则需另寻相关读物.

本书试图为有志于机器学习理论学习和研究的读者提供一个入门导引. 作者以为, 对理论学习和研究来说, 弄清楚基础概念和工具尤为重要. 因此, 本书采取了与上述书籍不同的组织方式. 作者梳理出机器学习理论这个“百宝箱”中的七个重要概念或理论工具, 姑且称之为“七种武器”, 即: 可学性、(假设空间)复杂度、泛化界、稳定性、一致性、收敛率、遗憾界. 本书每章聚焦其一, 除介绍基本概念外, 还给出若干分析实例, 如展示出怎样应用不同的理论工具来分析支持向量机这种常见机器学习技术. 读者今后对具体机器学习问题或技术作分析时, 可根据条件选择适用的“武器”. 需说明的是, “泛化界”与其他内容并列稍有勉强, 因为书中多种理论工具都可用于泛化界分析; 不过, 领头作者作为武侠爱好者, 实难拒绝致敬《七种武器》的诱惑, 况且泛化界本身还真有那么点神似古龙先生未完成的传说中“什么都能往里装”的第七种武器“箱子”.

本书由四位作者合作完成. 周志华规划了全书内容结构并撰写了第 1-2 章, 王魏撰写了第 3-4 章, 高尉撰写了第 5-6 章, 张利军撰写了第 7-8 章, 周志华修订统一了全书风格. 机器学习理论内容浩瀚广博, 本书虽仅为入门一瞥, 成书过程却颇不易. 鉴于中文机器学习理论读物之缺乏, 周志华在 2016 年组织 LAMDA 研究所中专长学习理论的几位教师一起筹备本书. 2017 年春季在 LAMDA 内部学习班第一次试讲, 大部分学生反映困难. 调整内容后, 2017 年秋季在 LAMDA 内部第二次试讲, 仍有部分学生感觉困难. 进一步调整内容后, 2018 年春季学期在南京大学开设了计算机学科研究生选修课“机器学习理论研究导引”. 学期结束后抽样调查显示, 约 1/3 学生感觉难度较大. 再次调整内容后, 在 2019 年春季学期研究生选修课上又讲授一轮, 学生反馈情况大致符合预期. 于是在 2019 年中裁定内容, 又经半年修改完稿, 再于庚子年初之抗疫禁足期间静修定稿.

机械工业出版社华章分社温莉芳和姚蕾二位老师十年前赴宁约稿, 此后数次登门、经年常遇, 敬业精神令作者感慨. 陈朝晖老师友情协助封面设计, 使本书蓬荜生辉. 完稿校勘时得到赵鹏、吕沈欢、谭志豪、张腾、王璐、吴锦辉等同学协助, 在此一并致谢.

需强调的是, 本书虽已尽量降低难度, 但由于机器学习理论学习本身的要求, 本书读者必须具备较为扎实的理工科高年级本科生的数学知识, 至少应该有较好的线性代数、数学分析、概率统计、最优化方法的基础. 本书读者还必须具备机器学习的基础知识, 至少应该系统性地学习过机器学习的专门性教科书. 机器学习理论内容学之不易, 且不像机器学习技术工具那样可以立即付诸应用, 学习过程难免有焦躁感, 自学尤易陷入困局, 读者务须有充分的心理准备. 但是深入学习下来, 不仅有助于理解机器学习的重要思想, 更有助于感受和体会这个学科领域的美, 一切努力最终都是值得的.

本书虽经多轮试讲修改, 但由于每轮均有较多内容调整, 且作者学识浅陋, 对博大精深之机器学习理论仅略知皮毛, 因此书中错谬之处在所难免, 若蒙读者诸君不吝指正, 将不胜感激.

(邮件标题:“机器学习理论导引”勘误; 发送至: mlthybook AT lamda.nju.edu.cn. 因作者忙于科研教学且诸多俗务缠身, 时间精力所限, 非勘误的学习问题恕难回复, 敬请读者诸君海涵)

[Home]