机器学习（周志华）读书笔记

机器学习（周志华）读书笔记

机器学习（周志华） 读书笔记

序⾔

从主流为符号机器学习发展到主流为统计机器学习，反映了机器学习从纯粹的理论研究和模型研究发展到以解决现实⽣活中实际问题为⽬的

的应⽤研究。

问题⼀：现阶段，统计机器学习相对符号机器学习占据优势地位，未来的发展⽅向是怎样的？

有三种答案：⼀是符号机器学习会退出历史舞台，⼆是单纯的统计机器学习已经⾛到了尽头，未来应该和知识的利⽤相结合，这是⼀种螺旋

式的上升，进⼊更⾼级的形式。三是符号机器学习还有翻⾝的机会。会转向对更加基本的认知科学研究，把统计技术和认知科学结合起来。

问题⼆：由于统计机器学习算法是基于样本数据独⽴同分布的假设使得其应⽤遇到了障碍，那么“独⽴同分

布”条件对于机器学习来讲真的有必要吗？

⽆独⽴同分布条件下的机器学习也许只是⼀个难题，⽽不是⼀个不可解决的问题，或许迁移学习可能解决。尽管现阶段的迁移学习也要求迁

移双⽅具备“独⽴同分布”的条件，但是不同分布之间的迁移学习也许迟早会出现。

问题三：深度学习真的代表机器学习的新⽅向吗？

深度学习在理论和技术⽅⾯并没有很⼤的创新，只不过是由于硬件技术的⾰命，使得⼈们可以采⽤⽐过去复杂度更⾼的算法，从⽽得到⽐原

来更精细的结果。虽然深度学习正在打压机器学习，但是并没有达到统计学习打压符号学习的强度。原因有：⼀是深度学习理论创新不⾜，

⼆是应⽤范围有限，三是统计学习仍然在机器学习中被普遍的采⽤。

数学与机器学习

机器学习出现以来，从符号⽅法到统计⽅法的演变，⽤到的数学主要是概率统计，但是难道只有统计⽅法适合在机器学习上吗？ 例如微分⼏

何在流⾏学习上的应⽤，微分⽅程在归纳学习上的应⽤，但是和统计学习相⽐，这些只能算是配⾓。

符号机器学习时代主要以离散⽅法处理问题，统计机器学习时代主要以连续⽅法处理问题，这两种⽅法之间应该没有鸿沟。流⾏学习中的李

群、李代数⽅法的引⼊给我们以很好的启⽰。从微分流型到李群，再从李群到李代数，就是⼀个沟通连续和离散的过程。然⽽现有的⽅法在

数学上并不完美。