拓扑学在机器学习里有哪些应用呢?

  世纪资讯     |      2024-05-20 19:08

初学者来试答一下,如有不妥之处还请高手指点。
如果做深入的机器学习理论研究,会涉及到泛函分析,微分流形这些数学理论。而点集拓扑是这些理论的基础,它不对机器学习有直接的影响,但如果不学好拓扑,很难理解那些高深的数学知识。事实上,拓扑是分析,代数共同的基础。
推荐芒克里斯的拓扑学,我也刚开始学习。

就在之前还和数学出身的朋友讨论过这个,就顺便说一句。

说有没有用,要看你这个用怎么定义。

如果说应用的用,那可以明确告诉你,几乎没用,如果你是机器学习出身,除非用到了特定的某个借鉴了这个思想的算法,否则几乎是用不上的。

那有没有用处呢?答案完全相反,有用,用处是让你更多的理解什么是数学。

其实上面的说法估计大家都知道,但之所以我想回答这个问题,是因为我想说下面这些话

很多人对数学在机器学习(或者更广泛的说,所有非数学学科)内的作用有误解,经常能听有人在说什么都是数学。那就先回答这样的一个问题:

【为什么不是所有科研工作者都是数学出身?为什么在数学之外,还要设置其他学科?】

为什么要说这个,是应为,我觉得非数学专业的人,学数学的顺序要和数学专业的相反。就说机器学习,从数学开始学你就完了,不知道哪年才能学到东西。正确的顺序应该是:

1.学习经典问题

2.学习经典算法

3.学习经典算法的直接数学基础

4.学习机器学习的一般性数学基础(也就是适用所有算法的基础)

5.重新学一遍线代、概率、高数这些“基本的”东西。

6.【最好再学次4】

7.你可以开始学分析了

8.你可以开始学拓扑这样的【基础】了

9.带徒弟的经验,1-8步最快也要4-5年

可以看到,这是一个所谓【需求导向】的学习过程,为什么要这样?因为一个简单的事实是:你不可能理解你学的数学是干吗用的,数学毕竟不是专门为机器学习(或者任何一个学科)服务的,数学和具体学科之间要有一个连接点(具体说,就是指出你的学科为什么是符合数学公理的),并且事实上,几乎所有学科都只在使用数学的(很小一个)子集。如果不是需求导向的学习,你学到转行都学不到你要学的(想想为什么学医的不是从物理开始学)。

【最终,就题主的问题,我给出的答案(只是给题主个人的答案)是:不着急学,等你分析学的差不多,感觉有实际需求的时候再开始也不晚。否则就和线代一样,你当年就算考100,学了机器学习后照样需要打回原形从新学】

我记得在学nonlinear programming的时候用了不少拓扑学的知识在证明里 当然 我虽然学过二三十门计算机和数学 但是已经转行搞生物了 所以 讲的肤浅 忘大佬们见谅

参考如下论文:

CIN++: Enhancing Topological Message Passing. Lorenzo Giusti, Teodora Reu, Francesco Ceccarelli, Cristian Bodnar, Pietro Liò.

E(n) Equivariant Message Passing Simplicial Networks. Floor Eijkelboom, Rob Hesselink, Erik Bekkers. ICML 2023.

Topological Autoencoders. Michael Moor, Max Horn, Bastian Rieck, and Karsten Borgwardt. ICML 2020

Topological Graph Neural Networks. Max Horn, Edward De Brouwer, Michael Moor, Yves Moreau, Bastian Rieck, and Karsten Borgwardt. ICLR 2022.

Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back. Claudio Battiloro, Zhiyang Wang, Hans Riess, Paolo Di Lorenzo, Alejandro Ribeiro.

Architectures of Topological Deep Learning: A Survey on Topological Neural Networks. Mathilde Papillon, Sophia Sanborn, Mustafa Hajij, Nina Miolane.

Surfing on the Neural Sheaf. Julian Suk, Lorenzo Giusti, Tamir Hemo, Miguel Lopez, Konstantinos Barmpas, Cristian Bodnar. NeurIPS 2022 NeurReps Workshop.

Cell Attention Networks. Lorenzo Giusti, Claudio Battiloro, Lucia Testa, Paolo Di Lorenzo, Stefania Sardellitti, Sergio Barbarossa.

Sheaf Attention Networks. Federico Barbero, Cristian Bodnar, Haitz Sáez de Ocáriz Borde, Pietro Liò. NeurIPS 2022 NeurReps Workshop.

Sheaf Neural Networks with Connection Laplacians. Federico Barbero, Cristian Bodnar, Haitz Sáez de Ocáriz Borde, Michael Bronstein, Petar Veli?kovi?, Pietro Liò. ICML 2022 Workshop on Topology, Algebra, and Geometry in Machine Learning.

Higher-Order Attention Networks. Mustafa Hajij, Ghada Zamzmi, Theodore Papamarkou, Nina Miolane, Aldo Guzmán-Sáenz, Karthikeyan Natesan Ramamurthy. arXiv 2022.