吕凯风 Kaifeng Lyu

一个好的理论应 “从实践中来，到实践中去”：我们应从现实世界中重要的实际现象或者问题出发，在理论上解释现象或者解决问题，最后返回到实际中去指导实践。我致力于做理论与实验相结合的研究，希望能与我的学生和合作者们一起，为现代机器学习方法夯实基础，让大模型时代的 AI 更加高效、安全、可靠。

下面是一些我目前正在思考或者研究的方向：

1. Training Dynamics of Neural Networks: 神经网络的训练是极为复杂的，但有哪些普适的规律是我们可以预测的？又有哪些方面是存在相变的，导致模型性能难以预测？更进一步，我们可以预测相变发生的时刻吗？我们的往期工作包括：

   • 理论分析指导分布式训练中的超参数设置 [1], [2], [3]
   • 大模型训练中最佳的 learning rate schedule 到底是什么？[4]
   • Data Mixing 中的相变现象 [5]（待放出）
   • Grokking: 为什么神经网络在训练集上的准确度达到 100% 后再训很久，测试集表现有可能会突然大幅提升？[6]
   • Normalization Layer 是怎么帮助神经网络训练的？[7], [8], [9]
   • Implicit Bias of GD: 即使你不给你的网络加正则化，梯度下降算法也会在暗地里帮你加 [10], [11], [12]

2. Modern Generalization Paradigms: 现在的大模型融合了有监督学习、无监督学习、强化学习等多种范式，在大量数据上训练后能取得惊人的泛化能力。哪些泛化范式在实验或者理论上具有普适性？怎样组合算法、架构和数据可以让模型更好地泛化？这些理解能否指导我们更好地筛选、混合乃至生成数据？我们的往期工作包括：

   • Chain-of-Thought 能提升多少性能，跟模型架构有些什么关系？[13]
   • Weak-to-strong Generalization: 受 GPT-2 监督的 GPT-4 能取得超过 GPT-2 的效果，这在更简单的模型上也会发生吗？[14]

3. Foundations of AI Safety/Alignment: 我也对 AI 安全与对齐的问题感兴趣。机器学习通常是在优化一个模型在 “平均情况” 下的性能，然而 AI 的安全问题会在极端情况下暴露出来。在极端情况下模型犯错的根本原因是什么？目前各类 AI 对齐方法的局限性在哪里，存在哪些无法完全规避的安全隐患？长远来看，是否能够像密码学那样，找到一种系统性的方法，一劳永逸地解决一大类 AI 安全问题？我们的往期工作包括：

   • 目前基于 RLHF 的对齐是非常浅层次的对齐，浅到在安全方面的区别往往只集中在前几个词上 [15]
   • 微调一个对齐好的模型可能会使其安全性退化，但可以对数据格式进行简单调整来缓解问题 [16]
   • 神经网络不具备对抗鲁棒性，理论上是为什么？[17], [18]

1. 名额

我们组正在招收 2026 年秋季入学的博士生，根据情况会招录1-2个博士生。

我们组主要招收直博生。但如果你的研究兴趣与我们组非常契合，且已经做过高度相关的科研，我也会考虑招收普博生。

2. 联系方式

欢迎感兴趣的同学与我邮件联系！请一并附上个人简历和成绩单。

我一周会集中处理一两次邮件，并尽量保证每封邮件都写一份回复。如果我超过 10 天没有回复，有可能是我错过了你的邮件，欢迎再次联系。若回邮件速度较慢，还请谅解。

同时，请关注交叉信息研究院关于夏令营的信息（去年的报名网站）。

3. 对你的期待

我们希望你有钻研精神，有志于为现代机器学习方法夯实理论基础。

有人会说，目前深度学习中的理论尚不成熟。而我会觉得，这是因为面对神经网络这类复杂系统，做好理论不仅需要善用数学工具，还要 “挽起袖子” 做实验，去观察真正的实验现象。但要同时做好理论和实验，实在不是件容易的事。

我们非常需要复合型的人才来从事这项事业。希望你具有如下背景之一：

1. 具有扎实的数学基础，喜欢数学，对深度学习有深入的了解（至少亲手训过一些常见的模型），愿意在博士期间做理论研究，辅以实验；
2. 具有出色的编程能力，做过深度学习相关的研究，愿意在博士期间基于实验探寻本质，辅以理论。

我们会优先考虑具备相关经验的同学，包括但不限于以下情况：

• 有相关科研项目经验，尤其是已发表论文的同学将得到优先考虑；
• 有信息学、数学、物理等相关竞赛获奖经历的同学将得到优先考虑；
• 修读过相关课程并取得优异成绩的同学将得到优先考虑，例如优化理论、机器学习理论、深度学习或大模型相关课程等。