Timeline
9 月—11 月
刚入学,在做各种探索和学习,开始学习 C 和 py。学生工作、社团、机器人队、嵌入式,都去参与了一下,还顺带考砸了期中。这个过程,我开始接触到大学的基本组成,也认识了一些现在的同行者。
12 月—1 月
开始接触 DL、MNIST、YOLO,从 Kaggle 上乱七八糟的找 project、读论文,能从中感到 passion 和 excitement,开始感觉到:这就是我想做的事情。也认识了指导的学长,也和 Jarvis 见了一面,初次窥见 research 的世界。
2 月
从上学期的探索、paper reading 开始,又把李沐详细的过了一次,然后开始深读经典论文、研究作者,第一次尝试复现一个时序实验。在这个过程中,开始了解到领域的流动变化,motivation 与 limitation,problem to solve。
3 月
agent 学习:ReAct、generative、Voyager,都很感兴趣,做下去了;小 demo 搭建。出于兴趣学习 CSAPP、电脑通信、网络网页知识,不精。
4 月
AutoResearch、AutoCache 搭建,学习 diffusion 与 diffusion cache。
5 月
决定投稿 workshop,完成 workshop 写作,决定 polish 为 EMNLP,EMNLP 投稿。这一个月是第一次把自己扔进一个 research cycle:LaTeX、作图、实验、写文章、讲故事,一切都是第一次。很累,很有压力,但是成长也很大。
6 月
学习 RL、world models,Lumina 社区入门;准备简历,帮一个 startup 项目,突击期末考试,考期末考试。
7 月
考期末,参加 ICML 和进行 rebuttal,前往上海准备第一次 intern,并去 Evolvent AI after party。然后就是学学学学:每天 10 点—晚 11 点,一周干 6 天;又认识了好多朋友。
8 月至今
推一个 ICLR 工作,学具身,学数学,学 CS336,过架构、代码、dataflow。下学期预计清华组 intern 加跟初创实习,然后留学校带下一届 AI 社。
时隔一年,打算总结一下我的所思、所见、所想。过去一年,我能感受到自己的世界越变越大。
前十八年,我的世界只有高考考多少分;十九岁的上半年,世界还只是我要怎么考高分、怎么保研,是不是要学好一门技术、进一个组。我还在和我的几个学长讨论我的专业能做什么,打点什么比赛,学生工作做不做之类的事情。
十九岁的下半年,开学进了拔尖班,在对我影响很大的几个学长的指导下,我加入了组,做了自己的 research,单刷了自己的一作,参与了公司的创业,明确了自己的研究主线,去韩国参会,参加 afterparty,和学长交流,请教了 senior 的 researcher、高校和大厂的研究员,聊过创业者、VC 和创投,了解了他们的所思所想,也学习他们的 insight,也接过了 AI 社社长,初次窥见世界之大和思考自己到底在哪里。
这半年,经历的第一次越来越多:第一次单刷、第一次带 team、第一次实习、第一次请教、第一次参会、第一次讲 paper。看到的世界越来越大,眼界也在变广;认识了 senior 的学长学姐、PhD、创业者、研究员,请教了他们有关 research、人生哲学、创业的 topic,也就开始不自觉地以这样的标准要求和约束自己。
去思考什么是好的 taste,我怎么把实验做得 solid,把文章写的漂亮,思考什么是重要的研究:你的研究是 LLM 强化的,还是真的有价值?你是 parasite AI 吗?你是活在 AI hack 的 echo 吗?我能做的就是保证自己的一个 motivation 和方法是自己的。
也认识到此时此刻,我是怎么样一个水平。顿觉天地宽,但渺沧海之一粟。虽然过去一年也值得认可,但是和真正的 senior 比起来,我没有什么特殊之处,只是一个 junior & not impressive 的 researcher。不过也确实不希望这预示着我 will be a nobody researcher,也真心希望自己在这个世界有自己的一席之地和 contribution,做自己觉得有意义的事情,在最好的地方,做最好的事情,找到有梯度的地方,来训练自己的参数。
在这些经历中,我自己也在渐渐改变,更多的认识自己。我做过的实验、学习过的公式、请教过的人、读过的 paper、推通的公式、拆明白的架构,潜移默化的塑造了我对这个世界、这个领域的认知和理解。
无论 agentic 还是 embodied,我的 world model 都在不断 scale up。自由的发展、成长,把 research 做成积分,不要追求某个 fix 的 KPI,最后总会殊途同归、水到渠成。在 research 的过程中,更理解世界,更理解模型,也更理解自己的所思所想。希望 idea 能 work,希望能参与更大、更好的事业,不虚度的时间,热爱自己所做的事情,在这个世界做一些事情。
所以之后还是正常的请教、深入学习、保持好奇、保持求知、多思考、多发问、多深挖,做自己的工作,分享自己的见解,请教更多人,参与更好的工作,去好的地方,做好的事情。本自具足,具备一个稳定的内核。
无论潮起还是潮落,认识到天地之宽,也认识到自己之渺小,希望可以坚定地前进,跑通自己的 recursive self-improvement。
总之总之,keep passion / keep going / work hard / be self-motivated / have agency。如果几月回首,一笑而过,那我应该也就成为了更好的自己。
非常可惜,你几乎无法真正摆脱课内 metric
在一切开始之前,很可惜的是,笔者也不能真正的摆脱课内和保研流程,也深知这套体系会带来怎样的通货膨胀和伤害。这件事情是结构性的。我希望的只是,你能如同生存手册所写,用最低的精力换取最高的分数,熟悉规则、使用规则,走一些寻常之外的道路,在真正考试和 pre 拿出实力。让优绩主义这套叙事尽可能少的参与你的人生。
我请教过的人们
有我的引路人,建立 research 和 business 的世界观,与人交往,认知,行动力。有重要的指导者,对 agentic 的深入理解,好的 paper writing 和 rebuttal 技巧;也有学长教我什么是好的工作、贡献、重要、影响力,提醒我不要沉浸在年龄叙事,把精力放在重要的事情,探索你是谁的命题,research 的重要性的判断,业界。
有创业者,和他谈社会化、水到渠成的发展。
有 Kimi 的学长和我分享成长的 path:被人看到,sell yourself,多分享,同时有对应的实力;pretrain 是一门学问,focus on 真正值得研究的问题。同一级的好朋友也教了我 just do it,think outside the box,求知欲。以及 Selen、卡比在 research 和 technical 上给我的指点,都让我受益匪浅。
Be motivated:你的人生是 TTT,不是 Always pretrain
这世界上 trajectory 很多,需要自己来走。你的人生道路不是被学校规定好的 roadmap 所禁锢,不存在固定标准范本和“你应该做什么”、标准和线性的发展:大一卷绩点,大二卷比赛,大三卷科研,大四找 offer,研究生做科研,博士生发文章,长大了工作或者创业,养个孩子,他再去 cycle。这不是。
大学不是 fix 的通关游戏。抛开客观限制,只要你是能主动 reach 的,不存在我要准备好、现在还不够,不存在所谓学风谈、不公平谈、你做 research 你厉害谈;不存在先绩点才准科研,不存在先小组才准大组,不存在我有梦校,但是我要提升自己才敢最后一战决生死。
你想做、想探索,所以直接去做,让准备、成长并行发生。要有主动踏出第一步的魄力,找到引路人,去展示自己,让自己被看到、被 link,work hard,keep going。去最好的地方,做最想做的事情,找到你的回应。不要等着在这个 fix 的 env 完成你的 pretrain,跑通自己的 test-time learning 和 recursive self-improvement。重要的是你是谁,你想做什么,你要怎么做成,没有人能替你决定。
引用我的引路人的话
“所以,我跟你说没有什么规矩,没有什么定式和天经地义,没有什么按部就班循规蹈矩,⼀切,都是海阔凭⻥跃,天⾼任⻦⻜,没有的路,我硬⾛出来。我跟你说打法,是设计,是艺术。抬头看看⽉亮,亮也没⽤,没⽤也亮。”
年龄叙事、时间成本、有梯度的地方
大学高中化、优绩主义,以及社会焦虑,催生了一种天才叙事。我们并不否认,他们的成长有自己的勤奋、高精力与行动力,这让他们能够遇见机会、抓住机会,也有缘分所在。但各种宣传试图最大化 peer pressure,让人们觉得你大一就要怎么样,二十岁就要怎么样,把人们捧向愚者之峰,告诉你天上天下唯我独尊;你大一没有进组,大二没有国奖和实习,已经落后。
我们可以正视提前起步的时间优势,佩服他们的 motivation 和行动力,但是不应菲薄自己或沾沾自喜。引用一下 Saining 老师的访谈:“不要在乎每一个时刻你的成败,不要计较每一个 point estimate 上的得失,research 是一个积分,所有的评价汇在一起,它决定了你是不是一个好的 researcher。”重要的是你最后做了什么,留下了什么新知识、新贡献、重要的问题。
你很难不焦虑。东亚是被优绩主义和比较烙印的一代,你的视野不断扩大,会放大你的 pressure。你发现这个世界还有这样的 trajectory:同龄人有 Seed,有 Galbot,有国奖,有文章,有优绩主义;你又在可以 maximize 你的焦虑的平台,让你觉得你不 impressive。
只要你不断扩大视野,就永远会遇到代码更强、数学更强、research 更强、会创业、会管人、reputation 更大的人。Again,把目光放在积分,请教他们,和他们站在一起。这件事只有慢慢想通和祛魅。希望我们都能有一个稳定的内核,找到属于自己的坐标系,就把自己扔到梯度最大的地方去,不断成长,慢慢找到自己的地方。
research 没有那么简单
之前的 EMNLP 收到了做 research 以来首次 reject,其实意料之中,所以淡淡的,没有什么特别大的情绪波动,尤其是 PC 给的还是这么个神人 comments。
能感觉到的是惋惜。抛开自己第一次写作就撞上大运 reviewer 和 AC 的因素,主要问题还是五月推进工作和写作经验不足,实验设计、数据、writing 都太稚嫩,行动力和 solidness 都成问题。当然,毕竟过去三个月了,再审判当时的不足显得不太公平,但是确实是一个好的教训,认识到了这些东西做的不好的代价是什么。
当然很难不 keep thinking:如果早一天,如果怎么怎么样,也许就有机会怎么怎么样。但是发生的就已经发生了。沉痛反思吧,research 是 execution 的能力,需要你全流程 handle 和管理起来,切忌被 AI hack,把文章做得 solid 起来。
同样,好的工作、好的贡献也是值得思考的。尝试放下学界的傲慢和算法模块至上论,以及在 paper 贬值、抽奖的时代,作为 junior,如果能让 observation 和 motivation 都 make sense,把工作做得 solid,尝试解决重要的问题,带来新的知识,并且讲给大家听;偶尔做 infra、做工程,solid 的占占坑、做做开源,作为立足之地,也不必如此苛责自己。无论成败,熟悉一个 cycle,记住这个 baseline,要求自己做出更好的工作,都能让你成为一个更好的 researcher。
你真的学会了么
我们相比 Pre-AI 时代的人来说,最大的优势和劣势都是:我们的学习成本非常低。Agent 作为 teacher 和 executor,是可以顺着你的需求和请教、耐心的回答你的角色。看起来,任何困难的知识、理论、代码,比起上四十个小时的网课和对着文档绞尽脑汁,不如让 AI 用顺滑的语言讲给你;实验就给跑个 demo,大家看到 loss 降了,手写数字识别跑通了,皆大欢喜,是一个甜蜜的牢房。
他让你顿时感觉自己在愚者之峰,天上天下唯我独尊,让你产生我学会了、我理解了、我掌握了的幻觉。
学习不可以掉信息量。这不代表你要以“如果我不能手撕、不懂八股,我就不 solid、不配做 research”来道德批判自己——这同样可以被 overfit。多想、多问、多交流,dive into,多发表你的想法。
比如,同样是 TRPO,AI 给你讲这是一个使用 KL 优化训练稳定的 RL 算法,但是他优化目标计算太复杂,所以 PPO 用 clip 优化了这里,然后 GRPO 去掉 critic,多 rollout 几次;和你完整的去探索为什么这样,把 sₜ、sₜ₊₁,policy 如何采样、如何近似,如何约束 J 和 A,再去看到底怎么样,scaling law、稳定性到底体现出怎么样的性质;真的复现,知道到底是怎么 work、怎么崩的,长出自己的 observation。
你觉得看过 attention,听过 AI 咀嚼过的食物,看过 paper;详细推过数学和架构,真的去读,然后你又知道了超参数、架构、初始化之类的都有奥妙和理论。如此,你才能学的逐渐深入。
在此之外,你要培养的也不止 research taste。你需要各种能力:带人、组织,你怎么想问题、怎么看事情,都是的,都很重要。我也要多站出去,讲讲东西,为你这个人创造更多 signal,不要让你成为一个可以被 generate 的人。多问 AI,多聊 AI;更要多问人类,多聊人类。
笔者也还有尚且没想通的部分
我也有自己的爱好,有无用而自由的向往。我希望开个特摄店,希望能和所有人相处很好,找到美学,拥有生活 balance;也很幸运,我遇到了很好的朋友,无论 research 还是 non-research。
希望和重要的人相处,不会那么被带动情绪。
希望具备完整的内核,搭建自己的 metric,做更好的工作。
感觉不能轻易 let go,一个问题研究不出来,一天都不是很爽。
具备更 solid 的数理和各种 coding 能力。
还是希望能够作为我的 checkpoint,希望不断的去补充这些不足,回首过往,一笑而过。
