辍学，复读高考，创业失败，二战考研................................................................................................................................................
作者|陈大新
2020年2月8日，是王益达的28岁生日。作为清华-伯克利深圳学院的硕士生，因为疫情，他正在家里做两件事。
一是拟提交NLPCC的论文，进展顺利；第二个是做一个解码方法项目，有一些bug。王益达改变了当天的bug。
八个月后。......
2020年10月8日，11天假期即将结束，第二天王一达将继续在腾讯微信实习。
想着明天继续微信练习，他收到了黄敏烈老师的微信。
黄老师告诉王毅达，他们刚刚收到邮件通知，他们的论文获得了NLPCC 2020(第九届CCF自然语言处理与中文计算国际会议)最佳学生论文奖！
听到消息那一刻还是很开心的，要感谢黄老师和各位学长等很多人，虽然不是A类会议，但也是一种对我成长的认可。——王毅达
论文链接:https://arxiv.org/abs/2008.03946
基于Transformer的大规模预训练语言模型极大地推动了开放领域对话的研究进展。但是，目前这种技术还没有在中文会话领域得到广泛应用，主要是因为缺乏大规模、高质量的中文会话开源数据。
为了推动汉语会话领域的研究，弥补汉语会话语料库的不足，汪毅达所在的清华大学CoAI课题组发布了包含1200万个会话的大规模汉语会话数据集LCCC，并开发了在LCCC上预训练的大规模汉语会话生成模型CDial-GPT。
开源链接:https://github.com/thu-coai/CDial-GPT
王毅达论文中提供的LCCC数据集主要包括两部分:LCCC库和LCCC库。
他们设计了一套严格的数据过滤流程，以保证这个数据集中对话数据的质量。这个数据过滤过程包括一系列手动规则和几个基于机器学习算法的分类器。
过滤掉的噪音包括:脏话、特殊字符、面部表情、语法不好的句子、无关的对话等。
在王毅达的论文中，在STC数据集上对GPT LCCC-large模型的参数进行了微调，利用这个微调后的模型生成了如下对话实例:
王毅达的论文也使用了上面的微调模型，得到了如下的交互结果:
关于这篇论文的更多信息，请移至今天《AI技术评论》的第四篇推文。
《AI科技评论》通过黄敏烈老师联系到王一达，想请他介绍一下自己一路学霸的经历。
经过一番交流，《AI技术评论》发现，这个28岁的AI“少年”的成长似乎并不顺利。
他高三退学，然后参加了两次高考，毕业后创业失败。经过两次考研，最终被清华大学-伯克利深圳学院录取。
两次高考|少年不知愁滋味。
第一次高考前辍学打工当服务员很辛苦，虽然做科研也很辛苦，但是热爱可以带来动力。——王毅达
高三时，因为种种原因，王毅达从内蒙古呼伦贝尔市海拉尔三中退学。
他去他家门口的烤肉店工作。每天，他的工作就是洗碗、点炉子、上菜和打扫卫生。偶尔为顾客烤个烤肉串，有时还会因为上菜慢或者上错而被顾客骂。有一次他去拿冰镇啤酒，瓶子因为热胀冷缩爆了，手也断了，骨头也看到了，现在还留着伤疤。
因为努力，王一达听了妈妈的话，那年参加了高考。分数下来后，他盯着电脑网页上的300多分，情绪没有太大波动。他有半年没去上学，所以也没抱什么期望。结果符合他的预期。那个时候，还没有真正面对人生十字路口的王毅达，有一种“少年不识愁滋味”的心态。
高考后的两个月，王毅达突然意识到自己已经成年了，需要为家庭和未来考虑。同时，他觉得自己还年轻，未来的机会很多。于是已经做了半年“闲散工”的王益达决定回学校复读。
复读那一年，王益达和同学在一起。他回忆道:
我爸妈都是普通工人，我妈为了多挣钱，没日没夜的呆在锅炉房。我当时也住在那里，但是那里的环境很吵，面对面说话都要喊，说我没有好好休息，睡在那里，很影响学习。
于是就去同学家住了。我的同学和妈妈做了美味的食物。叔叔阿姨对我很好，送我们上下学。
2011年夏天，王毅达再次参加高考。今年分数勉强够普通211大学。
但当时他对于如何填报志愿，如何选择合适的院校和专业，并没有足够的信息资源。小地方的信息闭塞和不对称，让他对“985、211”这些概念不是很熟悉，对专业的了解也仅仅局限于社会显著共识的热门专业“金融学”。
最后，王毅达随便报了一所离家近的大学:黑龙江大学。当时给他补课的老师建议他学数学，后来可以考研，于是进入黑龙江大学中俄学院数学与应用数学专业，应用俄语作为第二专业。
回想当年选择志愿的时候，王毅达并没有觉得有什么遗憾:“那个分数只够上最后一个211学校。我当时想学金融，所以显然考不上211大学。最后选择了数学专业，对现在的AI研究还是有帮助的。回想起来，我觉得一切都有自己的宿命。”
2本科|浪费的四年时光
没什么天分，认知也不够，感觉这四年自己就像一只傻狍子；当时努力奋斗的意愿太弱了，信息闭塞也使我像个无头苍蝇找不到努力的方向。——王毅达
因为在中俄学院，王毅达的数学和专业课都是由俄罗斯新西伯利亚国立大学的老师授课，授课语言自然是俄语。虽然俄语是必修的语言课程，但他很难完全理解用俄语讲授的普通微分课程。
对此，王益达自言自语道，“没有天赋，别无选择，只能放弃专业课的学习。”
至于本科的学习是否会对以后的科研道路产生影响，王毅达坦言:
我觉得AI需要的数学基础大部分来自于考研期间的积累。从清华的课上学到的那群人很厉害，但是我不记得我在这门科学上学到了什么。我会说两句俄语，知道数学分析、线性代数、函数数理逻辑的基本概念。
但是本科的学习经历还是有一些积极的影响，这些影响来自于他的三大课的数学老师。“数学老师没有看不起我，反而鼓励我学习，让我没有对数学感到厌恶，以至于考研的时候我还挺喜欢数学的。”王毅达说。
外语障碍，游戏诱惑，N门课不及格，王一达以为自己的本科四年还是快乐的，但毕竟有些遗憾:“我听专业课很头疼，不爱听，所以四年没有好好学习，只是玩玩，那时候懂得还不够。”
直到他决定考研，“认知不足”这个词似乎贯穿了他从高中到大学的四五年。
毕业季左起第四张照片是王一达。
3创业|一地鸡毛
我根本没有创业。那时候的孩子游手好闲，吊儿郎当，什么都不懂。——王毅达
2014年，王益达被学校招聘到深圳诺普信公司工作两三个月。原来这家公司招他们去乌克兰做项目。结果当时乌克兰处于战争状态，公司的战略调整最终失败。
之后，王益达被调到了互联网部门。当时老板投资一个亿做农业互联网(卖农药)，要求员工看互联网思维的书，学习中欧商学院的课程。
王毅达看了这些书，在深圳这座充满活力的国际都市的莫名鼓励下，和朋友一起创业。
那一年，一篇名为《我为什么辞职卖肉夹馍》的文章在微信朋友圈被疯狂转发。毕业于名校的孟兵放弃了高薪的IT工作，从程序员变成了西少爷肉夹馍店的老板。他将互联网模式引入传统餐饮行业，创造了行业的爆款。
王益达觉得自己可以成为“风上的猪”，于是打算去卖煎饼。
但是，他似乎觉得卖煎饼太简单了。
“那摊子没立起来。我和我的朋友们学习如何做蔬菜煎饼。当时我们还买了一个炸排骨的装置。为了买排骨秘方，我还坐车去了一个叫梁山的地方。结果我去了别人的店，已经关门了。”
王毅达回忆道。
后来他听说直播要火了，就和朋友合伙做了一个直播网站。
几个月后，网站建成后，他们联系了Renren.com一家子公司的总裁，但人们认为我们太天真了。经过一番折腾，最后，他们赔了点钱，分手了。
后来朋友去了北京一家教育机构当老师，王益达终于安定下来。
失败有很多，但有时候失败不一定是坏事。如果我卖煎饼成功了，卖煎饼能养活自己，以后可能就没机会读研了。——王毅达
4 |考研第一战失败与经验并存
直接上清华，想考就考最好的。——王毅达
2015年冬天，天寒地冻。王毅达带着二十多年的“失败”回到了他的十八线小城市。他在家呆了一个月思考“人生何去何从”，最后做了一个后来改变他人生轨迹的决定:考研！盘问电脑！
王毅达选择了报考清华大学。但是，他并没有一开始就定下学校。他先复习，再报考。他报考的前几天，刚发现不同学校考试不一样，计算机学校特别多。他很难做出选择。看了几个官网，他就头疼，不想看了。最后他干脆报了清华。
一场打斗，一辆自行车对一辆摩托车，最坏的结果是回到现在的状况，他想。
至于为什么选择报考计算机，王毅达说:“其实之前受所谓互联网思维的影响，觉得学计算机和金融很赚钱，很多互联网大佬都是计算机专业的。另外当时看了钢铁侠，很爽，就报了电脑。”
为此，研究生王一达做了一些准备:
首先是买考研资料。
他买了四本408(计算机考研专业课代码)的书，有《数据结构》《组成原理》《计算机网络》《计算机系统》，还有《永乐皇帝考研数学复习用书》。
第二种是50元买两只猫。
王一达在家对面的猫贩子那里看到了可爱的小黑白，问了一下价格，感觉还行。“我像个孩子一样兴奋地把它带回家，没有问妈妈”。
后来离开海拉尔的时候，他把两只猫送给了同学。王益达至今还记得在人生低谷时从他们那里得到的温暖陪伴。
呼伦贝尔是中国最冷的地方之一。在王益达所在的地区，冬天的大部分时间就像电影里的暴风雪。呼伦贝尔的冬天，网图
在家复习期间，王毅达每天晚上都要出去跑几公里。现在回想起来，他非常佩服自己:“真奇怪我当时是怎么有勇气的。现在，我可能无法在那种情况下坚持下去。”
4个月后，王一达意识到自己的复习效率太低，他变得有些沮丧。CS的知识当时对他来说很难。于是在16年的春天，王毅达回到了自己曾经度过四年青春的黑龙江大学，在学校附近租了一个房间，每天去图书馆复习。
家里条件一般，租房的费用加上生活费，消耗了父母一个月收入的一半，于是有一段时间他每天吃馒头、咸菜、炒白菜。
“我学会了努力，只是比图书馆的其他同学努力一点点。”王毅达在那段时间肯定了自己。
但是今年，王毅达考研失败了。
一部分原因是他按照408(计算机考研代码)学习的。考试前两个月，他发现清华大学考了912(清华计算机考研代码)，号称国内最难的计算机考研。
92和408几乎完全不一样，每一科他的知识都有大量的盲点。最后成绩出来了，专业课还是落后16分。
5考研再出发|春天终将到来。
这一次，我真的又迷茫了。反正我就是想考上清华。——王毅达
17年春天，王毅达又开始了考研:去清华上课了！
为了在北京生存，他打算找一份程序员的工作。为此，他自学了三个月的C++:先是在Academy Online上看了李征老师和邓俊辉老师的课程，然后自学了一家驯马机构的视频课。
之后，王益达带着2000多元去了北京。好在到北京的当天下午，王一达就找到了工作，然后他就开启了边工作边复习的模式。
在北京租房是一笔不小的开支。幸运的是，在本科同学的帮助下，王一达先在同学公司的仓库里呆了几个星期。
之后，王益达在人大西门附近找了一间月租1000元的隔断房。因为平时吃的开销不多，他确实把它算到工资里了，否则他身上的钱在北京很难撑两个星期。工资发下来后，他搬到了同事租的次卧。
平时工作不太忙，也不加班。王一达基本上半天就能完成工作，剩下的半天就用来复习了。
他说:“有一次我在写一道数学题的时候，突然发现我的老板站在我身后，但是他连骂都没有骂我。现在回想起来，很感谢老板的包容。”
秋季开学后，将是和学校门卫斗智斗勇的一段时间。清华的正门被严格控制，所以王益达通过清华的一个小门潜入清华的校园上课。当时除了计算机操作系统(秋季不上课)，其他课他都上。
课后他在清华第四或第六教会自习，但第四教会更多。第四，经常有很多清华附中的学生来自习。当他们看起来生机勃勃时，他有时会羡慕他们。此外，他还会羡慕自考来的清华情侣。
为了全身心投入到复习中，王一达在10月份停止了工作。
他说起这段有趣的经历:“我没有辞职，而是请了假。是的，我考完试就回去工作了。老板把我忘了，但他没有拒绝我回去工作，所以我觉得自己在某些事情上真的很幸运。”
考研最后两个月，王毅达心理上开始有点紧张。
“压力很大，很多时候心里静不下来。那时候我脑子里经常想，今年再考不上怎么办，明年要不要三战。”王毅达说。
当时他的一个办法就是练书法来磨炼脾气，缓解心中无声的压力。
今年王毅达专业课考了近100分。不幸的是，数学并不令人满意。因为当时太紧张，监考老师卷起来的那一瞬间，他才意识到选择题的答题卡已经被串了一大堆。
最后分数比学校线高了10分，但是我很难过自己上不了清华本部的复试线。我以为今年又浪费了一年。
当时TBSI组织了一次转岗面试，他没有信心就不想报名了。但他咬着牙报了面试，想着自己会有上升的经历，明年进入复试就有经历了。
面试后几天，他正在床上玩手机，这时收到一封邮件，被录取了。他突然坐了起来，然后重重地撞在房子的横梁上，眼前一片漆黑时失去了知觉。......
王益达住在阁楼里。
室友说，他是在“砰”的一声之后好几秒才醒过来的，然后王一大太高兴了，当晚就带着和他同住一个房间的室友去烧烤。
学前算法竞赛
在进入研究生之前，王益达换了一份双薪的工作。这份工作并不是特别忙，所以他在空的业余时间参加了那年腾讯的广告算法大赛，大概持续了两个月。当时没有服务器，他只能用省下来的工资买一个1050Ti显卡的游戏本。
因为是第二次比赛，所以网上只有几个关于之前选手的经历和kaggle的比赛经历的帖子。
王毅达回忆起那场曲折的比赛:
“当时，我对此一无所知。我一个一个查了专业术语，算法，代码库。首先，我使用LightGBM模型，然后我使用FFM进行集成。也看了各种特色项目的帖子，进度慢的跟乌龟一样。
后来复赛，数据量白白增加，旅行本完全不够用。还好好心人帮了我。当时我帮一个参加竞赛的清华研究生处理一些模型问题(当时他没有论文，现在有很多论文)。他是一门课程的助教，有很多资金。他从大厂买了一个服务器资源借给我。
我跑了一些神经网络模型，整合后效果不错，排名都高了很多。比赛前发现了一个很强的特点，最后排在了二十几名。
正式宣判的时候，中间的一些成绩没有算进去，说是前几名的小号。最后我排在十几名。如果我有队友，我会取得更好的成绩。毕竟我太白了。"
比赛结束后，王毅达开始看吴恩达等大牌的课程视频，疯狂补一些基础。
6研究生院|忠实的妻子
清华这个新平台让我的视野开阔了很多，让我的机会也多了很多，而最重要的是黄老师等人对我的帮助。——王毅达
2018年9月，王益达正式迎来研究生生活。
王一达有机会去伯克利读一年，但是学费大概30-40万。看到这个数字后，他已经不抱任何幻想了。
TBSI是一种双选形式，老师和学生互相选择，但王毅达在没有导师的情况下学习了一整年。没有设备和资源，很难开展研究工作，他只好申请去大厂实习。凭借之前的比赛经验和从吴恩达等课程中学到的基础知识，他通过了百度NLP的面试。
百度NLP实习
百度NLP属于行业顶尖水平。王一达来这里做开域对话。百度的导师人很好，给他介绍了各种AI峰会，以及近期要完成的目标。
之后，王一达开始上手:先是看了一个调查，然后开始用open-nmt的库重新编写一个自动编码器的seq2seq模型。这个小工作花了他很多时间，对他来说相当困难。后来他掌握了之后，后来很多项目都在用这个库。
腾讯AI实验室实习
在百度NLP实习了一段时间后，王一达又去了腾讯的AI实验室。恰好腾讯的AI Lab正赶上一个重量级的离职，AI Lab开始转型做业务。他先做了三个月的CS服务器端开发。
后来他做了三个月的图卷分布式系统，属于优化的分布式存储。一开始用tensorflow，后来他发现pytorch支持的更好，就转到pytorch了。......
“这两个国内顶级厂商的实习经历对我帮助很大，某种程度上让我见识了这个世界。”王毅达说。
认识一下黄先生。
另一方面，学校离不开导师。有一天，王一达加了一个微信群，正好看到黄老师在做talk，看到他的分享。通过他的讲解，他对对话系统有了直观的认识，觉得对话系统很神奇，是未来机器人智能非常重要的一个环节。
于是他看了一些对话方向的文献，看了黄老师团队的文章，把这些知识补上了，虽然还是缺少太多的基础。但他还是鼓起勇气，冒昧地给黄老师发了一封邮件，问他是否可以和他一起做科研。
经过一番采访，终于来到实验室，从数据入手。王益达回忆说:
面试的时候，黄老师没有问我过去的经历，也没有关心我的本科学历等因素。他好像只关心我目前的NLP水平和编码能力，觉得我有些潜力，就收留了我。
我心里真的很感激。说实话，我对自己过去学历差，学术经验不足感到愧疚。没想到这么幸运。
来京前，黄老师让银河学长带他去协助一个人机对话比赛，处理了一些数据，跑了一些对话产生的基线模型评测指标，介绍了Transformer，等模型，多看了一些开域对话产生的论文。
到了北京(清华大学的总部)后，他从LCCC开始。一开始他不太明白数据集的重要性，一心研究算法。
他只是想认真快速的完成这个，有了基础之后，就开始做其他的事情。
然后王一达就开始没日没夜的清理这个数据集。他记得当时他是第一个来到实验室最后一个离开的(大四的柯佩还在实习)，但他说其实黄老师是肝病最重的。当他没有假期，没有其他紧急事情要做的时候，他几乎每天早上7点就在实验室，晚上很晚才离开。黄先生多年来一直保持着这样的科研状态。
王一达写文章和PPT基础差。虽然他一开始读了很多论文，但是他的阅读方法不够科学，没有学习到别人写文章的方法和做科研的经验。黄老师独自带空教他做PPT，帮他修改文章。
但我好像真的很笨，总是慢半拍。直到现在，我的写作和PPT都有了一点进步。
但永远是能力提升，而不是水文章。最近刚完成一篇从研究到设计到实验再到修改的自撑论文。我刚把它提交给AAAI，我感觉还可以。"
至于NLPCC的最佳学生论文，虽然是我的心血，但也要感谢黄老师的眼光和指导。
7科研经历|科研志向的“败类”
关于科研，其实网上大佬的经验和各种教授的经验更可靠，我这里只从学渣的角度简单说下吧。——王毅达
1.想开始科研，必须要有扎实的基础，包括编码和理论。
2.最好是有人带去做科研，也要做足功课，比如阅读调查。前人踩过的坑，要尽量避免。
3.科研不能太急功近利，也不能太久没有成果:熟能生巧。你要踏踏实实的负责一个项目，贯穿过程，慢慢成长。
4、做科学研究要选择正确的方向:
有些方向很乱很难，有些落地场景有限。这样的方向不适合科研，失败的可能性大，费用也不一定负担得起。
而如果有更合适的大方向，细分的问题也是很值得注意的。有些方向比较热，竞争比较激烈；有些方向虽然热，但是需要设备和资源(比如前期培训)；还有一个新的方向，现有的研究不多也不值得，成本也不大(不像拿数据那种做很辛苦很累的事)，所以出成果的概率比较高。
5、科研过程应该规范化:
问题，动机，出发点就足够有意义了。这些最好得到老师和学长的认可。作为小白，我想的很多事情都很可笑。不要觉得自己很理想主义。被认可后，就要看别人的实验如何扎实，如何分析洞察，如何证明贡献的可靠性和价值。
6.写作、展示和表达非常重要:
这完全是黄老师耐心教出来的。感谢老师，虽然我很抵触，不喜欢PPT和演示文稿，但是这个很重要！！！
7.运气、“玄学”、“爱情”等等:
科学研究需要力量、意志力和运气。同时，科研也不完全是竞赛。科研是为了解决、贡献、推动某个东西。少量的力量就是一块砖，就像大家一起建长城，是为了建好长城，造福人民。这不可能是一场看谁能把长城建得最好的比赛。能更努力的人也在贡献。
除了这些运气、努力和意志力，我想可能还有一个对我来说更重要的因素，那就是我的老母亲。她从小就给了我一种“自我无知”，没有给自己的人生设上限。母亲小学没毕业。她很少说“你什么都做不了”或者“你必须做点什么”。
印象中，她对我说得最多的就是“你能行”、“你是最棒的”、“那有什么不好？我会永远支持你”。
最后，王一大分享了自己旅途中的想法:
随着年龄的增长，我看到了社会上很多壁垒，围城，很多不可能。但是妈妈给我的成长环境一直让我充满希望，让我看到了无限的可能，就像科技的进步让世界变得无限。
AI科技评论了解到，最近在微信实习的王益达，也在积极对抗赵球。目前，他已经得到了一些大制造商的报价。
AI科技评论祝王毅达和所有AI人脚踏实地，坚守内心，做出自己的世界~
[图书礼品优惠]
AI科技评论与【机械工业出版社华章公司】为您带来15本《新蜥蜴书》正版新书。
10月24日头条文章《快乐1024！最受欢迎的AI好书《蜥蜴书2版》送给大家！在留言区留言，谈谈你对这本书内容的看法和期待，或者你对机器学习/深度学习的理解。
《AI科技评论》将在留言区选取15位读者，每人送出一本《机器学习实践:基于Scikit-Learn、Keras和TensorFlow(原书第2版)》(在其他公众号已收到本书者重复参与无效)。
活动规则:
1.在留言区留言，评论最高的前15名读者将获得一本礼品册。获得图书礼品的读者请联系aitechreview。
2.留言内容会被筛选，如“接我”等内容不会被筛选，不会中奖。
3.本活动时间为2020年10月24日至2020年10月31日(23:00)，活动推送中只允许一次抽奖。
