今年高考英语AI得分134复旦武大校友这项研究有点意思

　　在2018-2021年的10套真题测试中，AI的分数都在125分以上，最高纪录为138.5分，听力和阅读理解还拿过满分。

　　它的参数量只有GPT-3的16分之一，平均成绩却比GPT-3高出15分。其背后的秘诀名叫重构预训练 （reStructured Pre-training），是作者提出的一种新学习范式。

　　具体来看，就是把维基百科、YouTube等平台的信息重新提取重构，再喂给AI进行训练，由此让AI具有更强的泛化能力。

　　论文题目很简单，就叫reStructured Pre-training（重构预训练，RST）。核心观点凝练来说就是一句话，要重视数据啊！

　　比如像维基百科，Github，里面包含了各种可以供模型学习的信号：实体，关系，文本摘要，文本主题等。这些信号之前由于技术瓶颈都没有被考虑。

　　他们以信号为单位、结构化地表示数据，这很类似于数据科学里我们常常将数据构造成表或JSON格式，然后通过专门的语言（如SQL）来检索所需的信息。具体来看，这里的信号，其实就是指数据中的有用信息。

　　然后，就需要在各种平台上挖掘数据、提取信号，作者把这个过程比作了从矿山里寻宝。接下来，利用prompt方法，就能将这些来自不同地方的信号统一成一种形式。

　　结果表明，在多个数据集中，RST-T、RST-A零样本学习的表现，都优于GPT-3的少样本学习性能。而为了更进一步测试新方法的表现，作者还想到了让AI做高考题的方法。

　　他们表示，现在很多工作方法走的都是汉化GPT-3的思路，在评估的应用场景上也是跟随OpenAI、DeepMind。

　　基于对当下AI模型发展的观察，作者认为可以开辟出一条新的赛道试试，所以就想到了用高考给AI练练手。

　　最终，炼出了这套高考英语AI模型，也可以叫她为Qin。从测试结果可以看到，Qin绝对是学霸级别了，10套卷子成绩都高于T0pp和GPT-3。此外，作者还提出了高考benchmark。

　　如果从更深层次来看，作者认为，重构预训练或许会成为NLP的一种新范式，即把预训练/微调过程视为数据存储/访问过程。

　　P4. 预训练，提示，预测范式（Pre-train, Prompt, Predict）但是基于当下对NLP发展的观察，他们认为或许之后可以以一种data-centric的方式来看待问题。

　　也就是，预训/精调、few-shot/zero-shot等概念的差异化会更加模糊，核心只关注一个点——

　　作者认为，NLP经历了特征工程、架构工程、目标工程、提示工程，当下正在朝着数据工程方向发展。复旦武大校友打造

　　去年，她被AAAI 2022、NeurIPS 2021分别接收了一篇论文，还获得了ACL 2021 Best Demo Paper Award。论文的通讯作者为卡内基梅隆大学语言技术研究所（LTI）的博士后研究员刘鹏飞。

　　博士期间，他包揽了各种计算机领域的奖学金，包括IBM博士奖学金、微软学者奖学金、腾讯人工智能奖学金、百度奖学金。One More Thing

　　就是为了带着大家去了解NLP发展的历史，以及我们所展望的未来是怎样的，让每一个研究者都能有一定的代入感，感受到自己去带领着预训练语言模型们(PLMs)通过矿山寻宝走向更好明天的一个过程。论文结尾，还藏了一些惊喜彩蛋。

　　阅读原文特别声明本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。15