0871-64605728

网站首页关于我们产品中心解决方案新闻资讯客户案例知识专区售后服务联系我们留言反馈

您当前位置：网站首页 >> 知识专区

谷歌大脑组合模型霸榜 SuperGLUE

文章来源：微信号CSDN 作者：八宝粥上传时间：2021-1-7 浏览量：791

“哦我亲爱的老伙计，感谢 ZiruiWang 先生，他及时的提交让 Google Brain 在 2020 年还能在 SuperGLUE 榜首霸占大约 12 个小时.”

12 月 30 日，他向大家介绍了来自微软 DeBERTa 团队取得了明显进展，并在评论当中对 T5 模型进行简单的评价。

12 月 31 日，Zirui Wang 的 T5 和 Meena 结合的模型总得分 90.0 分，以 0.1 分的优势击败了 DeBERTa 团队的组合模型占据榜首。0.1 的差距看起来很小，但事实上，微软比 SuperGLUE 人类基线也之只多了 0.1 分。

SuperGLUE 是什么？

SuperGLUE 到底是什么呢？SuperGLUE 是 Facebook 人工智能研究中心、Google DeepMind、华盛顿大学以及纽约大学在 2019 年 8 月共同推出的，用于衡量现在高性能语义理解 AI 的基准测试。它的前身是纽约大学、华盛顿大学和 Google DeepMInd 在 2018 年 4 月共同组建的基准测试 GLUE (General Language Understanding Evaluation) benchmark。两个网站页面基本相似，他们的区别在于研究单位和评价指标不同。SuperGLUE 的参与研究单位多了 Facebook 人工智能研究中心和三星研究院。评价指标方面，GLUE 基准测试包含了 9 个语句理解任务。分别是

单句任务（CoLA 语言可接受语料库；SST-2 斯坦福情绪树库）
相似性和外派任务（MRPC 微软研究释义语料库；QQP Quora 问答；STS-B 语义文本相似性基准）
推理任务（MNLI 多体自然语言推理语料库；QNLI 斯坦福问答数据集；RTE 识别文字蕴含；WNLI 威诺格拉德自然语言推理）

在榜单当中, 由 GLUE 提供，目前排名 14 的人类性能基准 (GLUE Human baselines) 曾一度成为各大模型的头号目标。该榜单名气之大，吸引了很多高校和名企前来挑战，不断刷新纪录，包括阿里、平安、华为等。

后来，GLUE 难度不够了，SuperGLUE 也就应运而生。SuperGLUE 在 GLUE 的基础上增加了 Facebook 人工智能和三星研究院的支持，与此同时，它的基准测试的难度也大大提高。

两个基准测试在网页上并无太大差别，区别就是测试任务。通俗来说，如果 GLUE 的难度是语言理解的“十八铜人阵”，打败 GLUE baselines 就印上青龙白虎，那 SuperGLUE 就得是“八大派围攻光明顶”，没有三五年年内功别想活着下山，SuperGLUE human baseline 89.8 分在那边守着，Google 自己家 T5 都还有差距，这个英雄榜，真的不是谁都能上的。这些可能不太直观，举点更直接的例子，GPT-3 评分 71.8分，BERT 评分 69分。对比起来，90 分是不是就是独一档的存在？人们一度怀疑，SuperGLUE Human Baselines 还能被超越吗？

谁占了榜首？

此前一直是 SuperGLUE Human baselines 占据榜首。但 2020 年12 月 30 日，Google 团队的 T5+Meeena 模型和微软 DeBERTa 团队同时上榜，位列前二，得分分别是 90.0，89.9。这也意味着，SuperGLUE Human baselines 不再是不可逾越的高峰。仔细对比就会发现，不是挑战者太弱，是 SuperGLUE Human baselines 太强！COPA(选择合理的替代方案)满分，WSC(威诺格拉德模式挑战)满分，CB(一个短文本语料库，包含从句)98.9 分。真的很难超越。不过，一切都很难说。2019 年，埃鲁德·基普乔格不也是跑进 2 小时，突破了人类马拉松的极限了嘛～有兴趣的同学可以查看官方网站进行探索，也许下一个得此成就的就是你！参考资料：微软 DeBERTa 模型论文：https://arxiv.org/abs/2006.03654
supergluebenchmark 官网：https://super.gluebenchmark.com/
SuperGLUE 论文链接：https://arxiv.org/abs/1905.00537
gluebenchmark 官网：https://gluebenchmark.com/
GLUE 论文链接：https://arxiv.org/abs/1804.07461

【打印此页】【关闭网页】

上一个知识专区：放弃 PHP，选择 Node.JS 的 8 个理由！
下一个知识专区：PostgreSQL 摘得 DB-Engines 2020 年度数据库

10

2022-06

LLVM之父Chris Lattner：编译器的黄金时代

30

2022-12

注解是什么？

20

2021-08

案例分享：Qt政务标签设计器，标签排版软件定制与打印

29

2021-06

计算机网络的 89 个核心概念

07

2022-02

Windows的权限（用户、组和访问控制）

04

2022-03

计算机视觉系列教程2-5：图像金字塔送她一朵玫瑰(附代码)

03

2021-09

❤️五万字《十大排序算法》动图讲解❤️

21

2022-10

Flutter 3.3 之 SelectionArea 好不好用？用 “Bug” 带你全面了解它

0871-64605728

友情链接： 云港互联

请各公司推销人员注意：我单位拒绝任何方式、任何形式的电话推销，请勿拔打我单位客服热线进行电话推销，谢谢合作！
公司名称：云南昂略科技有限公司
联系地址：云南省昆明市官渡区永平路188号鑫都韵城写字楼6栋1004号
联系电话：0871-64605728、传真号码：0871-64605728
电子邮箱：19701580@qq.com
关键词：知识专区：谷歌大脑组合模型霸榜 SuperGLUE,云南昂略科技有限公司，云南移动执法平台建设，云南智慧安防调度系统，云南头戴式安全终端，昂略科技

网站管理