网站首页关于我们产品中心解决方案新闻资讯客户案例知识专区售后服务联系我们留言反馈

您当前位置：网站首页 >> 知识专区

谷歌大脑组合模型霸榜 SuperGLUE

文章来源：微信号CSDN 作者：八宝粥上传时间：2021-1-7 浏览量：1066

“哦我亲爱的老伙计，感谢 ZiruiWang 先生，他及时的提交让 Google Brain 在 2020 年还能在 SuperGLUE 榜首霸占大约 12 个小时.”

12 月 30 日，他向大家介绍了来自微软 DeBERTa 团队取得了明显进展，并在评论当中对 T5 模型进行简单的评价。

12 月 31 日，Zirui Wang 的 T5 和 Meena 结合的模型总得分 90.0 分，以 0.1 分的优势击败了 DeBERTa 团队的组合模型占据榜首。0.1 的差距看起来很小，但事实上，微软比 SuperGLUE 人类基线也之只多了 0.1 分。

SuperGLUE 是什么？

SuperGLUE 到底是什么呢？SuperGLUE 是 Facebook 人工智能研究中心、Google DeepMind、华盛顿大学以及纽约大学在 2019 年 8 月共同推出的，用于衡量现在高性能语义理解 AI 的基准测试。它的前身是纽约大学、华盛顿大学和 Google DeepMInd 在 2018 年 4 月共同组建的基准测试 GLUE (General Language Understanding Evaluation) benchmark。两个网站页面基本相似，他们的区别在于研究单位和评价指标不同。SuperGLUE 的参与研究单位多了 Facebook 人工智能研究中心和三星研究院。评价指标方面，GLUE 基准测试包含了 9 个语句理解任务。分别是

单句任务（CoLA 语言可接受语料库；SST-2 斯坦福情绪树库）
相似性和外派任务（MRPC 微软研究释义语料库；QQP Quora 问答；STS-B 语义文本相似性基准）
推理任务（MNLI 多体自然语言推理语料库；QNLI 斯坦福问答数据集；RTE 识别文字蕴含；WNLI 威诺格拉德自然语言推理）

在榜单当中, 由 GLUE 提供，目前排名 14 的人类性能基准 (GLUE Human baselines) 曾一度成为各大模型的头号目标。该榜单名气之大，吸引了很多高校和名企前来挑战，不断刷新纪录，包括阿里、平安、华为等。

后来，GLUE 难度不够了，SuperGLUE 也就应运而生。SuperGLUE 在 GLUE 的基础上增加了 Facebook 人工智能和三星研究院的支持，与此同时，它的基准测试的难度也大大提高。

两个基准测试在网页上并无太大差别，区别就是测试任务。通俗来说，如果 GLUE 的难度是语言理解的“十八铜人阵”，打败 GLUE baselines 就印上青龙白虎，那 SuperGLUE 就得是“八大派围攻光明顶”，没有三五年年内功别想活着下山，SuperGLUE human baseline 89.8 分在那边守着，Google 自己家 T5 都还有差距，这个英雄榜，真的不是谁都能上的。这些可能不太直观，举点更直接的例子，GPT-3 评分 71.8分，BERT 评分 69分。对比起来，90 分是不是就是独一档的存在？人们一度怀疑，SuperGLUE Human Baselines 还能被超越吗？

谁占了榜首？

此前一直是 SuperGLUE Human baselines 占据榜首。但 2020 年12 月 30 日，Google 团队的 T5+Meeena 模型和微软 DeBERTa 团队同时上榜，位列前二，得分分别是 90.0，89.9。这也意味着，SuperGLUE Human baselines 不再是不可逾越的高峰。仔细对比就会发现，不是挑战者太弱，是 SuperGLUE Human baselines 太强！COPA(选择合理的替代方案)满分，WSC(威诺格拉德模式挑战)满分，CB(一个短文本语料库，包含从句)98.9 分。真的很难超越。不过，一切都很难说。2019 年，埃鲁德·基普乔格不也是跑进 2 小时，突破了人类马拉松的极限了嘛～有兴趣的同学可以查看官方网站进行探索，也许下一个得此成就的就是你！参考资料：微软 DeBERTa 模型论文：https://arxiv.org/abs/2006.03654
supergluebenchmark 官网：https://super.gluebenchmark.com/
SuperGLUE 论文链接：https://arxiv.org/abs/1905.00537
gluebenchmark 官网：https://gluebenchmark.com/
GLUE 论文链接：https://arxiv.org/abs/1804.07461

【打印此页】【关闭网页】

上一个知识专区：放弃 PHP，选择 Node.JS 的 8 个理由！
下一个知识专区：PostgreSQL 摘得 DB-Engines 2020 年度数据库

30

2022-12

机器学习编译器的前世今生

29

2021-06

计算机网络的 89 个核心概念

06

2021-01

从苹果 M1 看芯片技术发展趋势

对于开发者来说，今年频频登上科技版头条的新闻莫过于苹果发布的 M1 芯片了，业界首款使用领先的 5nm 技术的 PC 芯片。在苹果 M1 之前，作者从来没想过基于 ARM 的架构可能在性能上超越 X86。但为什么苹果之前没人这么做，或者说做不到呢？

30

2022-12

附近品茶QQ联系方式

10

2023-03

上门服务软件哪个好_手机上门服务app_百约网

07

2022-02

公网IP、私网IP、动态IP、静态IP

18

2022-02

静态路由简介及配置

29

2021-06

python自制一款职位分析器，一键生成岗位分析报告

友情链接： 云港互联

请各公司推销人员注意：我单位拒绝任何方式、任何形式的电话推销，请勿拔打我单位客服热线进行电话推销，谢谢合作！
公司名称：100元4个小时上门服务电话
100元4个小时上门服务电话-同城约茶服务十点击查看网站【www.sscmtv.com】200元3小时上门不限次二维码-微信qq上600块3小时不限次数-一百【点击进入立即约茶】。小妹
关键词：知识专区：谷歌大脑组合模型霸榜 SuperGLUE,100元4个小时上门服务电话【点击进入网站查看约茶服务】。网上怎么找上门服务，附近品茶服务，喝茶服务联系方式，附近初中生300块电话号码，不限次品茶，一条龙的服务上门二维码，100块钱上门服务电话号码，200元1小时做完付款十同城附近约茶服务：【进入平台查看预约服务】。同城包小妹电话是，小姐服务，本地同城附近200元，24小时上门二维码，1243567800元3小时上门服务电话，500块钱3小时上门服务电话，，联系同城约茶服务，【点击这里进入上门服务】。附近大泡50元的电话

网站管理