微淘卡盟 - 一周 - 正文

百度发布可持续学习的语义理解框架ERNIE 2.0

2019-08-19 00:15网易智能 / 网易


ERNIE 2.0模型结构

【网易智能讯7月31日消息】今天,百度宣布ERNIE升级到了2.0版本,据介绍,继1.0后,ERNIE英文任务在共计16个中英文任务上超过了BERT和XLNet, 取得了SOTA效果。

据了解,该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。

目前,百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。(定西)

本文来源:网易智能 责任编辑:顾雨芯_NBJS8596

编辑:

版权与免责声明:

凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址:http://www.yiyiceng.cn/news/2019/08/19/952359.html

转载本站原创文章请注明来源:微淘卡盟

点击排行
焦点

科学家发现“脱壳壁虎”:可脱掉皮肤逃生

  有网友调侃,这脱了马甲,真的认不出来了?! 【萦⒐睹咳?...详情

树木年轮揭晓神秘地磁“太阳事件”

  据国外媒体报道,大约7000年前,地球被一束强烈的宇宙射 ...详情

三星可折叠手机最早年底发布 仍面临技术问题

  三星每年都会推出两款主要的安卓旗舰机,上半年的Galax ...详情

三星供应链悖论:为何仍重用引发Note 7爆炸的“元凶”

  鸡年伊始,刚刚从Note 7爆炸门调查抽身出来的三星又 ...详情

英特尔将斥70亿美元在美建半导体厂 可雇佣3000人

  据美国《华尔街日报》2月9日报道,当地时间8日,美国总统 ...详情

CopyRight ? 2017 微淘卡盟 www.yiyiceng.cn, All Rights Reserved 锐意网 版权所有

使用锐意网前必读 | 关于我们 | 免责声明 | 隐私政策 | 微淘卡盟 | 联系我们