我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:彩63彩票 > 多任务处理 >

复旦大学陈俊坤:自然语言处理中的多任务学习 AI 研习社职播间第

归档日期:05-13       文本归类:多任务处理      文章编辑:爱尚语录

  雷锋网 AI 科技评论编者按:过去几年,深度学习在自然语言处理中取得了很大的进展,但进展的幅度并不像其在计算机视觉中那么显著。其中一个重要的原因是数据规模问题。多任务学习是将多个任务一起学习,充分挖掘多个任务之间的相关性,来提高每个任务的模型准确率,从而可以减少每个任务对训练数据量的需求。

  近日,在雷锋网(公众号:雷锋网)AI 研习社公开课上,复旦大学计算机系在读硕士陈俊坤分享了其所在研究组关于多任务学习在自然语言处理领域的最新工作。公开课回放视频网址:

  陈俊坤,复旦大学计算机系在读硕士,导师是邱锡鹏副教授,主要研究方向为自然语言处理,多任务学习等。其研究工作曾在 AAAI, IJCAI 上发表。

  本次的分享主要有两个目的:一是介绍一下复旦大学 NLP 实验室的相关工作;二是让愿意攻读研究生的同学对国内实验室有更多的了解,从而在选择攻读研究生上更有目标性。

  分享之前,先进行一下自我介绍,我目前在复旦大学 NLP 实验室攻读研三,师从邱锡鹏副教授,现在也是字节跳动 AI Lab 的实习生,研究方向主要是自然语言处理、多任务学习和迁移学习。今天的分享,我会重点讲一下多任务学习。

  另外介绍一下复旦大学 NLP 实验室,它致力于利用机器技术,理解和处理人类语言,拥有国内领先的团队,实验室的老师都有非常丰富的经验。我所在的研究组主要聚焦于深度学习和自然语言处理领域,包括语言表示学习、词法/句法分析、文本推理、问答系统等方面,指导老师是邱锡鹏副教授,近几年来,我们发表国际顶级会议/期刊 50 余篇,还获得了 ACL 2017 杰出论文;在 SQUAD 2.0 上获得第二的成绩,并在 SQUAD 1.1 上多次获得第一;另外我们也开发开源自然语言处理系统,希望能帮助大众解决更多问题,其中包括 FudanNLP(国内最早的开源 NLP 系统之一)、fastNLP(一个模块化、自动化、可扩展的 NLP 系统)。

  我们知道图灵测试是指,当一个人与机器对话时,他无法判断对方是机器还是人,那机器就通过了图灵测试。这就引出了自然语言处理的核心:让机器去理解和生成自然语言。

  那什么是自然语言处理?我们可以大致将其理解为人类语言,区别于程序语言等人工语言。自然语言处理任务包括语音识别、自然语言理解、自然语言生成、人机交互以及所涉及的中间阶段,目前可以归为是人工智能和计算机科学的交叉子学科。

  自然语言处理的发展历程可以这样总结: 在 1990 年以前,多基于规则的方法进行自然语言处理;90 年代以后,逐渐引入一些统计学习的方法;目前,自 2012 年开始,随着的深度学习的热潮,开始基于深度学习神经网络端到端的训练进行自然语言处理。总之,自然语言处理就是一个理解语言(文本到机器)、生成(机器到文本)再到交互的过程。

  (关于理想中的自然语言处理流程的具体讲解,请回看视频 00:08:10 处)

  下面讲一下基于深度学习的自然语言处理是怎样的。首先讲一下如何在计算机中表示语言的语义?

  计算机中语言语义的表示之前是采用一些知识库的规则;到了深度学习中,则采用分布式的表示方法。下面可以看一个图像的案例:

  (关于语言语义表示及其案例的具体讲解,请回看视频 00:09:00 处)

  这里就要引出在自然语言处理中非常重要的概念——词嵌入(Word Embeddings),这个概念从 2013 年开始逐渐火热起来。

  词表示之后,就要考虑句子表示,不过句子表示的难度远大于词表示,这里主要讲一下在神经网络中怎样表示句子。

  在得到字、句子表示之后,如果要对自然语言处理任务的类型进行总结,可以划分为以下几个类别:

  (对于深度学习在自然语言处理中所存在困境及其原因和解决方法——无监督学习和多任务学习的具体讲解,请回看视频 00:13:51 处)

  下面讲一下自然语言下的多任务学习。理想状态下,自然语言处理是按照输入到词法分析到句法分析再到多任务的过程,而多任务的自然语言处理,可以使用一个共享模块,同时进行词法分析、句法分析以及任务这几项任务。

  深度学习下的多任务学习,一般是共享一些多层次的神经网络,可以总结为以下三种方式:

  (关于自然语言处理中的多任务学习种类以及深度学习下的多任务学习方式的具体讲解,请回看视频 00:23:15 处)

  (关于对这几类共享模式的案例介绍以及共享模式探索的具体讲解,请回看视频 00:26:35 处)

  先讲一下从去年开始比较火的阅读理解,即机器阅读一篇或多篇文档,并回答一些相关问题。它对于自然语言处理来说,是比较难的任务类型,这就引出了两个 benchmark。

  第一个是 decanlp,它将很多 Q1 任务合并在一起作为多任务学习的联合训练集,每个任务有不同评价指标,每个任务的类型差异也很大,有的是翻译,有的是摘要。

  第二个是最近被大家刷爆的数据集 GLUE,它是 NYU 做的,跟 decanlp 理念差不多,也是跟 Q&A、情感分类类似的数据集。

  这两个数据集还有很多发展的空间,但是我个人感觉最近大家刷榜的方式有点走偏了。

  (关于这两个 benchmark 的具体讲解以及讲者的一些思考分享,请回看视频 00:46:50 处)

  以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网 AI 研习社社区()观看。关注微信公众号:AI 研习社(okweiwu),可获取最新公开课直播时间预告。

  瑞幸、斗鱼赴美上市;滴滴首次公布抽成比例;刘强东律师证实公寓视频 雷锋早报

  京东回应「淘汰三类人、取消快递员底薪」;华为Mate X折叠屏正式上架;苹果转型布局AppleCar汽车|雷锋早报

  雷锋网当选 IJCAI 50 周年媒体特别伙伴,顶会赞助计划重磅开启!

  人工智能先驱、斯坦福大学教授 Nils Nilsson 今日逝世,享年 86 岁

  案例分析丨成本降低 20%、流程缩短 10%,希捷如何让智能制造从自动化迈向智能化

本文链接:http://ashtonstewart.net/duorenwuchuli/219.html