AI视野·今日CS.NLP 自然语言处理论文速览
Tue, 19 Oct 2021
Totally 91 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

NormFormer: Improved Transformer Pretraining with Extra Normalization Authors Sam Shleifer, Jason Weston, Myle Ott 在预训练期间，Pre LayerNorm 转换器受到梯度幅度失配的影响，早期层的梯度比后面的层大得多。这些问题可以通过我们提出的 NormFormer 架构来缓解，该架构为每层添加了三个归一化操作，一个是自注意力后的层范数，自注意力输出的头部智能缩放，以及第一个全连接层之后的层范数。额外的操作产生的计算成本可以忽略不计，参数增加 0.4，但提高了从 1.25 亿到 27 亿个参数的因果和掩码语言模型的预训练困惑和下游任务性能。例如，在我们最强的 1.3B 参数基线之上添加 NormFormer 可以更快地达到相同的困惑 24，或者在相同的计算预算下更好地收敛 0.27 的困惑。该模型达到 GPT3 Large 1.3B 零射击性能 60 倍。对于掩码语言建模，NormFormer 将微调的 GLUE 性能平均提高了 1.9。

SentimentArcs: A Novel Method for Self-Supervised Sentiment Analysis of Time Series Shows SOTA Transformers Can Struggle Finding Narrative Arcs Authors Jon Chun SOTA Transformer 和 DNN 短文本情感分类器在 IMDB 电影评论等狭窄领域报告了超过 97 的准确率。现实世界的性能要低得多，因为传统模型过拟合基准，并且对不同或更开放的领域文本的泛化能力很差。本文介绍了 SentimentArcs，这是一种新的自监督时间序列情感分析方法，它解决了传统监督情感分析有限标记训练数据集和泛化能力差的两个主要局限性。大量不同的模型为自监督学习提供了综合的基本事实。新颖的指标联合优化了对每个可能的语料库模型组合的详尽搜索。对语料库和模型的联合优化解决了泛化问题。简单的可视化利用叙述中的时间结构，因此领域专家可以快速发现趋势，识别关键特征，并注意到数百条弧线和数百万个数据点的异常情况。

Measuring Cognitive Status from Speech in a Smart Home Environment Authors Kathleen C. Fraser, Majid Komeili 人口正在老龄化，并且变得更加精通技术。联合国预测，到 2050 年，世界上有六分之一的人超过 65 岁，而 2019 年这一比例为十分之一，而在欧洲和北美，这一比例将增加到四分之一。与此同时，拥有智能手机的美国 65 岁以上成年人的比例从 2013 年到 2017 年上升了 24 个百分点，大多数人在家中都可以上网。智能设备和智能家居技术具有巨大的潜力，可以改变人们的衰老方式、晚年独立生活的能力以及他们与护理圈的互动。认知健康是老年独立和幸福的关键组成部分，智能家居提供了许多以连续、不显眼的方式测量认知状态的机会。在本文中，我们将语音作为认知健康的测量工具。现有的认知评估方法存在许多可以通过智能家居语音传感技术解决的局限性。我们从一个关于从语音测量认知状态的简短教程开始，包括一些指向感兴趣的读者的有用开源软件工具箱的指南。然后，我们概述了用于测量认知健康的主动和被动智能家居语音传感试点研究的初步结果，并总结了该领域下一波工作的一些建议和挑战陈述，以帮助克服技术问题

Ceasing hate withMoH: Hate Speech Detection in Hindi-English Code-Switched Language Authors Arushi Sharma, Anubha Kabra, Minni Jain 社交媒体已成为人们在全球范围内表达意见的基石。由于匿名特性带来更大的自由感，可以在网上无视社交礼仪攻击他人而不会面临严重后果，不可避免地传播仇恨言论。目前筛选在线内容和抵消仇恨传播的措施还远远不够。造成这种情况的一个因素是社交媒体中区域语言的流行以及语言灵活的仇恨言论检测器的缺乏。拟议的工作重点是分析印地语英语代码切换语言中的仇恨言论。我们的方法探索了转换技术来捕获精确的文本表示。为了包含数据结构并与现有算法一起使用，我们开发了 MoH 或 Map Only Hindi，这意味着印地语中的爱。 MoH 管道包括语言识别、罗马到梵文印地语的音译，使用罗马印地语单词的知识库。最后，它采用了微调的多语言 Bert 和 MuRIL 语言模型。我们对三个数据集进行了多项定量实验研究，并使用 Precision、Recall 和 F1 指标评估了性能。第一个实验研究了 MoH 使用经典机器学习模型映射文本的性能，并显示 F1 分数平均增加了 13。第二个将提议的工作分数与基线模型的分数进行比较，并提供 6 的性能提升。最后，第三个使用现有的音译库通过各种数据模拟达到了建议的 MoH 技术。在这里，MoH 的表现比其余部分高 15 倍。

Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches Authors Ravindra Nayak, Raviraj Joshi 最近，社交媒体平台帮助人们与更广泛的受众建立联系和沟通。但这也导致了网络欺凌的急剧增加。检测和遏制仇恨言论对于保持社交媒体平台的理智至关重要。此外，在这些平台上经常使用包含一种以上语言的代码混合文本。因此，我们提出了自动技术来检测来自抓取的 Twitter 的代码混合文本中的仇恨言论。我们特别关注代码混合英语印地语文本和基于转换器的方法。虽然常规方法独立分析文本，但我们也以父推文的形式使用内容文本。我们尝试在单编码器和双编码器设置中评估多语言 BERT 和印度语 BERT 的性能。第一种方法是使用分隔符连接目标文本和上下文文本，并从 BERT 模型中获得单一表示。第二种方法使用双 BERT 编码器独立编码两个文本，并对相应的表示进行平均。我们表明使用独立表示的双编码器方法产生更好的性能。我们还采用简单的集成方法来进一步提高性能。

Automatic Learning of Subword Dependent Model Scales Authors Felix Meyer, Wilfried Michel, Mohammad Zeineldeen, Ralf Schl ter, Hermann Ney 为了提高最先进的自动语音识别系统的性能，通常的做法是包含外部知识源，例如语言模型或先验修正。这通常通过对数线性模型组合使用每个模型的单独缩放参数来完成。

COVIDRead: A Large-scale Question Answering Dataset on COVID-19 Authors Tanik Saikh, Sovan Kumar Sahoo, Asif Ekbal, Pushpak Bhattacharyya 在这种大流行情况下，提取与 COVID 19 相关的任何相关信息将对整个社区非常有益。在本文中，我们提出了一个非常重要的资源 COVIDRead，这是一个斯坦福问答数据集 SQuAD，类似于超过 10 万个问答对的数据集。数据集由上下文答案问题三元组组成。主要来自上下文的问题是以自动方式构建的。之后，系统生成的问题由人类注释者手动检查。这是一种宝贵的资源，可以用于多种用途，从普通人对这种非常罕见的疾病的查询到管理期刊副主编的文章。我们建立了几个基于端到端神经网络的基线模型，它们获得了 32.03 的最低 F1 和 37.19 的最高 F1。

Intent Classification Using Pre-Trained Embeddings For Low Resource Languages Authors Hemant Yadav, Akshat Gupta, Sai Krishna Rallabandi, Alan W Black, Rajiv Ratn Shah 构建不依赖于特定语言的自动语音识别 ASR 的口语理解 SLU 系统是语言处理中一个重要但较少探索的问题。在本文中，我们提出了一项比较研究，旨在采用预训练的声学模型在低资源场景中执行 SLU。具体来说，我们使用了使用 Allosaurus 提取的三种不同的嵌入，一个预训练的通用电话解码器 1 Phone 2 Panphone 和 3 Allo 嵌入。然后将这些嵌入用于识别口语意图。我们对三种不同语言的英语、僧伽罗语和泰米尔语进行实验，每种语言都有不同的数据大小，以模拟高、中、低资源场景。我们的系统将最先进的 SOTA 意图分类准确度提高了大约 2.11（僧伽罗语）和 7.00（泰米尔语），并在英语方面取得了有竞争力的结果。

Efficient Sequence Training of Attention Models using Approximative Recombination Authors Nils Philipp Wynands, Wilfried Michel, Jan Rosendahl, Ralf Schl ter, Hermann Ney 序列判别训练是提高自动语音识别系统性能的一个很好的工具。然而，它确实需要对所有可能的单词序列求和，这在实践中是难以计算的。

The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses Authors Bashar Alhafni, Nizar Habash, Houda Bouamor 自然语言处理 NLP 应用中的性别偏见，尤其是机器翻译，越来越受到关注。关于这个问题的大部分研究都集中在减轻英语 NLP 模型和系统中的性别偏见。在资源匮乏和/或形态丰富的语言中解决这个问题已经落后，主要是由于缺乏数据集和资源。在本文中，我们引入了一个新的语料库，用于在涉及一个或两个目标用户 I 和/或 You 具有独立语法性别偏好的第一和第二语法人的上下文中进行性别识别和重写。我们专注于阿拉伯语，这是一种形态丰富的性别标记语言。语料库具有多个平行组件，包括女性和男性语法性别的第一和第二人称的四种组合，以及英语和英语到阿拉伯语的机器翻译输出。该语料库扩展了 Habash 等人。 2019年阿拉伯语平行性别语料库APGC v1.0增加了第二人称目标，句子总数增加了6.5倍以上，达到59万字以上。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发，这些系统可用于个性化 NLP 应用程序，并根据用户的语法性别偏好为用户提供正确的输出。

Analysis of French Phonetic Idiosyncrasies for Accent Recognition Authors Pierre Berjon, Avishek Nag, Soumyabrata Dev 自过去几十年以来，语音识别系统取得了巨大的进步。他们在识别说话者的语音方面取得了显着的进步。然而，语音识别系统在识别说话者的细微差别和口音方面还有很大的改进空间。众所周知，任何特定的自然语言都可能具有至少一种口音。尽管单词的音素成分相同，但如果用不同的口音发音，我们就会产生彼此不同的声波。一般来说，发音、口音和语调的差异是语音识别中最常见的问题之一。如果语言中有很多重音，我们应该分别为每个重音创建声学模型。我们对口音准确分类中的问题进行了系统分析。我们使用传统的机器学习技术和卷积神经网络，并表明经典技术不足以有效解决这个问题。使用语音信号的频谱图，我们提出了一种用于重音识别的多类分类框架。在本文中，我们将注意力集中在法语口音上。

BEAMetrics: A Benchmark for Language Generation Evaluation Evaluation Authors Thomas Scialom, Felix Hill 越来越多的自然语言处理 NLP 系统被训练来生成开放式文本，而不是在响应之间进行分类。这对生成语言功能的评估指标进行了研究，这些功能在给定上下文和/或人类参考响应至关重要的情况下对系统输出进行评分。但是，不同的指标具有不同的优势和偏见，并且在某些任务上比其他任务更能反映人类的直觉。目前没有简单、统一的方法来比较、分析或评估一组具有代表性的任务的指标。在这里，我们描述了评估自动指标 BEAMetrics 的基准，这是一种使对新指标本身的研究更容易评估的资源。 BEAMetrics 用户可以快速将现有和新指标与人类判断在不同的任务集、质量维度流畅性与连贯性与信息量等以及语言之间进行比较。正如生成专家可能预测的那样，BEAMetrics 揭示了现有指标之间明显的任务依赖差异，以及在具有复杂答案空间或高度依赖一般知识的任务上始终表现不佳。虽然该分析突出了当前研究实践面临的一个关键问题，但 BEAMetrics 还通过促进对更好的指标的研究，特别是那些可以解释许多现代 NLP 应用程序固有的上下文和一般知识之间复杂交互的指标，从而有助于解决该问题。

Ensembling Graph Predictions for AMR Parsing Authors Hoang Thanh Lam, Gabriele Picco, Yufang Hou, Young Suk Lee, Lam M. Nguyen, Dzung T. Phan, Vanessa L pez, Ramon Fernandez Astudillo 在许多机器学习任务中，模型被训练来预测结构数据，例如图。例如，在自然语言处理中，将文本解析为依赖树或抽象含义表示 AMR 图是很常见的。另一方面，集成方法结合了来自多个模型的预测，以创建一个比单个预测更稳健和准确的新模型。在文献中，有许多针对分类或回归问题提出的集成技术，但是，集成图预测还没有得到彻底的研究。在这项工作中，我们将这个问题形式化为挖掘最受图预测集合支持的最大图。由于问题是 NP Hard，我们提出了一种有效的启发式算法来逼近最优解。为了验证我们的方法，我们在 AMR 解析问题中进行了实验。

Using Natural Language Processing to Understand Reasons and Motivators Behind Customer Calls in Financial Domain Authors Ankit Patil, Ankush Chopra, Sohom Ghosh, Vamshi Vadla 在这个数字信息丰富的时代，客户满意度已成为任何企业成功的重要因素之一。客户想要几乎所有东西的一键式解决方案。如果他们不得不打电话询问他们可以在网上完成的事情，他们往往会感到不满意。此外，来电是任何企业的高成本组成部分。因此，开发一个能够挖掘客户来电背后的原因和动机的框架至关重要。本文提出了两种模型。首先，一个基于注意力的堆叠双向长短期记忆网络，然后是层次聚类，用于从入站呼叫的记录中提取这些原因。其次，一组基于支持向量机和逻辑回归概率的集成模型。它能够检测导致这些调用的因素。

ViraPart: A Text Refinement Framework for ASR and NLP Tasks in Persian Authors Narges Farokhshad, Milad Molazadeh, Saman Jamalabbasi, Hamed Babaei Giglou, Saeed Bibak 波斯语是一种屈折的 SOV 语言。这一事实使波斯语成为一种更加不确定的语言。但是，使用 ZWNJ 识别、标点恢复和波斯语 Ezafe 构造等技术将使我们获得更易于理解和精确的语言。在大多数波斯语作品中，这些技术都是单独处理的。尽管如此，我们认为对于波斯语的文本细化，所有这些任务都是必要的。在这项工作中，我们提出了一个 ViraPart 框架，该框架在其核心中使用嵌入式 ParsBERT 进行文本澄清。首先，使用波斯语的 BERT 变体，然后是分类器层用于分类程序。接下来，我们结合模型输出来输出明文。最后，所提出的用于 ZWNJ 识别、标点恢复和波斯语 Ezafe 构造的模型的平均 F1 宏分数分别为 96.90、92.13 和 98.50。

Ranking Facts for Explaining Answers to Elementary Science Questions Authors Jennifer D Souza, Isaiah Onando Mulang , Soeren Auer 在多项选择考试中，学生通常会从四个选项中选择一个答案，并可以解释他们做出该特定选择的原因。

Deep Transfer Learning & Beyond: Transformer Language Models in Information Systems Research Authors Ross Gruetzemacher, David Paradice 人们普遍认为人工智能有望改变业务，但目前对这种转变范围的看法可能是短视的。涉及转换器语言模型 TLM 的自然语言处理的最新进展为 AI 驱动的业务和社会转型提供了一条潜在的途径，这超出了目前大多数人的预见范围。我们回顾了最近的进展以及在顶级 IS 期刊中利用文本挖掘的最新文献，以制定未来 IS 研究如何从这些新技术中受益的大纲。我们对现有 IS 文献的审查表明，次优文本挖掘技术很普遍，并且可以应用更先进的 TLM 来增强和增加涉及文本数据的 IS 研究，并启用新的 IS 研究主题，从而为研究界创造更多价值。这是可能的，因为这些技术可以更轻松地开发非常强大的自定义系统，并且它们的性能优于现有方法，适用于广泛的任务和应用程序。此外，多语言模型可以为多语言研究提供更高质量的文本分析。

Quantifying the Task-Specific Information in Text-Based Classifications Authors Zining Zhu, Aparna Balagopalan, Marzyeh Ghassemi, Frank Rudzicz 最近，神经自然语言模型在各种任务上都获得了最先进的性能，但高性能可能来自表面的、表面级别的线索 Bender 和 Koller，2020 Niven 和 Kao，2020。这些表面线索作为数据集中固有的捷径，对分类任务的任务特定信息 TSI 没有贡献。虽然查看模型性能很重要，但理解数据集也很重要。在本文中，我们考虑这个问题除了快捷特征引入的信息外，需要多少特定于任务的信息才能对数据集进行分类我们在信息论框架中制定了这个数量。虽然这个量很难计算，但我们用一种快速而稳定的方法来近似它。 TSI 以一组预定义的快捷方式为模量化语言知识的数量，这些快捷方式有助于从每个数据集中对样本进行分类。

Predicting the Performance of Multilingual NLP Models Authors Anirudh Srinivasan, Sunayana Sitaram, Tanuja Ganu, Sandipan Dandapat, Kalika Bali, Monojit Choudhury NLP 的最新进展为我们提供了像 mBERT 和 XLMR 这样可以服务于 100 多种语言的模型。然而，评估这些模型的语言数量很少，评估数据集不太可能涵盖这些模型支持的所有语言。数据集创建成本高昂的问题的潜在解决方案是将数据集转换为新语言或使用基于模板填充的技术进行创建。本文提出了一种跨语言评估模型的替代解决方案，该解决方案利用模型在特定任务具有测试集的语言上的现有性能分数。我们根据这些性能分数训练预测器，并使用该预测器来预测模型在不同评估设置中的性能。

Fine-Grained Opinion Summarization with Minimal Supervision Authors Suyu Ge, Jiaxin Huang, Yu Meng, Sharon Wang, Jiawei Han 意见摘要旨在通过从多个文档中提取意见来描述目标。由于难以从数以千计的文档中获得高质量的注释，大多数现有工作都以半监督的方式处理该任务。其中，一些使用方面和情感分析作为识别意见的代理。在这项工作中，我们提出了一个新框架 FineSum，它在三个方面推进了这一前沿 1 最小监督，其中只有方面名称和几个方面情感关键字可用 2 细粒度意见分析，其中情感分析深入到子方面基于级别和 3 短语的总结，其中意见以短语的形式进行总结。 FineSum 从原始语料中自动识别意见短语，将它们分类为不同的方面和情感，并在每个方面的情感下构建多个细粒度的意见集群。每个集群由语义连贯的短语组成，表达对某些子方面或特征的统一意见，例如，在食物方面对汉堡的积极感受。训练面向意见的球形词嵌入空间为短语分类器提供弱监督，并使用从短语分类器生成的方面感知上下文化嵌入来执行短语聚类。

Reminding the Incremental Language Model via Data-Free Self-Distillation Authors Han Wang, Ruiliu Fu, Chengzhang Li, Xuejun Zhang, Jun Zhou, Yonghong Yan 使用伪数据进行增量语言学习可以减轻神经网络中的灾难性遗忘。然而，为了获得更好的性能，以前的方法对以前任务的伪数据有更高的要求。当使用较少的伪数据时，性能会急剧下降。此外，随着不同任务的顺序学习，伪数据的分布逐渐偏离真实数据。学习的任务越多，偏差越大，导致更严重的灾难性遗忘。为了解决这些问题，我们提出通过数据自由自蒸馏 DFSD 来提醒增量语言模型，其中包括基于 Earth Mover 距离的自蒸馏和隐藏数据增强。通过估计 GPT 2 各层的知识分布，并将其从教师模型转化为学生模型，基于 Earth Mover s Distance 的自蒸馏可以显着减少对伪数据的需求。通过将伪数据的生成建模为隐藏数据增强过程，其中每个样本都是所有训练任务数据的混合，隐藏数据增强可以极大地减轻由偏差引起的灾难性遗忘。

GNN-LM: Language Modeling based on Global Contexts via GNN Authors Yuxian Meng, Shi Zong, Xiaoya Li, Xiaofei Sun, Tianwei Zhang, Fei Wu, Jiwei Li 受到复制比记忆更容易的概念的启发，在这项工作中，我们引入了 GNN LM，它通过允许在整个训练语料库中引用相似的上下文来扩展普通神经语言模型 LM。我们在输入上下文与其从训练语料库中选择的语义相关邻居之间构建了一个有向异构图，其中节点是输入上下文和检索到的邻居上下文中的标记，边表示节点之间的连接。图神经网络 GNN 构建在图上，以聚合来自相似上下文的信息以解码令牌。这种学习范式提供了对参考上下文的直接访问，并有助于提高模型的泛化能力。我们进行了全面的实验来验证 GNN LM 的有效性 GNN LM 在 WikiText 103 上达到了 14.8 的新的最先进的困惑度，比普通 LM 模型的对应物提高了 4.5 点，并且在十亿字和 Enwiki8 数据集上显示出实质性的改进反对强基线。

Back to Reality: Leveraging Pattern-driven Modeling to Enable Affordable Sentiment Dependency Learning Authors Heng Yang, Biqing Zeng, Mayi Xu, Tianxing Wang 基于方面的情感分类 ABSC 是传统情感分析的一项具有挑战性的子任务。由于难以处理多个方面的情感极性之间的潜在相关性，即情感依赖，最近流行的作品倾向于利用句法信息来指导情感依赖解析。然而，就相邻矩阵的操作而言，句法信息（例如句法依赖树）通常会占用昂贵的计算资源。相反，在我们发现大多数情感依赖性发生在相邻方面之间的情况下，我们将具有相同情感的连续方面定义为情感集群。受这一发现的启发，我们提出了情感模式 SP 来指导模型依赖学习。此后，我们引入了局部情感聚合 LSA 机制，专注于学习情感集群中的情感依赖。由于没有额外的依赖矩阵构建和建模，LSA 比现有的基于依赖树的模型更有效。此外，我们提出了用于聚合窗口构建的差分加权，以衡量情感依赖的重要性。

n-stage Latent Dirichlet Allocation: A Novel Approach for LDA Authors Zekeriya Anil Guven, Banu Diri, Tolgahan Cakaloglu 如今，随着数据量的不断增加，数据分析已经成为一个难题。为了克服文本数据中的这个问题，自然语言处理中使用了许多模型和方法。主题建模领域是这些方法之一。主题建模允许确定文本文档的语义结构。潜在狄利克雷分配 LDA 是主题建模方法中最常用的方法。本文详细解释了所提出的 n 阶段 LDA 方法，它可以使 LDA 方法得到更有效的使用。应用英语和土耳其语研究证明了该方法的积极效果。由于该方法侧重于减少字典中的字数，因此可以独立使用语言。

FrugalScore: Learning Cheaper, Lighter and Faster Evaluation Metricsfor Automatic Text Generation Authors Moussa Kamal Eddine, Guokan Shang, Antoine J. P. Tixier, Michalis Vazirgiannis 快速可靠的评估指标是研发进展的关键。虽然传统的自然语言生成指标很快，但它们并不是很可靠。相反，基于大型预训练语言模型的新指标更可靠，但需要大量计算资源。在本文中，我们提出了 FrugalScore，这是一种学习任何昂贵 NLG 指标的固定、低成本版本的方法，同时保留其大部分原始性能。 BERTScore 和 MoverScore 在摘要和翻译方面的实验表明，FrugalScore 与原始指标相当，有时甚至更好，同时参数少了几个数量级，运行速度快了几倍。平均而言，在所有学习的指标、任务和变体中，FrugalScore 保留了 96.8 的性能，运行速度提高了 24 倍，并且参数比原始指标减少了 35 倍。

On the Robustness of Reading Comprehension Models to Entity Renaming Authors Jun Yan, Yang Xiao, Sagnik Mukherjee, Bill Yuchen Lin, Robin Jia, Xiang Ren 我们研究了机器阅读理解 MRC 模型对实体重命名的鲁棒性，当答案实体具有不同名称时，模型会做出更多错误预测吗？此类失败表明模型过度依赖实体知识来回答问题，因此当有关实体的事实时，可能难以概括世界变化或关于新实体的问题被问到。为了系统地审核模型的鲁棒性，我们提出了一种通用且可扩展的方法，用来自各种来源的名称替换人名，从常见的英语名称到其他语言的名称再到任意字符串。在四个数据集和三个预训练模型架构中，当实体重命名时，MRC 模型的性能始终较差，尤其是通过远程监督构建的数据集的准确度下降幅度更大。我们还发现模型之间的巨大差异 SpanBERT 比 RoBERTa 更健壮，尽管在未受干扰的测试数据上具有相似的准确性，但 SpanBERT 使用跨度级别掩蔽进行了预训练。

PAGnol: An Extra-Large French Generative Model Authors Julien Launay, E.L. Tommasone, Baptiste Pannier, Fran ois Boniface, Am lie Chatelain, Alessandro Cappelli, Iacopo Poli, Djam Seddah 使用多种不同语言的各种架构的大型预训练模型的访问是 NLP 民主化的核心。我们介绍 PAGnol，它是法国 GPT 模型的集合。使用缩放定律，我们以与 CamemBERT 相同的计算预算有效地训练 PAGnol XL 1.5B 参数，CamemBERT 模型小 13 倍。 PAGnol XL 是迄今为止针对法语训练的最大模型。

Virtual Augmentation Supported Contrastive Learning of Sentence Representations Authors Dejiao Zhang, Wei Xiao, Henghui Zhu, Xiaofei Ma, Andrew O. Arnold 尽管取得了巨大的成功，对比表示学习依赖于使用领域特定知识精心设计的数据增强。这一挑战在自然语言处理中被放大，由于自然语言的离散性，不存在数据增强的通用规则。我们通过提出虚拟增强支持的句子表示的对比学习 VaSCL 来应对这一挑战。源于数据增强本质上构建每个训练实例的邻域的解释，我们反过来利用邻域来生成有效的数据增强。利用对比学习的大训练批次大小，我们通过表示空间中的 K 最近的批次邻域来近似实例的邻域。然后我们在这个邻域内定义一个实例判别任务，并以对抗性训练的方式生成虚拟增强。

HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression Authors Chenhe Dong, Yaliang Li, Ying Shen, Minghui Qiu 在许多自然语言处理任务中，大型预训练语言模型 PLM 与传统的神经网络方法相比表现出了压倒性的性能。然而，它们庞大的模型尺寸和较低的推理速度阻碍了在实践中在资源有限的设备上的部署。在本文中，我们的目标是通过知识蒸馏来压缩 PLM，并提出了一种层次关系知识蒸馏 HRKD 方法来捕获层次和领域关系信息。具体来说，为了增强模型能力和可迁移性，我们利用元学习的思想并设置域关系图来捕获跨不同域的关系信息。并且为了为每个域动态选择最具代表性的原型，我们提出了一种层次比较聚合机制来捕获层次关系。在公共多领域数据集上的大量实验证明了我们的 HRKD 方法的优越性能以及其强大的少镜头学习能力。

Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation Authors Guanhua Chen, Shuming Ma, Yun Chen, Dongdong Zhang, Jia Pan, Wenping Wang, Furu Wei 本文证明了多语言预训练、适当的微调方法和来自多种辅助语言的大规模并行数据集对于零镜头翻译都至关重要，其中 NMT 模型在监督训练期间未见过的源语言上进行测试。遵循这个想法，我们提出了 SixT，这是一个强大的多对英语 NMT 模型，支持 100 种源语言，但仅使用来自六种源语言的并行数据集进行一次训练。 SixT 使用 XLM R large 初始化解码器嵌入和完整编码器，然后使用简单的两阶段训练策略训练编码器和解码器层。 SixT 在多英译中取得了令人瞩目的成绩。它明显优于 CRISS 和 m2m 100 这两个强大的多语言 NMT 系统，平均增益分别为 7.2 和 5.0 BLEU。此外，SixT 提供了一组模型参数，可以进一步微调以开发用于低资源语言的无监督 NMT 模型。

Tackling Multi-Answer Open-Domain Questions via a Recall-then-Verify Framework Authors Zhihong Shao, Minlie Huang 开放领域的问题很可能是开放式的和模棱两可的，从而导致多个有效答案。现有方法通常采用重新排序然后阅读框架，其中读者阅读排名靠前的证据来预测答案。根据我们的实证分析，这个框架面临着三个问题来利用大量读者的力量，重新排序者被迫只选择几个涵盖不同答案的相关段落，由于对读者的影响未知，这是不重要的性能 小的阅读预算也阻止了读者利用重新排序器过滤掉的有价值的检索证据此外，由于读者基于所有选定的证据一次生成预测，它可能会学习答案之间的病理依赖性，即是否预测一个答案也可能取决于其他答案的证据。为了避免这些问题，我们建议使用召回然后验证框架来解决多答案开放域问题，该框架将每个答案的推理过程分开，以便我们可以更好地利用检索到的证据，同时在相同的情况下利用大型模型的力量。内存约束。

Learning to Solve Complex Tasks by Talking to Agents Authors Tushar Khot, Kyle Richardson, Daniel Khashabi, Ashish Sabharwal 人类通常通过以自然语言与现有代理（例如 AI 助手）交互来解决复杂问题，这些代理可以解决更简单的子任务。这些代理本身可以是使用大量资源和私有数据构建的强大系统。相比之下，常见的 NLP 基准旨在为每项任务开发自给自足的模型。为了解决这一差距并促进对基于现有代理的绿色人工智能系统的研究，我们提出了一个名为 CommaQA 的新基准，其中包含三种复杂的推理任务，旨在通过与具有不同能力的四个代理交谈来解决这些任务。我们证明了无法利用现有代理的最先进的黑盒模型，即使在允许访问代理内部知识和黄金事实监督的情况下，CommaQA 精确匹配分数也只能达到 40 分。另一方面，通过学习利用代理，使用黄金问题分解监督的模型确实可以将 CommaQA 解决到超过 96 精确匹配的高精度。然而，即使是这些额外的监督模型也不能解决我们的组合泛化测试集。

Substructure Distribution Projection for Zero-Shot Cross-Lingual Dependency Parsing Authors Haoyue Shi, Kevin Gimpel, Karen Livescu 我们提出了子结构分布投影 SubDP，这是一种通过分别投影子结构分布将一个域中的结构分布投影到另一个域的技术。然后可以使用投影分布作为软银标签来训练目标域的模型。我们在零样本跨语言依赖解析上评估 SubDP，将依赖弧作为子结构，我们将源语言 s 中预测的依赖弧分布投影到目标语言 s ，并训练目标语言解析器以适应结果分布。当英语树库是唯一涉及人工的注释时，SubDP 获得了比 Universal Dependencies v2.2 Nivre et al., 2020 测试集上的所有先前工作更好的未标记附件分数，该测试集跨越八种不同的目标语言，以及最好的标记八种语言中的六种依恋得分。

Sparse Distillation: Speeding Up Text Classification by Using Bigger Models Authors Qinyuan Ye, Madian Khabsa, Mike Lewis, Sinong Wang, Xiang Ren, Aaron Jaech 将最先进的 Transformer 模型提炼为轻量级学生模型是降低推理时计算成本的有效方法。但是，对于某些时间敏感的应用程序，改进的推理速度可能仍然不能令人满意。在本文中，我们旨在通过探索学生模型设计空间中的新领域来进一步推动推理速度的极限。更具体地说，我们考虑将基于转换器的文本分类器提炼成十亿参数、具有嵌入平均架构的稀疏激活学生模型。我们的实验表明，学生模型在六个文本分类任务的集合中保留了 RoBERTa Large 教师表现的 97 个。同时，与教师模型相比，学生模型在 GPU 和 CPU 上的速度提高了 600 倍。

Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora Authors Xisen Jin, Dejiao Zhang, Henghui Zhu, Wei Xiao, Shang Wen Li, Xiaokai Wei, Andrew Arnold, Xiang Ren 预训练语言模型 PTLM 通常在大型静态​​语料库中学习，并针对各种下游任务进行进一步微调。然而，在现实世界中部署时，基于 PTLM 的模型必须处理来自与 PTLM 最初训练的内容不同的新领域的数据，或者新出现的包含分布信息之外的数据。在本文中，我们研究了终身语言模型预训练挑战，其中 PTLM 不断更新以适应新出现的数据。在领域增量研究论文流和按时间顺序排列的推文流上，我们使用不同的持续学习算法增量预训练 PTLM，并在微调后跟踪下游任务的性能，以分析其获取新知识和保留所学知识的能力。我们的实验表明，持续学习算法可以改善知识保存，其中 logit 蒸馏是最有效的方法。我们进一步表明，当下游任务的训练和测试数据来自不同的时间步长时，连续预训练提高了泛化能力，但当它们来自相同的时间步长时并没有提高。

Pro-KD: Progressive Distillation by Following the Footsteps of the Teacher Authors Mehdi Rezagholizadeh, Aref Jafari, Puneeth Salad, Pranav Sharma, Ali Saheb Pasand, Ali Ghodsi 随着神经模型规模的不断扩大，知识蒸馏 KD 作为神经模型压缩的重要工具受到越来越多的关注。然而，文献中的反直觉观察显示了 KD 的一些具有挑战性的局限性。一个典型的例子是，教师表现最好的检查点可能不一定是在 KD 中训练学生的最佳教师。因此，一个重要的问题是如何找到教师的最佳检查点进行蒸馏。通过教师的检查点搜索将是一个非常繁琐且计算成本高的过程，我们将其称为 textit 检查点搜索问题。此外，另一个观察结果是，在 KD 中，较大的教师可能不一定是更好的教师，这被称为文本能力差距问题。为了解决这些具有挑战性的问题，在这项工作中，我们介绍了我们的渐进式知识蒸馏 Pro KD 技术，该技术通过遵循教师的培训足迹，而不是仅仅依赖于从一位成熟的、完全训练有素的教师那里进行蒸馏，为学生定义了一条更顺畅的培训路径。我们证明了我们的技术在缓解容量差距问题和检查点搜索问题方面非常有效。我们使用一系列不同任务的综合实验来评估我们的技术，例如图像分类 CIFAR 10 和 CIFAR 100、GLUE 基准的自然语言理解任务以及使用基于 BERT 的模型回答 SQuAD 1.1 和 2.0 的问题，并且始终获得优于状态的结果

Sharpness-Aware Minimization Improves Language Model Generalization Authors Dara Bahri, Hossein Mobahi, Yi Tay 超人级能力的魅力引起了对 GPT 3 和 T5 等语言模型的极大兴趣，其中研究大体上围绕新的模型架构、训练任务和损失目标，以及大量的工程努力来扩大规模模型容量和数据集大小。通过更好的优化来提高这些模型的泛化能力的工作相对较少。在这项工作中，我们展示了 Sharpness Aware Minimization SAM 是最近提出的一种优化程序，它鼓励收敛到更平坦的最小值，可以在没有太多计算开销的情况下显着改善语言模型的泛化。

An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-Trained Language Models Authors Nicholas Meade, Elinor Poole Dayan, Siva Reddy 最近的工作表明，预训练的语言模型可以从它们所训练的文本语料库中捕获社会偏见。这引起了人们对开发减轻此类偏见的技术的关注。在这项工作中，我们对最近提出的五种去偏技术反事实数据增强 CDA、Dropout、迭代空空间投影、自去偏和 SentenceDebias 进行了实证调查。我们使用三种不同的偏差基准来量化每种技术的有效性，同时还测量这些技术对模型语言建模能力的影响，以及其在下游 NLU 任务上的性能。我们通过实验发现 1 CDA 和自我去偏差是最强的去偏差技术，在大多数偏差基准上获得更高的分数 2 当前的去偏差技术不能很好地泛化到性别偏见之外 3 对 StereoSet 和 CrowS Pairs 等偏差基准的改进

The Power of Prompt Tuning for Low-Resource Semantic Parsing Authors Nathan Schucher, Siva Reddy, Harm de Vries 即时调优最近已成为使预训练语言模型适应多种语言任务的有效方法。在本文中，我们研究了语义解析的即时调整，即将自然语言话语映射到形式意义表示的任务。对于大型 T5 模型，我们发现 i 在低数据范围内即时调整显着优于微调，而 ii 规范化即自然化含义表示几乎不会提高性能。

A Dataset for Discourse Structure in Peer Review Discussions Authors Neha Nayak Kennard, Tim O Gorman, Akshay Sharma, Chhandak Bagchi, Matthew Clinton, Pranay Kumar Yelugam, Rajarshi Das, Hamed Zamani, Andrew McCallum 科学评估的基础是劳动密集型的同行评审过程。这项关键任务要求参与者阅读和解释大量技术含量高的文本。我们表明，来自反驳的话语线索可以揭示评论的质量和解释。

MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding Authors Junlong Li, Yiheng Xu, Lei Cui, Furu Wei 文本、布局和图像的多模态预训练在视觉丰富的文档理解 VrDU 方面取得了重大进展，尤其是扫描文档图像等固定布局文档。同时，仍有大量数字文档的布局信息不固定，需要交互式动态渲染以进行可视化，使得现有的基于布局的预训练方法不易应用。在本文中，我们提出 MarkupLM 用于以标记语言为骨干的文档理解任务，例如基于 HTML XML 的文档，其中文本和标记信息被联合预训练。实验结果表明，预训练的 MarkupLM 在多个文档理解任务上明显优于现有的强基线模型。

Multimodal Dialogue Response Generation Authors Qingfeng Sun, Yujing Wang, Can Xu, Kai Zheng, Yaming Yang, Huang Hu, Fei Xu, Jessica Zhang, Xiubo Geng, Daxin Jiang 图像响应已被公认为智能对话代理的重要能力。然而，现有的工作只专注于探索依赖于基于检索的方法的多模态对话模型，而忽略了生成方法。为了填补空白，我们首先提出了一个多模态对话生成模型，该模型将对话历史作为输入，然后生成文本序列或图像作为响应。学习这样的模型通常需要包含难以获得的文本和图像的多模态对话。受实践挑战的启发，我们在一个自然假设下考虑多模态对话生成，即只有有限的训练示例可用。在如此低资源的环境中，我们设计了一种新颖的对话代理 Divter，以便将依赖于多模态对话的参数与整个生成模型隔离开来。通过这种方式，模型的主要部分可以分别从大量纯文本对话和文本图像对中学习，然后可以使用有限的训练示例很好地拟合整个参数。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com