科大讯飞解锁常识推理新成就认知智能国家重点实验室荣登CSQA 2.0榜首

本文转自：新民晚报

文章图片

文章图片

文章图片

文章图片

图说：科大讯飞认知智能国家重点实验室荣登CSQA 2.0榜首来源/采访对象提供
新民晚报讯（采访人员马亚宁）人工智能技术的下一步发展，必须要突破常识推理这一瓶颈，才能在教育、医疗、养老等国计民生场景中，让人工智能产品更具备实用价值。采访人员日前从科大讯飞获悉，我国首个认知智能国家重点实验室，以76.06%的成绩登顶常识推理挑赛CommonsenseQA 2.0 ，刷新世界纪录。
CommonsenseQA 2.0是艾伦人工智能研究院（Allen Institute for AI）于2021年主导发布的国际常识推理评测数据集，旨在评估机器对常识知识的理解及掌握水平，吸引了包括Google、Allen Institute for AI、华盛顿大学等众多国际顶尖机构参与挑战。科大讯飞首次参赛，即创新性地提出ACROSS模型，以全新深度学习算法绝对优势，刷新机器常识推理水平世界纪录。这意味着，机器“能理解、会思考”又迈上新台阶。
从做“选择题”到做“判断题”
常识推理（Commonsense Reasoning）是 NLP 最重要的前进方向之一，其目的是帮助计算机学习常识知识，并利用所掌握的知识进行深层次的理解及推理。该领域的进展及技术突破对人工智能发展具有重要的意义。
当前典型的阅读理解模型所关注的问题类型主要是事实类问题，这类型的问题答案往往能直接在原文中找到，然而如何基于常识和背景知识进行推理以获得答案仍旧是一个巨大的挑战。
CommonsenseQA正是为了训练机器像人类一样基于先验知识结合现实情况作答能力而设置的数据集。当人们回答问题时，往往会利用自身了解的知识结合特定的背景来判断问题答案。比如常识、背景知识、空间关系、科学事实、社会惯例等。可以从选择项中推断我是在桥上。这种知识对人类而言似乎很好理解，但是如何让机器学会常识及背景知识并进行准确推理，仍然是一个巨大的挑战。
CommonsenseQA 2.0是一个二元分类数据集，包含14343个问题，主要分为训练/开发/测试集，需要判断常识性陈述是对还是错。1.0版本所考察的问题，是基于现有常识知识库ConceptNet中的知识三元组构建的，这使得机器在处理该任务时，有能直接聚焦参考的知识。相比较1.0的“选择题” ， 2.0“判断题”挑战难度更高，仅给定一个主题实体或概念、一个常识类关系（且关系不一定在现有知识库出现），让人类以自然语言的方式去构造机器较难掌握的常识知识。
该构造方法所构造的常识推理问题具有庞大的想象空间，大部分在当前知识库中并未覆盖，无疑显著增加了机器处理该类问题的难度。同时，该评测任务数据构造过程中，还通过人与机器不断博弈对抗的方式，不断迭代设计，最终确定的问题集合基本是当前主流算法都完成得不好的问题。
目前以科大讯飞为代表的中国人工智能力量在常识推理领域中已有很大的进步，但是仍远低于人类94.1%的水平，可见在常识性推理方向仍有很大挑战和进步空间。
【科大讯飞解锁常识推理新成就认知智能国家重点实验室荣登CSQA 2.0榜首】创新方法破解难题
在CommonsenseQA 2.0这项颇具挑战的常识推理评测任务上，业界主流的中等大小预训练模型方法也只能取得55%的水平，略高于随机猜测平均水平。此前国际上该任务的最优方法，通过1750亿级参数量大小的GPT3模型生成针对CommonsenseQA 2.0常识推理问题的相关知识，并基于T5模型进行融合处理，该方法取得了73%的准确率。

科大讯飞解锁常识推理新成就 认知智能国家重点实验室荣登CSQA 2.0榜首

科大讯飞解锁常识推理新成就认知智能国家重点实验室荣登CSQA 2.0榜首