近年来，深度学习方法提供了一种进行端到端学习的自然语言处理新思路。本实验室在积极关注和开展了相关技术在机器翻译、句法分析、自动问答等方面的研究。相关工作包括：

• 改进端到端学习过程：通过对翻译过程的理解和先验知识对端到端学习过程进行改进，包括引入新的网络结构、设计新的优化目标函数等；
• 引入结构化信息：向基于序列的生成过程中加入层次结构的信息，使得机器对文本的理解过程与传统语法分析过程更加接近；
• 文本表示方法：研究在深度学习环境下对单词、短语、句子、篇章等语言单元的表示问题，以提高在这些表示形式基础上进行进一步自然语言处理的性能；
• 端到端其他任务：研究在句法分析、自动问答等可以基于序列进行建模的问题上进行端到端学习的方法和技术。

本实验室从1986年开始进行基于规则的日汉机器翻译的研究，研究工作先后得到国家七五攻关项目以及国家863高科技项目资金的资助，研究成果处于国内领先、某些技术达到国际先进水平。

• 涉及的主要技术包括:基于短语结构文法和格语法的日语句法/语义分析技术;转换/生成一体化的汉语生成技术等；
• 翻译系统包括6万余词的基本词典，10万余词的领域词典，10万余人名地名词典等资源；句法规则1000余条，动词格框架1800余条，通用格框架60余条，转换/生成规则大约有800余条;以及40万句对翻译记忆体；
• 系统可以以翻译引擎、日汉翻译辅助工具、日汉在线翻译Web浏览器、日汉电子词典等形式提供服务。

本实验室积极开展统计机器翻译的研究工作，内容涵盖数据预处理、词对齐、翻译规则抽取、参数训练、解码器、语言模型等各个方面。涉及的语言对包括汉英、英汉、日汉、汉日等。部分研究内容如下：

• 基于分类、结构化学习的词对齐集成和消歧：通过分类、结构化学习的统计学习技术对词对齐问题进行深入研究，提高对齐的准确性和分析效率；
• 基于结构化学习思想的翻译参数训练：研究通过设计结构化的优化目标、利用更多可能的翻译候选、结合语言的句法信息等多种途径提升机器翻译的学习过程及生成质量的方法；
• 模型的自适应问题：解决参数训练过程中由于数据集合分布不同而带来的训练差距；
• 规模并行机器翻译系统：利用多线程、多进程并发或 Hadoop 平台的大规模机器翻译系统的设计和实现；
• 交互式机器翻译系统：研究通过与用户实时交互提高翻译系统性能的交互式翻译方法；
• 在2011年全国统计机器翻译评测中，获得日汉新闻领域评测第二名以及英汉/汉英新闻、科技领域第三名；
• 在2013年全国统计机器翻译评测中，全部5个数据集上，单系统排名两项第一、三项第二，综合排名获得一项第一、两项第二。

智能问答系统，主要研究内容包括：

• 面向问答的知识库构建；
• 基于知识库及检索的问答系统构建，包括实体链接，关系识别等；
• 基于深度神经网络的问答系统构建；
• 在国家863高考机器人及行业智能客服中的应用。

更深更广的推荐系统，主要研究内容包括：

• 更广：融合用户、用户社交网络、评论文本、评分预测等异构数据的推荐系统；
• 更深：基于深度神经网络的推荐系统，利用深度神经网络对用户、物品等进行表示建模，并应用于推荐系统；
• 在用户推荐、商品精准营销、科技论文文献推荐等实际任务中的应用。

多层次多粒度情感分析，主要研究包括：

• 事件、篇章（评论）、句子、角度（Aspect）级的情感极性分类、演变及追踪；
• 角度级情感分析（Aspect）： 被评价实体（Entity），属性（Attribute）、评价词（Polarity）抽取；
• 融合用户、评论文本等多元异构数据的评分预测（Rating Prediction）；
• 社交媒体中热点事件的用户情绪分析；
• 在汽车、军事、金融等行业的应用。

本实验室的工作还包括利用已有技术进行其他语言问题的研究，包括古汉语资源分析、语言处理资源自动构建、特殊语言问题建模等方面。

• 古汉语的全词词性标注 我们利用已有技术为已分词的古汉语文献中（《左传》）所有的实词标注了词义，其主要方法如下：

  • 利用《汉语大词典》抽取先秦汉语实词可能的词义；
  • 通过该词典例句得到用于标注的种子训练集；
  • 使用SVM方法通过迭代标注词义。

• 中文认知属性库

  • 认知属性是在一种语言文化中，语言使用者共同具有的对某个词语的认知，如“猪-笨”、“纸-薄”等。认知属性对歧义的消除以及进行更深层次的语义理解有着巨大的帮助，但传统的语义词典一般不收录词语的认知属性；
  • 我们利用百度搜索明喻格式，自动标注词性，筛选后形成一个词语的认知属性库。该属性库可以为更深层次语义理解以及其他自然语言处理应用服务。

• 网页过滤系统

  • 我们研发了一个根据url进行网页的自动过滤的原型系统，该系统采用了结合多种过滤方式的“多层反馈式”体系结构；
  • 主要模块包括：地址过滤模块，协议别模块，协议还原模块，URL过滤模块，基于文本内容分析模块（包括关键字过滤模块和智能分类模块），日志查询模块，配置管理模块，实时统计模块。

• 论文标题自动缩写

  • 论文题目常常需要精炼而有意义的缩写。我们尝试研究一种基于“Analysis-Generation-Ranking”框架的论文自动缩写系统，为科学论文的题目自动生成不同类别的题目缩写。

交互式神经机器翻译 (INMT) 能够通过考虑人类交互来保证高质量的翻译。依赖于词法约束解码 (LCD) 的现有 IMT 系统使人类能够以灵活的翻译顺序进行翻译，而不是从左到右。然而，由于对 LCD 的依赖，它们通常在翻译效率和质量方面受到两个重大限制。在这项工作中，我们提出了一种新颖的 BiTIIMT 系统，用于交互式神经机器翻译的双语文本填充。 BiTIIMT 的关键思想是双语文本填充 (BiTI)，旨在为给定的源句子在手动修改的翻译中填充缺失的片段。我们通过将此任务转换为序列到序列的任务来提出一个简单而有效的解决方案。通过这种方式，我们的系统在没有显式约束的情况下执行解码，并充分利用修改后的单词来进行更好的翻译预测。实验结果表明，BiTiIMT 在三个翻译任务上的性能明显优于最先进的基于 LCD 的 IMT。

机器翻译(MT)质量评估(QE)任务旨在没有参考翻译句的情况下评估机器翻译句子的质量。QE在机器翻译领域有很多重要的应用，例如辅助人工译员进行机器翻译句子的后编辑工作、指导翻译模型解码过程、过滤低质量平行语料等。在本项目中我们开发了QE可视化平台，本平台主要包含以下几个功能：QE模型推理结果的可视化展示，QE数据的多种可视化标注方案，QE相关数据的可视化分析。我们期望这些功能可以为QE的现实应用提供便利，促进QE社区的发展。QE模型推理结果的可视化展示，可以帮助研究者分析翻译结果或提示译员需要进行修改的位置。QE数据标注方案可以帮助缓解QE领域标注数据稀缺的问题。QE相关数据的可视化分析则可以帮助研究者在训练前了解数据分布以便设计QE方法、在训练后分析方法的优缺点以便对方法进行调优。