信息认知与智能系统研究所(由原图像图形研究所、网络与人机语音通信研究所合并组建)隶属一级学科为“信息与通信工程”，二级学科为“信号与信息处理”， 信息认知与智能系统研究所聚焦人工智能基础理论和主要应用领域，以跨媒体信息的感知获取、检测识别、认知理解为学科发展方向，重点开展图像、视频、语音和网络信息的采集获取、感知认知、分析理解等智能处理研究开发工作。研究所隶属于危爆物品扫描探测技术国家工程实验室、深度学习技术与应用国家工程实验室及北京信息科学与技术国家研究中心的一部。

研究所形成了多源异构跨媒体信息感知与认知计算、多模态智能体脑计算与软硬一体化系统、智慧医工与智能医疗等3个有特色优势的研究方向。研究所学科定位是以面向大数据背景下国家公共安全保障战略需求为导向，在图文OCR、生物特征识别、遥感图像分析、语音信号处理与声纹识别、网络舆情情感计算、计算成像、智慧医疗与智医助理、三维重建、智能视频安防、目标检测识别、图像认知理解等方向开展跨媒体大数据关键技术和重大工程攻关以及人才培养，为国家物理空间安全、网络空间安全、平安城市与跨媒体智能系统方向国防军事公共安全现代化和国家经济建设提供科技支撑和人才保障。

本研究所科研成果丰硕，至今已获得全国科学大会奖1项、国家科技进步奖5项、省部委学会科技奖励10多项等荣誉。本研究所致力于培养基础理论坚实，科学学识广博，系统开发能力突出，具有高度科技创新能力的高层次专业人才。目前所内负责开设的本科生课程28门、研究生课程27门。每年招收博士生和硕士生各10多名。所内设有博士后流动站，每年进站博士后约5名。现有教师22人，博士研究生和硕士研究生100余人，博士后6人。

信息认知与智能系统科研工作广泛涉及人工智能理论与技术的各个重要研究领域，形成了5个主要研究方向：

一、跨媒体智能与认知计算基础理论研究。主要包括

（1）知识+数据的类脑计算模式研究，新一代人工智能需要突破传统深度学习依赖大量数据的痼疾，发展知识+数据理论

（2）特征表征与知识表示研究。研究不同模态的特征表征和不同语义表达模式，从各模态数据中对信息进行识别、分析和推理；建立感知和认知模型。

（3）跨媒体统一语义表达与融合认知计算研究。人类视听觉感知与图像语音和文本的信息融合理解密切相关，力争突破计算机对跨媒体认知、理解的瓶颈，跨越不同模态间语义鸿沟。

二、智能体脑计算软硬一体化技术关键技术研究。主要包括

（1）智能体脑计算与智能无人技术研究。面向新一代人工智能发展和机器智能化重大需求，聚焦无人智能体的未来重要发展方向。

（2）目标识别、跨媒体统一语义表达、知识表示、融合认知研究。将算法在嵌入式智能体传感器硬件层面实现，为智能体脑计算软硬一体化提供技术支撑。

（3）多模态智能无人体系统研发。构建智能体大脑软硬一体化计算平台，为空天地海跨域情报分析，公共安全，协作机器人、无人驾驶、无人机、智慧医疗等多种智能体提供高效AI大脑关键技术。

三、多域多源异构信息感知与认知计算研究。重点研究机器学习深度学习，计算成像，统一语义表达物体检测与识别，语音识别与NLP、智慧公共安全技术等。实现空天地网多域多源视听目标检测，智慧校园社区，网络开源情报综合分析（让机器看懂、听懂、理解世界）

四、多模态协作机器人与智能无人系统研究。重点研究软硬一体化智能体，以无人为核心，以协作为特点，研发协作机器人、无人车、无人机等智能无人体。研发多模态协作机器人、家庭服务机器人，医院护理机器人，战场救助机器人（目标：把机器人送上火星），实现机器理解人，机器模拟人。

五、智慧医疗与智慧健康研究。聚焦医学人工智能，研究医疗文本，医学影像，各类临床大数据的分析与理解，面向典型场景和应用，研究医疗文本结构化，病历质检，自动编码技术。对超声，CT，X光等医学影像自动生成报告。同时，围绕先进的可穿戴/非接触传感器核心组件展开研究，采用非接触式传感技术，采集人体生理信号（人脸、舌象、脉搏、呼吸等），构建非接触式信号采集识别的研究体系，通过人工智能算法学习大夫的诊疗方案，进行疾病早诊早筛，开展人体健康主动识别，努力探索医疗健康保障新技术。