人类与计算机交互的过程中会涉及多种不同的感官信息。在人机交互的过程中，计算机和人之间每一个独立的感官通道都被称作一个模态（modality）。单模态指仅支持一种模态的交互（例如纯文本的在线论坛），多模态则是包括多个通道的交互形式（例如弹幕视频网站）。对人类来说，文字、图像、声音、视频等不同模态的信息形式，均承担着接受和表达情感的功能。对情感计算而言，依据其所处理的情感信息所涉及的模态，可以分为单模态情感计算和多模态情感计算。
