徐洁漪 席涛
摘要：以研究交互式数字艺术在多模态感官理论指引下的创作手段及未来发展趋势为目的。本文通过对目前交互式数字艺术的技术发展及艺术表现特征进行分析，从多模态感官理论的视觉，听觉，触觉，嗅觉，味觉以及交互手段出发，研究和探索如何构建多感官的交互式数字影像。对创作过程进行多感官互动分析，从感官融合，虚拟环境构建及媒介呈现方面总结多模态感官构建交互式数字艺术的方式方法，对未来数字艺术的发展提出新的展望。
关键词：交互式数字艺术，多模态，用户体验，虚拟现实
中图分类号：TB472 文献标识码：A
文章编码：1672-7053（2018）03-0097-03
1 交互式数字艺术的发展与演变
1.1 传统艺术迈向数字艺术
21世纪，随科学技术的进步，艺术与科技的结合诞生了许多例如图像处理，多媒体交互以及增强现实等新的数字媒体表现形式，使得数字艺术的发展不再局限于单一传统媒介。麦克卢汉的《理解媒介》中提到，传统的艺术形式借助文字印刷媒体实现，其特征为视觉的，顺序的。而数字时代，艺术更多的依附和创作于电子媒介，图像除了继承符号形态以外更讲求功能以及知觉的再概念化，由此产生的数字艺术相比传统方式更具有信息反馈，实时互动，多感官融合的特点。
1.2 交互式数字艺术时代特征
信息时代，数字媒介本身便具有交互性的特点，依附于此衍生而来的交互数字艺术便在此基础上得以发展。相较于传统数字艺术单一的信息呈现和传递方式，受众仅能通过观看收听的方式以被动的姿态接受信息，因此可以说传统的艺术形式是受众进行被动性的抗争，而交互式数字艺术则是通过受众主动参与信息的解读与认知寻求被动与主动之间的平衡。
由于交互式数字艺术信息结构的不确定性，信息原本所呈现的形态结构将因受众不同的交互方式而改变。在交互的过程中，受众将超越信息本身设定的意义，赋予其新的含义，创造更多的想象空间。另外，在这样一个不确定、无意识的交互环境中，通过交互行为，受众与受众、受众与空间、受众与作品之间能够形成许多不可预测的结果。受众的角色从被动接受转为主动，成为创作者，其交互关系原理可总结为图1。
由图1所示，人、媒介、作品、艺术家之间相互连接呈网络化的结构，交互数字艺术通过交互构建虚拟现实的环境，受众与虚拟空间进行互动和连接而产生。受众通过与虚拟环境中的物体互动，以物体为媒介与其它受众更甚与艺术家之间形成多向交流和沟通的关系结构。于此同时，数字艺术中的信息和隐喻所蕴合的美学、情感、认知等内在属性也借交互行为产生，这种内在属性使得受众成为作品主体的同时也为作品的客体。交互数字艺术的网络化帮助受众在思想，情感和信息上达到共享和交流，达到物理和心理的互动。
除了交互性、网络化的特征之外，随着感官传感跟踪技术的发展，多感官融合也越来越多地被运用在交互式数字艺术创作中。交互式数字艺术通过使受众对真实世界的体验认知及客观想象的图像世界进行交换，调动受众多种感觉，从而启动身体触觉和运动感官反应，达到超越时空的丰富知觉体验。身体在虚拟数字空间中成为图像提供者，通过身体与数字艺术的结合，能够刺激人的感官，将数字艺术从视觉、听觉方面延伸至嗅觉、味觉及触觉，达到身临其境的效果。
2 多模态感官理论的应用价值
2.1 多模态感官理论
多模态，即为多感官。外界的光线、声音、气味等皆作用于人的感官系统，例如当视觉受到外部刺激时，视觉神经会将刺激转化为生物电信号，并迅速把信息传到脑神经系统进行处理。感觉是认知活动的开端，通过感官能够了解事物的属性。多模态指多个感觉器官加上处理各自信号的神经系统，其包括视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。人类的感官系统是一个相互作用和联系的整体，人们利用多种感官来获取接受信息，多感官整合便是将不同感官通道内不同的信息合并为统一，连贯的知觉的过程。因此通过多模态感官理论能够研究感官主体与外部世界的互动关系。
多模态感官与单一模态感官不同，这意味着两种或更多种感觉对刺激作出反应。它感觉到对各种刺激的反应。这种多感官联合被称为通感，通感是一种神经学现象，指一种感觉形态刺激引起另一种感觉形态，产生感官互通的现象，由达尔文的表哥F·Galton在1880年自然界的论文中首次被记录。
2.2 应用内涵
从传播学理论出发，接受信息时调动的感官越多，心理对事物的形象就更趋向于真实，感官体验达到最大化的同时传播效用也在不断增强。因此在交互式数字媒体中，利用多模态感官理论具有三层内涵：一是通过多感官整合，调动受众的感官机能，使信息接收过程更为主动、有趣、直观；二是将数字艺术从单一的视觉传播信息得以延伸，利用人类感官的生理及心理特点，从认知角度拓宽艺术表现形式；三是探索多感官联合对数字艺术在信息表达上的影响，更好地评估信息传达的有效性及受众的内外在体验。
2.3 应用价值
多模态感官實验表明，模型可以将声音作为联想图像进行相同或相似的图像，提出了在一个连贯的框架内组合声音和运动图像的逻辑方法。例如，在视觉上，不同的颜色赋予不同感觉：红色橙色黄色等暖色给人明亮温暖的感受，蓝色白色则给人寒冷暗淡的感受；同样不同的旋律和声音可以使一个人产生不同的感觉。因此在许多艺术作品和音乐作品中，艺术家和观众之间的交流是通过视觉和听觉来形成的。然而，媒体艺术，通过为观众提供超越视觉和听觉感觉界限的各种感官元素，使他们有各种各样的体验。在众多作品中，配备了尖端的技术，模拟观众的视觉、听觉、嗅觉等，吸引观众。除了传统的视听，研究实验表明，在数字艺术中加入光、风、震动等均能加强受众的感官体验，这为媒体艺术创作提供了更多可用元素。
3 数字艺术中的多模态感官互动研究
3.1 行为活动分析
