看见声音——声音可视化研究
摘要
本文是针对声音视觉化表达的研巧。耳朵接受信息的范围比眼睛要宽广，声音又是我们生活中熟悉的事务。通过阐述声音的基本概念与日常生活中的作用、科学和艺术领域对于声音与视觉关系的探索，队及列举声音视觉化呈现的应用，旨在寻找声音可视化的呈现方式与途径，让它艺术更好地为人类服务。文章第一部分为绪论部分，对课题研究背景以及研究目的与意义进行概述；第二部分对声音可视化的相关概念进行了界定；第三部分对声音可视化的必要条件进行分析，为声音可视化奠定的基础；最后一部分通过实验设计，探寻声音可视化的方法，并对其应用进行了研究。总的来说，整篇文章有理有据，提出了声音视觉呈现的方法及其应用领域，具有一定的实践意义。
关键词：声音；可视化；必要条件
Abstract
This article is in view of the sound research practice of visual expression.Ears to accept the scope of information than the eyes very wide, voice is familiar with the transaction in our life.Through expounding the basic concept of sound and the role of daily life, science and art to explore about the relation between sound and visual, team and enumerated the application of sound visualization rendering, aims to find voice visual presentation and the way, make it art serve humans better.The article in the first part is the introduction part, the research background and research purpose and meaning are summarized;The second part define the concept of sound visualization;The third part analyze the necessary for sound visualization, laying the foundation for sound visualization;Last part of the design, through the experiment in the search for a sound visualization method, and its application were studied.Justified in general, the whole article, and puts forward the voice of the visual rendering method and its application field, has a certain practical significance.
Key words：V oice;Visualization;A necessary condition for
1绪论 (4)
1.1研究背景 (4)
1.2研究的目的与意义 (4)
2相关概念解析 (5)
2.1声音的概念 (5)
2.2声音可视化的定义 (5)
3声音可视化的必要条件 (6)
3.1可视化图形的层次化 (6)
3.2可视化图形的结构化 (7)
3.3图形的轨迹方向 (8)
4声音可视化呈现的应用 (8)
4.1基于科学实验的声音视觉化探索——Cymatics (9)
4.2 艺术设计领域的探索实例 (11)
5 结论 (13)
参考文献 (14)
致谢 (15)
1.1研究背景
声音是神秘而又神奇的，在我们的常理认知中，宇宙是绒默的，是无比寂静的，因为在科学常理上声音如需传播必要介质，宇宙里确实无法听见通常认知上的声音，真空只是一个空虚的零，甚至连声音都可能是空虚的，我们无法断定声音真的存在。日落月升，羁鸟归林，间或一鸣；冬后春来，万物生长，屋檐下的冰凌融化滴下的水声；夜幕初上，归家的人披染寛化，偶然路边一声不属于城市的蛙叫．．．人们很容易忽视这些声音，即使耳朵真的捕捉到了，在随后的沉寂中也会怀疑，送些声音是否真的存在。杨利伟在2006年神舟号里听见了宇宙里的敲击声，他自己也无法解释。此后神舟系列飞船上配备了录音系统来捕捉该悠远神秘的敲击声，但一无所获。
我们诞生的视觉世界中，为满足视觉的设计或研究发展至今，汹涌澎湃之势渐渐退去，从学院到市场，传统的视觉设计已不占据竖不可摧的要塞地化学院里的课程设置出现了网页设计、界面设计和交互设计等。设计师们再不仅仅满足于借用二维的手法去表达视觉的诉求，也不满足于纸这一媒介来传播，随着科学和技术的进步，衍生出了＂全息影像＂、＂3D打印机＂等等的新工具和新形式。由此可见，视觉设计也逐渐开始与其他学科＂合作＂，不断地进化。
被视觉图像化后的声音是何种＂模样＂，是丰腴的图形还是单薄的线条？图形对于人们的意识的暗示是多样性的：Ｈ角形代表稳定，适当变形后也会表达出尖锐之感，那么被感知为＂尖锐＂的声音转换成视觉符号是否是Ｈ角形？＂苍凉＂、＂柔和＂等等词汇在语言中对于声音的描述如果放在图形中是否可Ｗ对应？还是会有偏差？这两种感官之间如何互相转化，让视觉语言去描绘声音的精神图景，让声音去叫嚣着表达视觉世界里的强烈感悟，这都是本文作者在研究过程中和毕设没计作品里想要探讨和研究的问题。
1.2研究的目的与意义
从广义上来说，一切对于新媒体的实践是一场对于信息传播的媒介与方式的实验创新。传统的视觉艺术和设计往往都具有＂静观＂的欣赏功能，新的格局下，原来饰演参观者的观者逐渐变为参与作品的艺术家，现如今，任何一件带有新媒
体艺术标签的作品都是围绕＂互动性＂这个词汇来下功夫：观者的参观展览也理体验、作品本身的姐合方式与浏览形式，甚至可Ｗ不到现场，通过网络参与作品而实现无地域限制的即时互动。每一次科技对媒体领域带来的冲击和创新都让设计师巧艺术家们倍感兴奋，科技日新月异的今天，太多的问题等待着被重新去定义和解释，也孕育着更加疯巧的媒体生态多样化微博、微信、应用类的ａｐｐ、各大互联网公司的云端、４炯络等。冥想术里提出到的＂我们同这个世界唯一相连的就是时空上的＂现在’＂，我们同新媒体其实亦是如此：我们身处其中，洞悉身边时时刻刻发生与正在进行的事情，抛弃先入为主的所谓定义，敢于进行颠覆性的思考和创新，这才是新媒体对于我们的意义所在。借用英文中的现在进行时态，＂新媒体＂其实是一种媒体＂ing＂的状态，无所谓之新媒体、也无所谓之旧媒体，其始终处于创造和更新的信息传播媒介和方式中。无论媒体在如何进化，总是与科学与技术的创新有着紧密的联系，在信息交流的语境下，艺术和设计的表现也对新材料、新形式、乃至新内容的创造。
2 相关概念解析
2.1声音的概念
在物理学的定义中，声音是一种运动，这种运动由分子组成。当我们拍拍手掌，两掌产生振动，产生声波，再通过诸如空气、水或石头等某些介质传播，再由我们的听觉器官接收到声波。
2.2声音可视化的定义
声音的可视化应当划分在信息可视化的范围里，可以理解是信息可视化研究的一个分支。关于声音的可视化，学术界并没有统一的定义：维基百科给其定义是基于已记录的声音产生动画影像的计算机技术，这种影像通常实时产生并与音乐同步播放；百度百科定义其为一种以视觉为核心，音乐为载体，大众为诉求对象，借助多种新媒体技术等传播媒介，通过画面、影像来诠释音乐内容的视听结合的大众传播方式，其为理解、分析和比较音乐艺术作品形式的表现力和内外结构提供了一种直观的视觉呈现的技术。综上，声音的可视化可以被理解为是基于计算机等多媒体技术，将音乐以画面、影像方式呈现出来的视觉艺术。其主要研究的是音乐视觉形态的呈现。因此可以发现，声音的可视化图形研究是包含在
音乐可视化研究中的，同时也是传统意义上的音乐图形的研究，它借用了信息可视化的理性研究方式和音乐图形的研究内容，是大容量信息和传统图形创意的交叉研究点。
3 声音可视化的必要条件
在传统的视觉传达设计中,比如海报设计、书籍设计等，设计师需要将涉及的图形、文字等要素，按照由重要到次要的合理顺序排列编辑版面，使人们可以快速获得最有价值的信息；而在可视化设计中，从信息数据的选择，再到对其进行组织排列，归根到底是为了使信息数据以最为直观有效的方式呈现，因此，是否以最为合理的方式组织、分类信息数据，是信息可视化成形的一个关键。信息可视化的元素与传统视觉传达设计的元素较为不同，无论是信息的量、还是信息之间的关系，显然都更为复杂、细微，因此除了一般视觉排列的形式法则外，同时也具有一些独特需要特别注意的因素：可视化图形的层次化、结构化和轨迹方向。
3.1可视化图形的层次化
为了搭建可视化的结构模型，首先要将大量的信息层次化整理。在信息的划分上，我们可以根据信息之间的关系，按类别、属性、方位、程度等不同维度内的信息数据进行分类，构成层次等级关系；在图形处理上，我们可以依据不同层级，用具有差异性的图形、色彩、位置、大小等区别组成视觉符号，但同时也要保证可视化体系中图形之间的关联性。
音乐信息的层次同样也需要遵循可视化层次的划分。从一个音算起，音是一个传递着的渐变过程，声音的发出，促使周围空气分子相互摩擦形成声的力场，随着摩擦力的作用慢慢减弱，在听觉上，音总是呈由强渐弱的层次变化；从另一个角度观察音的状态，我们会发现单音实际上是一个混合的状态，由多个不同频率的音色共同叠加产生，这些不同频率的音，可以看做是同一并列层级的不同信息元素；而在五线谱中，乐音的层次被简洁的划分：音符与音符的连接，构成连音，连音在一起构成一个小节，几个小节组合在一起，形成一小段，小段连接最终构成一曲乐章；而旋律与伴奏也可以看做是两个不同层次，分属不同维度，需要以不同的视觉符号代表。
3.2可视化图形的结构化
可视化图形的结构实际上是对信息宏观的分层处理。为了满足读者掌握信息内涵、减轻读者对信息认知的负担，结构划分的最基础要求就是清晰、逻辑、整体。提到可视化的结构，人们最先想到的肯定是常见的柱状图、饼分图、散点、折线图等，用Excel、Numbers、Google Charts等软件制作出的传统图表形式，然而，随着信息数据复杂程度的加深，简单的分析表格无法承载更为复杂多变的内容信息，更多形象化的视觉图表结构渐渐出现在我们的视野中。其中，树状结构与网状结构是目前比较常见的两种结构形式。
图2-7
目前信息可视化研究中，网状结构经常用来完成一些地图类的无序复杂信息的视觉化。图3-1是一副莫斯科市区公路可视化地图，可以看到地图以线为基础视觉元素，直观的呈现出如同网络般错综交织的复杂的公路体系。图3-2里斯本的交通信息图中，车的行驶状况可以直观的从图中获取：视觉化的点用来表示行驶中的出租车，视觉的线表示出租车的行驶轨迹，蓝绿色与橘红色的线分别表示行驶速度的快慢，蓝绿色的线的密集度越高，该段公路上的行驶车辆越多、速度越高，相反的，红色的线越稀疏的区域代表该段公路上的车辆越少、速度也越慢。
图2-8
除了树状与网状结构，我们还可以根据处理信息、数据的不同，从睿智的自然中获取合适的结构形态。比如，季节交替变换，会形成一种周而复始的循环结构；化学元素根据属性的不同，组合成线性排列的链状结构或者是维度空间的柱状结构。
3.3图形的轨迹方向
无论在视觉传达还是可视化中,所有视觉符号都需要按照一定的逻辑顺序排列，我们可以根据需要，将这些视觉元素处理为团块化的信息群。从视觉心理的角度分析，当信息的组合趋于规整的形态时，我们的视知觉往往会把它变为完形，并且被群块化的识别，在对不同信息群的处理中，视知觉会优先处理更加趋于完形的那一组，信息群的块面的大小、位置、色调等，也都将造成信息识别、阅读先后的差异。为了流畅的获取信息,我们需要根据视觉思维的特点，按照信息的重要程度和逻辑顺序，对信息进行视觉上的罗列，形成轨迹方向。
这对声音图形的可视化处理也是十分重要的原则。音是听觉上的量，在时间的推移中产生流动的变化，音的量在时间中的变动，转换在二维平面的视觉中，成为沿空间推移变化的量，形成自然流动的视觉轨迹；声音的曲调总是千变万化的，透过曲调的变化，旋律也总是呈或柔和或尖锐的波动，旋律的视觉化也相对具有一定的方向性，通过视觉化的方向处理，我们可以有效的获取声音所传递的内在情感信息：激扬时上升、哀怨时下降、抒情委婉时呈波浪状的递进趋势等。
4 声音可视化呈现的应用
4.1基于科学实验的声音视觉化探索——Cymatics
1787年，德国的物理学家恩斯特？克拉得尼将细沙洒满一方形的金属薄片，然后用弓拉奏这个薄片的四周或Ｗ其他方式使其振动。当拉动出一组特定的和声时，薄片上的细沙就会排出各种图案。有时，克拉得尼发现当手指接触薄肝侧边各种不同的调和分割点，还会产生其图案，这些图案被后世称为＂克拉得尼图案＂，也被后人美誉为＂凝固的音乐＂。
图4-1克拉得尼实验
图4-2克拉得尼实验所得图形
1760年左右，来自瑞士的科学家奴斯·詹尼（Hans Jenny）发现了声音对于人体的共振作用和治疗功效，基于克拉得尼的实验和图形，他创造了Cymatics 这个名词，也著有《Cymatics》。根据Cymatics的理论运用现代科学技术来表现的例子在我的研究过程中也整理了些许，我将这类例子划到声音与视相对客观的转化中。
下面是新西兰音乐人Nigel Stanford实验室运用切Cymatics原理，乐器与物
理装置结合，比如音响盘内注满水，还将可燃气体注入管道，再接上扬声器，通过乐器的击打或演奏而产生的不同频率和振动，可Ｗ直观的看到水和沙子，甚至火焰在不同频率下所对应物理变化，是相对客观、物理现象化的声音可视化作品。
图4-3 Nigel Stanford运用Cymatics原理进行音乐创作
图4-4 Nigel Stanford运用Cymatics原理进行音乐创作
图4-5 Nigel Stanford运用Cymatics原理进行音乐创作中的扬声器实验
图4-6 Nigel Stanford运用Cymatics原理进行音乐创作中的鲁本管实验
4.2 艺术设计领域的探索实例
日本艺术家黒川良一，从他作品的美誉＂影音的雕塑＂上便可看出黑川良一的作品是声音和视觉图形的良好＂联姻＂，不仅仅用视觉图形去表现声音的质感和听觉中的体验，还用声音去唱诵视觉中的震撼。
采访中他亲自坦言说自己并非学艺术或设计出身，他更擅长用编程和技术表达抽象的艺术。学科界限的模糊是一个即将到来的趋势，感官在互通，同样，学科也在互通，就像前文中举例说明的音乐和数学的关系一样，美丽的事物之间有着必然的相似性。从黑川良一的作品研究中一个声音在我脑海里越来越清晰：所谓专业和科班出身，这些都是虚无的桓梧，当任何一个人对一件事物投Ｗ足够多的时间，足够高的关注度，就会产生围绕这件事物的异乎寻常的敏感，这个，也许就是＂专业＂。
在光线昏暗的展厅，五块电子显示液晶屏，依次排开并衔接。黑川良一将＂田野间＂采集来的自然世界的海平面和地平线与数码编程后的数字图像结合，让受众去理解他想表达的，数码和自然的诗意。再配Ｗ混合剪辑后的声音，出其不意，令人无法预见，刺激着听觉。五块液晶电子显示屏中，独立出现图像，也互相联系，数字图像是流动颤科的，自然界中的＂平面＂也在变形和流动，象征着生机蓬勃和残败枯萎这一轮回的现象，正应了作品的名字一一《RHEO》（流变），时间是流动的，让受众的视觉应接不暇又丰富多彩。
数字图像也像诗歌一样会表达柔情和激昂，声音混合中还会出现日本传统乐器的空灵响声，不知是从宇宙中传来，还是来自直古。
图4-7 黑川良一作品《流变》现场展览
池田亮司的影音作品中声音的元素使用非传统意义上的和声与悠扬的旋律，而是啤哗峨峨的电流声，果敢地舍去了旋律与调子，只保留声音中的节奏感，让声音时而聚合、时而分散。再加入一些细微不可查的节奏变化。他Ｗ数学的思维去思考音乐，纯数据作为声源，作品里包含了他对于数学、遷辑、宇宙这些概念等等的探讨，他也认为这些概念就是音乐，就像他对于数学和逻辑的深度敏感一样，数学在研究的顶峰接近宗教，接近＂神性＂，所Ｗ在他的作品中更多的表现出音乐的另一面一一数学美感。
图4-8 池田亮司作品《datamatics》现场展览
本文所列举的作品《datamatics》中，池田亮司将种种数据罗列，转化成声音和节奏，也将宇宙抽象化，打散，解构再重构。屏幕上时刻变化的数据、声波、电流声时而疏散时而聚合又大量的堆叠，提醒着观者声音和数据的关系，我们生活在声波和数据的世界里。和黑川良一给予观者及时的震撼和感动不同，池田的作品中融入他个人对于声音的理解，如哲学一样有时令人难ｙＡ理解但是值得深思。
5 结论
声音是由振动而生的物理现象，听觉对于视觉的帮助分别在生活和科学研巧中的例子比比皆是。视觉与听觉作为接收信息的两类首要感官，不可割裂开来看。无论从毕达格拉斯发现和声和数学的关系再到池田島司的数字声音芝术作品，从视与听的联觉到黑川良一的＂影音雕塑＂。声音是每日陪伴我们的密不可分的生活内容，听觉也是我们熟知的感官，当我们重新审视熟知的一切，就像禅修和打坐时引导我们与自己的器官对话，站在客观者的角度上凝视它们、龄听它们，会发现它们是无比强大而神秘的。本文的开篇提到无论任何新的艺术形式、新的媒介、媒体，无论哪一种形式，终巧是形式，真正应该探讨的是信息的接收和表达方式，对于感官的研究，就好比回到初也、，回到原点。匆忙和庸碌之中，我们忽视了周遭的许多声音，它们往往小而强、弱而美。一旦汇聚到一起，便有振聋发睛和透纸穿石之力，就好比《滴音落意》中的水滴声，水流声，到最后强烈的雨声。研究和设计结束了，无论是语言还是图像，他们所发出的声已经停止振动，然而留于任何空间内的音，依然在着意，肆意地喧請和回想着。
参考文献
[1]韩杰. 艺术创作中声音视觉化的异质同构研究——以动画短片《感觉学》为例[J]. 艺术探索,2015,04:81-86+5.
[2]方小莉. 声音与权力:文本中的意义生产理论[J]. 当代文坛,2013,01:60-65.
[3]谭亮. 视听共振:媒体艺术中的声音视觉化探索[J]. 美与时代(上),2013,07:73-75.
[4]谭浩,谢思远. 基于声音视觉化的界面图符设计研究[J]. 装饰,2016,04:84-85.
[5]郭勇军. 炫出“华丽乐章”——使用Trapcode Particular实现声音视觉化再现[J]. 影视制作,2010,09:49-51.
[6]李长根. 城市感官印象视觉化研究[D].西安美术学院,2015.
[7]乐尔. 声音视觉化[J]. 世界科学,1987,03:2.
[8]孙宁. 试析影视音乐的视觉化效应[J]. 社会科学战线,2013,12:161-164.
[9]李卓雅. 视觉化手法在广播中的运用[J]. 现代视听,2014,03:64-66.
[10]刘松林. 动画短片创作中的声音编辑探究[D].东北师范大学,2013.
[11]刘国庆. 基于钢轨闪光焊闪光声音信号的采集与分析[D].西南交通大学,2013.
[12]潘婵. 动画声音可视化的研究及运用[D].中国美术学院,2012.
[13]孔德剑,孙丹鹏. 基于Flash的声音可视化播放效果分析研究[J]. 电脑知识与技术,2012,18:4512-4514.
[14]宋方圆. 声音的视觉装饰——图形动画教学中声音可视化之探索[J]. 装饰,2012,09:95-96.
[15]刘智超,晏耀华. 虚拟现实中可视化及声音表达的几点思考[J]. 北京测绘,2015,02:116-119.
[16]边江,平智敏. 关于声音可视化的探讨与应用——基于农村初中物理课堂实验[J]. 中学物理教学参考,2015,08:5.
致谢
随着毕业设计展和毕业论文的结束，也预示着我将要踏出校园的门槛走向社会了。大学时光飞逝而过，在这期间经历了许多的风风雨雨。也使我懂得了许多，成熟了许多。在这里也特别感谢曾经栽培过我的老师，和给予我帮助的同学。特别是要感谢指导老师在学习上给予的帮助。从毕业设计的制作到毕业论文的撰写，这些成果中都饱含了老师对我悉心指导的汗水，和高度的敬业精神。虽然在设计中还是存在着或多或少的一些缺点，但整个毕业设计制作的过程已经让我学到了很多，体会到了很多，也丰富了我的大学生活。最后，我要深深地感谢我的家人，是他们支持和无私的泰献才得以使我能够顺利完成学业。也感谢学校对我的教育，让我能有更好的机会去为社会贡献自己的力量。从论文选题到搜集资料，从提纲的完成到正文的反复修改，我经历了喜悦、聒噪、痛苦和彷徨，在写作论文的过程中，心情是如此复杂。如今，伴随着这篇毕业论文的最终成稿，复杂的心情烟消云散，自己甚至还有一点成就感。我要感谢我的导师，他为人随和热情，治学严谨细心。从选题、定题、撰写提纲，到论文的反复修改、润色直至定稿，老师始终认真负责地给予我深刻而细致地指导。正是有了老师的无私帮助与热忱鼓励，我的毕业论文才得以顺利完成。我还要感谢我的班主任以及在大学四年中给我们授课的所有老师们，是他们让我学到了很多很多知识，让我看到了世界的精彩，让我学会了做人做事。最后感谢四年里陪伴我的同学、朋友们，有了他们我的人生才丰富，有了他们我在奋斗的路上才不孤独，谢谢他们。