Web Audio и объёмный звуковой ландшафт введение


Оглавление (нажмите, чтобы открыть):

Принципы имитации объемного звучания

Данная статья основана на моей дипломной работе по теме «Разработка принципов имитации объемного звучания в развлекательной сфере», кафедра информационных технологий, МАИ 2011 год. Для адаптации текста вырезаны сухие статистические данные, язык сделан более живым, вставлены отсылки к книгам и статьям, которые я могу порекомендовать. Затронутые вопросы будут интересны тем, кто еще только изучает механизмы локализации звука. Программная часть в статье не затрагивается. Для дополнительного интереса из статьи не вырезана практическая часть создания бинаурального манекена-микрофона.

Хочу выразить благодарности Борису Климову за создание эксклюзивных иллюстраций, а так же Надежде Гурской за анализ и правки текста.

Введение

Основная цель виртуальной реальности «погрузить» человека в пространство игры, действия на экране (фильм, мультфильм, 5D кинотеатр) настолько, чтобы на время он забыл о реальности мира окружающего.

Объемное звучание – залог того, что человек сможет ощутить эффект «присутствия». Восприятие звукового пространства, очевидно, было востребовано еще задолго до появления средств записи звука: на протяжении веков создавались помещения, такие как храмы, театры, концертные залы, где обеспечивалось «погружение» слушателя в звуковое пространство путем создания естественного акустического эффекта — реверберации. Научные исследования поведения акустики в концертных залах фирмой «Bose» показали, что приблизительно 11% доходит до слушателя напрямую, остальной процент звука приходит в отраженном виде от стен, пола и потолка и других объектов вокруг слушателя, тем самым создавая объем звука. С информативной точки зрения 25% информации об окружающем мире, получаемой человеком, приходится на звук.

Подход к звуку в современных кинотеатрах приучает слушателя к тому, что звук может и должен быть качественным и реалистичным. Профессиональными разработчиками современных игровых приложений работе со звуком отводится до 40 процентов бюджета и временно-людских ресурсов. С другой стороны некоторых разработчиков игр и приложений ещё надо убедить потратить время и средства на реализацию качественного звука.

Восприятие звука человеком

Человеческий слух способен воспринимать звук в диапазоне от 16—20 Гц до 15—20 кГц. Звуки с частотой ниже 20—30 Гц (инфразвук) воспринимается не органом слуха, а осязанием, например, через вибрацию поверхностей. Частоты предельных нижних значений слышимого спектра могут восприниматься через резонансы внутренних органов человека. При небольшой интенсивности звук низкой частоты оказывает дополнительное эмоциональное воздействие (например, популярный эффект sub drop).

Уменьшение диапазона слышимых частот связано с изменениями во внутреннем ухе и с развитием возрастной нейросенсорной тугоухости. К 60-и годам слышимый диапазон на верхней границе становится не выше 10—12 кГц. Так как основной контингент развлекательной сферы люди молодые, то воспринимаемый слухом диапазон должен учитываться в полной мере. Но и специалист по звуку должен обладать полноценным слухом, слышать неестественность и неполноту тембра, мочь выявить резонансы. И что не маловажно — беречь слух от перегрузок. Многие люди в музыкальной-звуковой сфере испытывают постоянные нагрузки от звукоусиливающей техники и громких акустических инструментов (как и я сам, за более чем 12 лет игры на ударных инструментах). Современный человек подвержен негативному воздействию окружающих шумов, что снижает его чувствительность, притупляет верхние границы частот раньше естественной тугоухости. Не нужно пренебрегать такими средствами защиты слуха, как беруши. Также негативное влияние могут оказывать звуки низких частот.

Восприятие звука индивидуально, оно зависит от конфигурации (формы) ушной раковины, физиологических особенностей, возраста и от психологического настроя в конкретный момент. В рассматриваемой сфере восприятия звука также зависит от:
— средств воспроизведения (динамики воспроизводящего устройства, наушники, колонки, многоканальные системы),
— помещения в котором осуществляется прослушивание,
— качества средств преобразования (например, реализация звукового процессора, движка),
— соблюдения принципов создания правильной звуковой картины, если речь идет о саунд-дизайне.

Механизмы локализации источника звука человеческим слухом

Способность человека локализовать источник звука в пространстве строится на принципе бинаурального слуха. Бинауральное (от лат. bini — «два» и auricula — «ухо») строение слуховой системы заключается в различном восприятии звуковых сигналов пришедших на правое и левое ухо. Алгоритм локализации источника звука:
— звуковой сигнал, исходящий от источника звука и переотражений помещения, попадает во внешнюю часть слуховой системы, где конфигурация ушной раковины позволяет передать во внешний слуховой канал уже частотно обработанный сигнал,
— сигнал проходит в барабанную перепонку человека, в силу вступают механизмы внутреннего уха,
— из внутреннего уха информация поступает в отделы головного мозга, где на основе анализа сравнения сигналов, поступивших с каждого из слуховых каналов, делаются выводы о расположении звукового источника.

Человеческий мозг сравнивает информацию, пришедшую из барабанных перепонок, с той информацией, которая уже хранится в памяти.

Для определения месторасположения звукового источника в пространстве слуховая система использует основные механизмы локализации: по разнице во времени, по разнице интенсивности, по разнице амплитудно-частотного спектра. К вспомогательным механизмам относятся отражения звука от туловища и плеч человека, реверберация, окклюзии (звук, прошедший через препятствие), обструкции (звук отфильтрованный препятствием), эффект Доплера, эффект Хааса (эффект предшествования). Не стоит забывать про эффект психологического восприятия: при несоответствии источника в видимом пространстве со звуком или нарушении синхронности качество локализации резко падает.

Определять пространственное положение источника звука приходится при наличии звуковых помех. Существуют естественные механизмы помехоустойчивости слуховой системы. Один из них проявляется в бинауральном освобождении от маскировки. Феномен состоит в том, что локализовать звуковой сигнал на фоне статичных помех (например, шумов окружения) легче.

Пару слов о прозрачности звучания. Приведу известный пример. Представим несколько контурных рисунков животных, наложенных друг на друга. Опознавание совмещенных в пространстве рисунков тем сложнее, чем ближе формы изображенных животных (термин форма имеет тот же смысл, что и в звуковом сигнале). Если же эти рисунки разнести в пространстве, то задача определения животного по форме становится значительно проще.

Локализация по временной разнице (фазовая локализация)

Данный механизм работает на частотах от 300 Гц до 1,5 кГц. За счет разницы между положением левого и правого уха звук, приходящий от источника, расположенного под углом к фронтальному направлению, затрачивает различное время для достижения барабанных перепонок.

При одинаковом времени, затрачиваемом для достижения сигнала левого и правого уха, данный механизм будет локализовать источник в азимуте 0 и 180 градусов. Различное время достижения барабанных перепонок приводит к появлению фазового сдвига. Слуховая система различает фазовый сдвиг до 10—15 градусов. С повышением частоты, а соответственно, с уменьшением длины звуковой волны, фазовый сдвиг сигналов, пришедших от одного и того же источника к разным ушам, увеличивается. Как только сдвиг достигает значения, близкого к половине длины звуковой волны механизм перестает работать. Человеческий мозг не может однозначно определить, отстает ли звуковой сигнал в одном из слуховых каналов от другого или, наоборот, опережает его.

Максимальная разница во времени, соответствующая полному смещению источника звука вправо или влево, не может быть больше 630 мкс.

Расстояние между правым и левым ухом взрослого человека составляет 0,15 м—0,20 м, если брать среднее значение по полу. При источнике, излучающем звуковую волну с частотой 20 Гц и скорости звука в 340 м/с, длина волны будет составлять 17 м. Соответственно, если человек повернется к источнику одной стороной, то фазовый сдвиг сигналов, пришедших в одно ухо, а затем в другое, будет составлять примерно 1,1 % от всего периода 20 Гц волны (локализации на таких низких частотах невозможна). Физиологически точность локализации зависит от размера головы, то есть расстояния между ушами. Чем больше это расстояние, тем с большей разницей приходят звуковые сигналы в каждое ухо.

Локализация по уровню интенсивности

При излучении звука источником, расположенным под определенным углом к фронтальному направлению, уровень звукового давления на барабанные перепонки в разных ушах будет различным. Это связано с тем, что одно ухо будет находиться как бы «в тени», которую создает голова, а также с тем, что звуковые волны выше 1000 Гц сравнительно быстро затухают в пространстве.

Данный механизм является достаточно эффективным, но в диапазоне звуковых частотах от 1600 Гц. При длине звуковой волны, сравнимой с диаметром человеческой головы, дальнее от источника ухо перестает находиться в «акустической тени», что обусловлено явлением дифракции звуковой волны на поверхности головы. При этом опытным путем было выявлено, что способность человеческим слухом определения угла между двумя источниками в горизонтальной плоскости в области частот 1500—2000 Гц резко снижается.

Такой механизм способствует определению расстояния до источника звука. Однако уровень звука от слабого, но близко расположенного источника может быть таким же, как от мощного, но удаленного на значительное расстояние. При таких условиях локализации способствует следующий механизм.

Локализация по разнице амплитудно-частотного спектра

Механизм основывается на возможности анализа мозгом АЧ провалов и подъемов определенных частот в сложном сигнале. Звук, приходящий под углом 90°, содержит как низкочастотные, так и высокочастотные составляющие, а в спектре звука, действующего на дальнее ухо, высокочастотных составляющих будет меньше — экранирующее воздействие головы. Кроме того, звуковой сигнал по-разному отражается от участков ушной раковины, происходит усиление и ослабление различных участков звукового спектра.

Данный механизм отвечает за локализацию фронт-тыл и вертикальную плоскость. Изучение фильтрующего действия головы и ушных раковин слушателя позволило ввести понятие пеленговых полос. При локализации человек анализирует не весь спектр приходящего звука, а лишь изменения некоторых частот. Такие полосы сформировались эволюционно, слух выработал собственную систему отслеживания и предупреждения опасности, достаточно точно локализуя откуда исходит угроза.

Изменения в полосах от 16 до 500 Гц и от 2 до 6 кГц отвечают за локализацию передних источников звука. Полоса от 0,7 до 2 кГц — изменение тембра источников, которые могут располагаться сзади.

Сигнал со сложным спектральным составом локализуется лучше, а ощущение направления «фронт-тыл» формируется преимущественно теми полосами направления, в которых сосредоточена большая часть мощности сигнала. Чистые тона, которые, практически не встречаются в природе локализуются хуже сложных сигналов. Так, чистые тона свыше 8000 Гц поддаются локализации с трудом. Невозможно определить и местоположение источников звука низкой частоты — менее 150 Гц.

Локализация в вертикальной плоскости гораздо хуже, чем в горизонтальной. Без психологического, зрительного воздействия практически невозможно создать имитацию объекта, который должен располагаться, например, сверху. Этот звук должен быть как минимум привычный и ожидаемый.

Гибсон Д. в своих книгах и видео выдвигает концепцию о вертикальном расположении инструментов в музыкальном миксе по их звуковысотности (тесситуре) или форманте (область усиленных частичных тонов), так как в вертикальной плоскости звуковоспроизводящая техника построена по такому же принципу. За счет акустического кроссовера с определенными границами сложный сигнал делится на полосы частот. В трехполосной системе снизу расположен woffer предающий НЧ, в средней части mid-driver для СЧ и tweeter в верхней части системы для передачи ВЧ. А sub-woffer передает часть информации через пол. Такой подход интересен, но не подходит для многих систем, например, при использовании наушников или любой другой системы без разделения на полосы.


Тем не менее уменьшение интенсивности низких частот психоакустически помогает «приподнять» объект, сделать его легче.

Перемещение источника звука

До 1960-х годов изучение способности человека локализовать источник звука в пространстве в основном касалось неподвижных источников звука. После же началось исследование восприятия человеком и движущихся источников звука: определялись основные характеристики восприятия.

В ходе исследований оказалось, что для того, чтобы у человека возникло ощущение движения звука, необходимо определенное время — временное окно. Оно колеблется от 0,08 до 0,12 с. Локализовать же короткий неподвижный звук (например, щелчок длительностью порядка 0,001 с.) достаточно легко.

Так же человек может различать скорость движения источника звука: чем она выше (в определенных пределах), тем тоньше эта способность. Если источник звука движется со скоростью 90°/с (движение по полупериметру перед головой испытуемого), человек различает изменение скорости на 15%; а при скорости движения 360°/с — на 5,5%.

Если источник является неподвижным, то для его локализации человек подсознательно совершает микроперемещения головы, на порядок повышающие точность определения положения источника в пространстве.

Эффекты

Для того чтобы правдоподобно передать звук от движущегося источника, необходимо учитывать эффект Доплера (эффект изменения частоты звука от источника при нерадиальном перемещении его относительно слушателя). По субъективному ощущению эффекта звук резко меняет тон — становится более высоким при приближении объекта и более низким при его удалении. В игровой сфере эффект Доплера играет значимую роль. Особенно, если речь идет об авто симуляторах и других приложениях связанных с быстрым перемещением объектов. Эффект Доплера распространённым плагином для секвенсоров, а также, на сколько мне известно, существует во многих звуковых движках.

Одним из основных эффектов создания пространства является эффект реверберации (процесс многократного переотражения звукового сигнала от различных поверхностей с постепенным уменьшением его интенсивности). У моделируемой реверберации существует ряд параметров — время раннего отражения, время позднего отражения, скорость затухания, процентное соотношение «сухого» сигнала с обработанным. Эти параметры указывают на размер помещения и место источника звука в нем относительно слушателя. В работе я использую исключительно конволюционные (сверточные) ревербераторы, применяя к ним импульсы реальных помещений. Не вдаваясь в подробности технологии сам импульс представляет из себя шумовой «слепок» помещения (wav файл), который модулирует исходный звуковой файл, тем самым помещая его в имитируемое пространство. В музыкальной сфере конволюционные технологии давно используются, так в оболочке Kontakt (4,5) от NI конволюционный ревербератор с набором импульсов имеется в списке стандартных эффектов.

Звуковые системы. Бинауральная система

Существует два основных подхода по организации современных звуковых систем в помещении: многоканальные системы и двухканальные системы (в том числе и наушники). В многоканальных системах звук передается из мониторов, размещенных спереди и сзади от слушателя (либо вокруг него).

Для усиления пространственного эффекта производители пытаются продвигать концепции систем уже не пяти-, а шести-, семи- и даже девятиканальные. Увеличение количества каналов требует усложнение работы звукорежиссера, увеличения количества акустических систем, коммутационных проводов, применения более сложных усилителей, а, следовательно, позволяет увеличивать доходы с продаж.
Не всем потребителям необходимы многоканальные аудиосистемы. Для кого-то это неприемлемо по экономическим соображениям, кто-то не может выделить под систему домашних развлечений помещение в жилом помещении. Кто-то по очевидным причинам предпочитает пользоваться наушниками (в ночное время суток, при перемещении в транспорте и т.д.).

Всего два уха обеспечивают человека всей необходимой информацией об объекте, это значит, что для ее передачи достаточно всего лишь двух громкоговорителей. При использовании бинауральной записи кажущиеся источники звука в случае применения наушников оказываются вынесенными за пределы головы слушателя в то место, где расположены действительные источники звука. В отличие от этого, при прослушивании через наушники сигналов обычной стереофонии кажущиеся источники звука ощущаются как расположенные внутри головы слушателя.

Появление реверберации затрудняет оценку азимута кажущихся источников звука в тыловой области, где слушатели вместо истинного направления часто указывают соответствующее ему зеркальное фронтальное направление. Данное явление возникает особенно часто, когда время стандартной реверберации в помещении прослушивания превышает 0,3 с.

Правильная передача пространственной информации при воспроизведении с помощью двух мониторов возможна, но даже незначительное (около 9—15 см.) смещение центра головы слушателя влево или вправо от этой точки приводит к тому, что локализация кажущихся источников звука оказывается невозможной вне фокуса осей мониторов.

В оптимальной точке прослушивания бинауральная система обеспечивает звучание, уверенно предпочитаемое обычному стереофоническому. Однако ее применение весьма ограничено: воспроизведение с помощью наушников, переносная аппаратура радиовещания и звуковоспроизведения, компьютерное моделирование. Бинауральная звуковая система мало пригодна для условий коллективного прослушивания.

При воспроизведении бинаурального сигнала через акустическую систему из-за попадания сигнала правого канала в левое ухо слушателя и наоборот возникают перекрестные искажения.

В реалиях игрового саунд дизайна записанные бинауральные аудио файлы не применяются, потому как невозможно изменять их положение в пространстве, нет виртуального источника и виртуального слушателя, это не моделирование.

Алгоритмы

Основной алгоритм, использующий основные механизмы локализации звука человеком, реализован в HRTF (Head Related Transfer Functions — функции перемещения звука относительно слушателя. Количественно HRTF определяются обратным интегральным Фурье преобразованием коэффициентов под названием HRIR (Head Related Impulse Response), которые в первом приближении определяются отношением давлений на барабанную перепонку уха звуковой волны в свободном пространстве (free field) и в реальном пространстве с учётом головы человека, ушных раковин, его корпуса и других препятствий.

HRTF представляет собой сложную функцию с четырьмя переменными: три пространственных координаты и частота. При использовании сферических координат для определения расстояния до источников звука больших, чем один метр, принимается, что источники звука находятся в дальнем поле (far field),значение HRTF уменьшается обратно пропорционально расстоянию. Большинство измерений HRTF производится именно в дальнем поле, при этом количество переменных уменьшается до трёх: азимут (azimuth), высота (elevation) и частота (frequency). Действие HRTF зависит от частотного диапазона обрабатываемого сигнала: только звуки со значениями частотных компонентов в пределах от 3000 Гц до 10000 Гц могут успешно интерпретироваться с помощью функций HRTF. Если сигнал от источника звука не содержит особую частоту, влияющую на разницу между фронтальными и тыловыми HRTF функциями, то такой сигнал никогда будет локализован по направлению фронт-тыл.

HRTF моделировался при помощи манекена KEMAR (Knowless Electronics Manikin for Auditory Research) и специального «цифрового уха» (digital ear), разработанного компанией Sensaura. В ушах манекена размещаются микрофоны, а вокруг манекена — акустические колонки, в результате происходит запись того, что слышит каждое «ухо». Получаемые при таком моделировании результаты используются для пополнения базы данных по HRTF, которые затем могут быть использованы для интерактивного выбора параметров при воспроизведении позиционируемого 3D звука (в базе данных компании Sensaura накоплено более 1100 HRTF). Необходимость в такой базе данных объясняется, во-первых, различием размеров и формы головы и ушных раковин манекена и потенциального слушателя и, во-вторых, определяемых этими параметрами так называемой зоны sweet spot, в которой корректно воссоздаётся эффект звучания в вертикальной плоскости и гарантируется правильное определение местоположения источников звука в пространстве. Чем больше область sweet spot, тем большую свободу действий имеет слушатель. Поэтому разработчики постоянно ищут способы увеличить область действия sweet spot.

Компания QSound при реализации технологий с HRTF опирается не только на математические методы, но и на апробацию слушателями (таких прослушиваний было проведено около 550 тыс.). Специалисты компании Sensaura после серии опытов определили, что HRTF в чистом виде «работает» только при воспроизведении через наушники. Моделирование звука в этом случае тривиальная задача: каждый динамик контролирует соответствующее ему ухо. Однако при воспроизведении того же самого звука через колонки правое ухо слышит также звук, призванный «обманывать» с точки зрения трехмерности левое, и наоборот. Для исключения этого явления требуется добавить в звук дополнительные компенсационные вычисления. Удачные алгоритмы компенсации были разработаны, они получили название Transaural Cross-talk Cancellation (TCC). Решена задача была с помощью другой идеи инженеров Sensaura. Она заключается в том, что функции HRTF действуют только для среднестатистического уха, так как выведены с помощью одного манекена или усредненных показаний большой группы людей. Sensaura разработала цифровую модель уха, в которой можно задавать параметры ушной раковины. С помощью этой цифровой модели сочетанием разных параметров можно воспроизвести форму практически любого уха. Получившийся драйвер цифрового уха работает так: при его установке человек слушает ряд тестовых звуков и настраивает параметры драйвера, чтобы наилучшим образом ощущать трехмерность звука. Индивидуальные параметры слушателя записываются в специальный «профиль», он впоследствии и используется приложениями.

Web Audio и объёмный звуковой ландшафт: введение

Слух как альтернативный способ восприятия города; шум, громкость, тишина — культурные конструкты. Как урбанистическая структура современный город характеризуется многомерностью и сочетанием видимых и скрытых пластов социального и культурного ландшафта. Воспринимать и изучать эту многомерность можно привычно — через визуальную среду, но можно и через альтернативные каналы — через обоняние, тактильно, на слух. Лекция антрополога и исследователя звука Андрея Возьянова посвящена «listening cultures» — городским субкультурам слушания, слышания, приглушения, потребления и производства звука. О саундскейпах как звуковых формах социальной жизни; о звуковых пространствах; о том, как мы переживаем звук.

Мастер Йода рекомендует:  Анализируй данные с помощью одной строки на Python

Андрей Возьянов — антрополог, исследователь звука, аспирант Института исследований Восточной и Европы Регенсбургского университета.

Как сделать звуковой ландшафт стройным и красивым?

«Звуковое воспитание: 100 упражнений на слушание и производство звуков» — это пособие для преподавателей музыкальных и звуковых курсов, разработанный основоположником школы исследований и планирования звуковых ландшафтов Раймондом Шейфером[1]. Сам по себе проект Шейфера адресован широкому кругу лиц — в конечном счете, потребителем и производителем звуков в городе являются не только архитекторы и управленцы, но и представители бизнеса, покупатели, водители, пассажиры транспорта и все остальные жители и посетители города. Потому пособие может (и должно) использоваться не только преподавателями специальных учебных учреждений, но и всеми заинтересованными в улучшении городов людьми.

Подборка из 100 упражнений является авторской, то есть не конечной и не исчерпывающей — наоборот, это некоторый образец, лишь приоткрывающий краешек плотного занавеса, за которым скрыт от современного человека мир звуков. Последовательность выстроена по принципу от абстрактного к конкретному: сначала приведены упражнения на развитие слуховой компетенции вообще, затем постепенно происходит переход к более специфическим сюжетам; в завершение приведены несколько упражнений на изучение и планирование звукового ландшафта городских территорий. Именно эти упражнения, а точнее их перевод на русский язык, TATLIN впервые публикует ниже. На первый взгляд они могут показаться наивными и простыми, но эта видимая простота — одна из иллюзий, затмевающих нашу чувствительность по отношению к звучанию современных городов. Это один из камней преткновения на пути к грамотной и комфортной аудиальной среде.

«Я думаю, что улучшить звуковой ландшафт во всем мире довольно просто. Нам нужно научиться слушать. Все говорит о том, что мы позабыли этот навык. Мы должны сделать наши уши чувствительными к полному чудес окружающему миру звуков. После того, как мы разовьем критическое чутье, можно переходить к крупным проектам, способным воздействовать на окружающих. Конечная цель должна состоять в принятии осмысленных решений по планированию, изменяющему звуковой ландшафт вокруг нас». (Р.М. «Звуковое воспитание: 100 упражнений на слушание и производство звуков»[1])

Рассмотрим изменения звукового ландшафта в рамках района. Начнем с парка. Позвольте группе ваших учеников выбрать любой парк, куда они отправятся и где проделают следующие упражнения. Сходите туда несколько раз в разное время суток, чтобы познакомиться с ним достаточно близко. Вот что нужно обсудить относительно этого парка: какими особыми аудиально привлекательными чертами обладает этот парк? Какие черты парка, наоборот, неприятны для уха?

Крупный парк должен предоставлять вариативность звуковых сред. В некоторых местах могут преобладать объекты рекреационного назначения (детские площадки, поля для игровых видов спорта); в других местах можно насладиться расслабляющими и сближающими с природой тихими рощами (с тропинками, лавочками, деревьями, водоемами). Представлено ли все это разнообразие в вашем парке? Если не в полной мере, попробуйте подумать: как можно расширить спектр акустических ситуаций (не изменяя размер и форму парка)? При выполнении этого упражнения поощряются как записи, так и зарисовки.


Разные специалисты создавали и размещали в парках звуковые скульптуры, некоторые я создавал сам. Если есть возможность сделать что-то подобное, группа может поработать над такой скульптурой и принести ее в дар парку. Эта скульптура может резонировать со звуками природы (завывания ветра, плеск воды) или издавать звуки, когда прохожие играют на ней, быть своего рода музыкальной игрой. Даже если подобная скульптура не будет реализована, попробуйте придумать что-то, что могло бы украсить парк. Некоторые идеи вы сможете почерпнуть из главы «Звучащий сад» в моей книге «Настраивая вселенную»[2].

А теперь спустите свое воображение с тормозов и нарисуйте план идеального парка, обозначив все располагающиеся в нем акустические аттракционы: звуковые скульптуры, музыкальные игры, водяные мельницы и фонтаны, оркестровые платформы, пруды и деревья, привлекающие птиц, туристические тропки, различные пешеходные поверхности, заглушающие или выявляющие шаги, и, возможно, в центре, Храм тишины, в котором можно было бы передохнуть и погрузиться в свои размышления.

Группа The World Soundscape Project в университете Саймона Фрейзера (Канада), 1973. Слева направо: Р.М. Шейфер, Брюс Девис, Питер Хьюс, Барри Труа, Говард Брумфилд

Представьте, что по обеим сторонам от парка располагаются автомобильные дороги. Как вы справитесь с шумовым загрязнением? Деревья в этом отношении менее эффективны, чем высокие ограждения или земляные насыпи.

А теперь рассмотрим улицу, на которой вы живете. Если бы вы были архитектором, которому предоставили полную свободу перепланировать ее, какие изменения вы внесли бы, чтобы улучшить ее звуковой ландшафт? Например, если вы решите убрать весь трафик, какими звуками вы бы заменили автомобильные шумы, а какие звуки, по вашему мнению, возникли бы сами собой?

Представьте, что вы можете запретить некоторые звуки в определенное время дня или день недели: автомобили, газонокосилки, радиоприемники и звукоусилители, вечеринки, фестивали и т.д. Составьте временную диаграмму со своими предложениями, с которыми, по вашему мнению, было бы согласно большинство ваших соседей.

Теперь наша задача — вовлечь как можно больше людей в работу над звуковым ландшафтом района. На это направлены последние три упражнения. Они потребуют глубокой работы в небольших группах дизайнеров звуковых ландшафтов и могут практиковаться в формате публичных мероприятий, открытых для всех желающих.

Брюс Девис и Питер Хьюс в университете Саймона Фрейзера во время записи, 1972

Первое упражнение я назову «Поиск звучащих сокровищ». Оно состоит из ряда заданий, описывающих определенные звуки, имеющиеся в районе, и пустой карты, на которую нужно наносить расположение этих звуков. Первый, кто обнаружит все перечисленные звуки и верно нанесет их расположение на карту, становится победителем. Какие-то звуки будет легко локализовать, а какие-то сложно. Разумеется, все звуки, перечисленные в списке, должны воспроизводиться регулярно или, по крайней мере, звучать во время игры. Это существенно сокращает спектр возможных звуков, но старательные дизайнеры звуковых ландшафтов должны быть способны придумать множество звуков, к тому же, список может включать в себя звуки, которые сами игроки производят в поисках описанного звука, то есть, звуки обычно молчащих и статичных объектов.

Следующее упражнение можно назвать «Прогулкой по звучащим сокровищам». К нему стоит подойти с большей требовательностью. Задача состоит в том, чтобы провести участников по определенной территории города, используя в качестве ориентиров только звуки. Для упражнения также понадобится пустая карта, участники должны корректно отобразить на карте маршрут. Первый, кто вернется в исходную точку, становится победителем.

Говард Брумфилд в университете Саймона Фрейзера, 1972

Эта прогулка требует серьезной предварительной подготовки. Нет смысла просить слушающих искать звучащий водосток, поскольку все водостоки в городе звучат примерно одинаково. Организаторы должны знать звуковой ландшафт определенной территории очень хорошо, и желаемый маршрут должен пройти предварительный тест, чтобы исключить возможную двусмысленность заданий.

Последнее упражнение я назову «Звукомобилем», поскольку оно касается звуков движения. Как и другие упражнения, оно требует предварительной подготовки. Идея состоит в том, чтобы в рамках определенной территории, состоящей из нескольких кварталов, наряду с привычным гомоном улицы можно было слышать особые звуки, производимые волонтерами. Звуки не должны быть слишком специфичными — не настолько, чтобы выбиваться из общего контекста, и должны производиться волонтерами, передвигающимися по улицам выбранной территории. Наилучший вариант для проведения такого упражнения — деловая улица с магазинами в дневное время. Вначале участникам выдается список звуков, к которым они должны прислушиваться, им сообщаются границы территории, на которой эти звуки нужно найти. Услышав один из указанных звуков, они подходят к производящему этот звук человеку и получают от него карточку. Первый, кто вернется в исходную точку с полным набором карточек, становится победителем.

Подобные упражнения (как эти, так и многие другие, которые можно разработать на их основе) направлены на развитие осознанности по отношению ко всем звукам окружающей нас среды. Это не просто детские игры, подобные упражнения я проделывал с людьми разных возрастов.

Я всегда настаивал на том, что дизайн звукового ландшафта должен начинаться как внутренний процесс, должна возникнуть потребность в нем у чувствительных к нему горожан. Только так он сможет стать по-настоящему эффективным. Это образовательный процесс, к которому приступают индивидуально или в небольших группах, постепенно расширяя круг участников, словно расходящиеся круги на воде, до тех пор, пока в это движение не будут вовлечены все жители всех городов и, наконец, органы власти по всему миру. Тогда и только тогда мы сможем говорить о становлении звуковых ландшафтов стройными, красивыми и уникальными.

[1] R. Murray Schafer, A Sound Education. 100 Exercises in Listening and Sound-Making. Arcana Editors, 1992.

Раймонд Мюррей Шейфер (1933 г.р.) — канадский композитор, специалист в сфере музыкального образования, основатель одного из первых и наиболее известных исследовательских проектов в сфере звуковых ландшафтов The World Soundscape Project (с конца 60-х годов XX века до настоящего времени), автор ставшей классической книги The Tuning of the World (1977). Шейфера часто указывают в списке основоположников sound studies как исследовательского направления, а его методические разработки (включая учебник, фрагмент которого публикуется здесь) легли в основу множества исследовательских инициатив.

[2] R. Murray Schafer, Tuning of the World. Knopf, 1977.

Что такое звуковой ландшафт

Начинающий звукорежиссер часто задумывается: с чего стоит начать работу над сценой. Проложить звук проезжающего автомобиля или «собрать» шум города? Помочь тут может система звукового ланшдафта, разработанная Рэймондом Шафером

  • 27 ноября 2020 3041
  • Павел Новиков

Популярное

Крылья фей, гниющий монстр и городские кварталы: как создавались визуальные эффекты сериала «Карнивал Роу»

Приемы: Правило 30 градусов

Тест: Насколько хорошо вы разбираетесь в анимации

«В рынок контента вваливаются огромные деньги»: разговор о телевидении в 15 цитатах

Мастер: Хоакин Феникс

Рэймонд Мюррей Шафер, композитор и педагог канадского университета Simonа Frasera, вывел целую науку акустической экологии. Он решил представить окружающие нас звуки в виде музыкальной партитуры. Главная мысль Шафера — все окружающие нас звуки состоят из нескольких элементов. Их композитор и структурировал в ходе своих работ.

Композитор Рэймонд Мюррей Шафер / Фото: Fred Thornhill

Основной тон (keynote/keytone)


Первый элемент звукового ландшафта — основной тон. Через него слушатель получает много информации и может оценивать акустические характеристики пространства. По аналогии с музыкой можно вспомнить тональность композиции. Звуки, относящиеся к этой категории, могут быть едва слышны, но они все равно описывают среду. Это может быть смех детей, звук птиц, гудение шоссе. Звук фиксируется бессознательно, слушатель не заостряет на этих звуках внимание, но получает через него много информации.

Фото: Victor Benard

Звуковые сигналы (sound signals)

Эти звуки насыщают звуковое пространство. В отличие от основного тона, зритель фиксирует их сознательно, они выходят на первый план. К ним можно отнести сирену полицейской машины, церковный колокол, шум фонтана. Если основной тон рассказывает об общих акустических характеристиках, то звуковые сигналы немедленно передают контекст окружающей звуковой среды.

Фото: Robert Tudor

Звуковые метки (soundmarks)

Термин происходит от английского слова «landmark», то есть «ориентир». Звуковые метки вызывают прямые ассоциации у слушателей. Рэймонд Мюррей Шафер в качестве примеров приводит такие звуковые метки, как звуки фабрик, шум прибоя, батальные звуки, фоны города. Распознать эти звуки на слух человеку помогают тембральные особенности: реверберация может сообщить, что события разворачиваются в пещере или маленькой комнате, храме. Искажение тембров может определить звуки, как подводные или огибающие какие-либо препятствия на своем пути.

В своей книге 1993 года «The Soundscape: Sonic Environment и Tuning of the World» Шафер писал:

«Когда вы определите звуковые метки, к ним нужно относиться трепетно. Именно эти звуковые дорожки делают акустическую жизнь ланшдафта уникальной».

Таким образом, Шафер выделил три важнейших звуковых компонента, которые влияют на акустическое восприятие звукового ландшафта человеком. Основной тон и звуковые метки — это постоянные элементы, звуковые сигналы — единичные, дополняющие. Подобно звуковой партитуре, все эти звуки складываются в композицию, которую называют звуковым ландшафтом. Важно, что эти элементы также связываются между собой единым акустическим пространством. Помогает в этом, к примеру, реверберация.

Книга «The Soundscape: Sonic Environment и Tuning of the World»

Работа Шафера нашла большой отклик в аналитических работах о кинематографе. При анализе звуковой структуры критики стали выделять основной тон, звуковые сигналы и звуковые метки.

Естествовед и специалист по экологии звука Бернард Крауз пошел дальше. Он классифицировал звуки на три категории.

1Геофонические

Термин происходит он греческого префикса «гео» (земля) и «фон» (звук). Этот тип звуков генерируют небиологические природные источники. Примерами могут послужить шум ветра в деревьях, шум волн в океане, течение воды.

Фото: Leo Roomets

2Биофонические

3Антропологические

В этот тип входят все звуки, которые вызвал человек.

Важно, что теория звукового ландшафта пригодилась не только в звукорежиссуре кино, но и в экологии. Ряд исследований показал, что уровень постороннего шума напрямую коррелирует со здоровьем человека. Таким образом, высокий уровень шумов может вызывать стресс, снижение сна и даже cердечно-сосудистые заболевания. Существуют также и звуки, положительно влияющие на здоровье человека. Большую пользу, как оказалось, приносит прослушивание звуков природы.

По принципу, схожей с теорией Шафера, работает служба «Natural Sounds and Night Skies», которая активно защищает звуковые ландшафты и акустические условия в национальных парках США. Акустическая среда представляет собой комбинацию всех акустических ресурсов в данной области. В них входят все три категории, выведенные Бернардом Краузом. Задача службы — сохранение комфортного звукового ландшафта в парках.

О службе «Natural Sounds and Night Skies»

Теория Рэймонда Мюррея Шафера действительно много значит не только для практикующих звукорежиссеров. Следуя теории звукового ландшафта, вы сможете не только правильно «собрать» нужную вам звуковую «сцену», но сохранить здоровье.

Проблемы изучения звуковых ландшафтов. М

Семинар «КУЛЬТУРНЫЙ ЛАНДШАФТ» – http://seminarkl. at.

Комиссия по культурной географии МЦ РГО – www. rgo.

Проблемы изучения звуковых ландшафтов

Философская основа акустической экологии проста: ее автор — R. Murray Schafer, музыкант, композитор и профессор канадского университета Simonа Fraserа – предположил, что мы слышим акустическую окружающую среду как музыкальную композицию и несем ответственность за эту композицию. Как и многие идеи, выросшие в конце 1960-х, глубокая мысль Schafer’а сейчас спрятана за часто цитируемую фразу – шумовое загрязнение (noise pollution). Первым шагом Шефера стало замечание о невероятном преобладании визуальной информации в обществе – «культура глаза», как это явление часто обозначалось во многих работах – и указание на то, что умение детей слушать стремительно падает. В ответ на эту проблему, Шефером было предложено развивать набор упражнений «по прочистке ушей» (“ear cleaning”), включающий «звуковые прогулки» («soundwalk») – прогулочные маршруты, основной целью которых ставится осознание звуковой среды (Schafer 1967 and 1969).

В конце 70-х гг. Шефер с коллегами по университету организовали World Soundscape Project (WSP). Первой полевой исследовательской работой стал «звуковой ландшафт» Ванкувера. Изучение включало в себя измерения уровней шума и построение карты изобел, сбор звукозаписей и описание различных звуковых явлений. Позже работы WSP в Европе повлекли за собой публикацию Five Village Soundscapes (Schafer, 1978b) and European Sound Diary (Schafer, 1977b). А книга Шефера The Tuning of the World (1977a), известна как наиболее всестороннее отражение акустической экологии.

Сегодня интерес к акустической экологии растет благодаря работе World Forum for Acoustic Ecology (WFAE), который был основан в августе 1993 года на международной конференции по акустической экологии в Канаде. Сейчас в него входят некоторые страны Европы, Япония, Австралия, Канада и США. С 2000 года стал выходить в свет журнал, посвященный акустической экологии – Soundscape.

При этом проблем изучения акустической среды по-прежнему много.

В первую очередь – междисциплинарность. Изучение звуковых ландшафтов связано с акустикой, лингвистикой, архитектурой, экологией, медициной, этнологией, дизайном, гуманитарной географией, психологией, педагогикой, философией, законотворчеством, ландшафтным планированием и многим другим. В связи с этим необходимо взаимодействие между различным специалистами, однако многие исследовательские коллективы не всегда оказываются к этому готовы. Выход на законодательный уровень часто затруднен и т. д.


Следующей проблемой является определение объекта исследований и терминологии, особенно ярко это заметно у нас в стране, где акустическая экология совсем недавно «появилась на свет». Возникают трудности перевода термина «Soundscape». Это может быть акустическая среда, звуковой ландшафт, звуковое пространство, звук ландшафта, звуковой пейзаж и т. п. В процессе исследований произойдет «выкристаллизация» нужного термина. Мне же представляется наиболее подходящим на данный момент термин «звуковой ландшафт». В любом случае важно различать акустическую среду в целом и звуковой ландшафт, как ее целостную единицу.

В книге The Tuning of the World формализована терминология, введенная Шефером в процессе полевых исследований WSP. Soundscape им определяется, как пространство, характеризующееся тремя типами звуков. Фоновые звуки он определяет как «основные тона» (“keynotes”), по аналогии с музыкой, где keynote – основная тональность произведения. Главные звуки (привлекающие внимание) названы «звуковые сигналы» (“sound signals”). Звуки, которые особенно отмечаемы сообществом или его посетителями, названы «звуковые метки» (“soundmarks”). Примеры последних в природе включают в себя гейзеры, водопады и ветреные ущелья, в то время как в обществе – это различные сигналы и звуки традиционной деятельности. Эта терминология помогает объяснить идею о том, что звук определенного места может – как местная архитектура, обычаи и одежда – выражать индивидуальность сообщества, его идентичность в рамках пространства, где поселение может быть распознано и описано по его звуковому ландшафту.

В любом случае представляется необходимым разобраться более основательно в объекте исследований. В связи с этим встает вопрос о его структуре и динамике. И вопрос сразу встает не один. Где расположены звуковые ядра, экотоны, границы? Как отличить фоновый, главный и особенный звуки? Существует ли иерархия и каковы критерии выделения единиц? Может ли изменяться ранг комплекса во времени? Каковы циклы и ритмы звуковых ландшафтов? Можно ли по звуку судить о смене состояний ландшафта?

Все эти вопросы должны решаться в конкретных полевых работах. Конечно, уже сейчас существуют общие представления о возможных ответах, однако без эмпирического материала в данных исследованиях не хотелось бы что-либо утверждать.

Следующей проблемой, несомненно, является методика описания звуковых ландшафтов. Вероятно, при описании звукового ландшафта конкретной территории в первую очередь следует выделить по­стоянные и периодичные звуковые комплексы, которые являются основой партитуры данного звукового ланд­шафта. И сразу же возникает вопрос о фор­ме описания этих основных составляю­щих звукового ландшафта. Совершен­но понятно, что одной из обязательных координат будет время. По­нятно также, что фиксация элементов звукового ландшафта не может быть нотной записью. Главным представляется все-таки схематическое (графическое) отображение, сопровождающееся словесным описанием, а также нотными, аудио и видеозаписями. Эта схема может быть вероятностной (вероятность услышать тот или иной звук в конкретный момент), громкостной (уровень громкости каждого источника звука), спектральной и т. д.

Отдельной статьей в этой проблеме стоит картографирование звуковых ландшафтов. Карта звуков дает воз­можность понять, как действитель­ное географическое пространство структурируется в акустическом от­ношении, какие звуки покрывают его целиком (например, колокольный звон), какие — выделяют отдельные участки более активной звуковой дея­тельности, какие — создают фоны, а какие — относительную тишину. Было бы неплохо фиксировать местоположение источников звука, и при известных акустических характеристиках этих источников, а также свойствах перераспределяющей звук поверхности (среде), моделировать звуковой ландшафт в каждой конкретной точке. Подобные модели для создания карт санитарно-защитных зон от шума давно используются при измерениях. Технические средства ГИС сейчас позволяют подгружать звуковые файлы, привязанные к конкретным точкам. Таким образом, получение звуковых карт вполне реально. Впрочем, эту проблему только предстоит решить.

Немаловажной проблемой также является классификация звуковых ландшафтов. В первую очередь приходит на ум выделение антропогенных и природных звуков. Однако в самом звуковом ландшафте они могут сочетаться и, ве­роятно, к этой проблеме следует подхо­дить дифференцированно: в ряде слу­чаев их нужно фиксировать в комплек­се, одновременно, в других случаях — раздельно, если они выделены в реаль­ном функционировании. Вероятно, раз­ные формы будут у «партитур» сельских и городских ландшафтов, у партитур звуковых ландшафтов историко-куль­турных территорий (музеев-заповедни­ков, национальных парков и т. п.), по­скольку основные природные и антропогенные составляющие будут нахо­диться в этих ландшафтах в разных пропорциях.

Но это все проблемы теоретического характера. Шефер сразу же стал говорить о необходимости обучать детей слушать и создавать гармоничную акустическую среду. В связи с этим выделяются еще 2 направления: образование в области акустической экологии и ландшафтно-акустический дизайн. Кроме того, возникает необходимость охраны звуковых ландшафтов как объектов нематериального наследия.

Мастер Йода рекомендует:  Красота и лаконичность ссылок пишем сокращатель на Symfony

Введение в WebAudio

Обзор

До сих пор я показал вам двумерную графику, анимацию и 3D с аппаратным ускорением. После того, как вы что-то создадите с этими технологиями, то заметите как чего-то не хватает — звука! Традиционно хороший звук в Интернете без плагинов варьируется от ужасного до невозможного, но в последнее время это изменилось, благодаря новому API под названием WebAudio.

Обратите внимание, что этот API всё ещё меняется, хотя он гораздо стабильнее чем раньше. Используйте WebAudio для экспериментов, но не в рабочем коде, по крайней мере с альтернативой на Flash. Попробуйте SoundManager2 как запасной вариант.

Элемент против WebAudio

Для устранения этих недостатков производители браузеров представили новую спецификацию под названием WebAudio API. Она определяет весь API обработки звука в комплекте генерацией звуков, фильтрами, потоками и доступом к сэмплам. Если вам нужно воспроизвести фоновую музыку, то используйте элемент . Если вы хотите больше контроля — используйте WebAudio API.

Полный WebAudio API слишком большой, чтобы охватить его в этом уроке, так что я просто опишу те части, которые, вероятно, представляют интерес для разработчиков Canvas: звуковые эффекты и визуальная обработка.

Простое воспроизведение

Для графики мы используем графический контекст. С аудио то же самое — нам нужен аудио контекст. Поскольку спецификация ещё не стандартизирована, мы должны использовать webkitAudioContext() . Обязательно создайте его после загрузки страницы, так как инициализация звуковой системы может занять некоторое время.

После создания контекста мы можем загрузить звук. Мы загружаем звуки так же, как любой другой удаленный ресурс, используя XMLHttpRequest . Однако мы должны указать тип как arraybuffer, а не текст, XML или JSON. Поскольку jQuery не поддерживает arraybuffer , мы вызываем XMLHttpRequest API напрямую.

После загрузки файла он должен быть декодирован в аудиобуфер. Код выше делает это с другой функцией обратного вызова. После декодирования мы уже можем воспроизвести звук.

Я собираюсь пройтись по этому фрагменту кода очень тщательно, потому что для понимания важно что здесь происходит.

В WebAudio всё вращается вокруг концепции узлов. Для манипуляции звуком мы связываем узлы вместе в цепочку или схему и после этого запускаем обработку. Для простого воспроизведения аудио нам нужен узел исходника и узел назначения. ctx.createBufferSource() создаёт исходный узел, который мы прикрепляем к аудиобуферу с нашим звуком. Свойство ctx.destination содержит стандартный вывод назначения, который, как правило, подразумевает колонки компьютера. Два узла соединяются функцией connect . После подключения мы можем воспроизвести звук вызвав noteOn(0) для исходника.

Узлы WebAudio

До сих пор мы видели только исходный узел и узел назначения, но WebAudio содержит много других видов узлов. Для создания приложения с барабанами мы должны создать несколько исходных узлов, по одному для каждого барабана, подключенных к одному выходу, используя AudioChannelMerger . Мы могли бы также изменить уровень каждого барабана с помощью AudioGainNodes .

Еще узлы WebAudio:

  • JavaScriptAudioNode: прямая обработка через JavaScript;
  • BiquadFilterNode: фильтр низких и высоких частот;
  • DelayNode: задержка времени;
  • ConvolverNode: линейные эффекты в реальном времени вроде реверберации;
  • RealtimeAnalyserNode: для визуализации звука:
  • AudioPannerNode: для манипуляции стерео, каналами и 3D-звуком;
  • AudioChannelSplitter и AudioChannelMerger;
  • Осциллятор: для прямой генерации сигналов.

Звуковые эффекты

Чтобы воспроизвести один звук несколько раз мы не должны делать ничего особенного; нам надо просто создать несколько буферов исходника. Код ниже, определяет функцию play , которая создаёт буфер исходника каждый раз при вызове и сразу же воспроизводит звук.

Вы можете опробовать демо здесь. Каждый раз, когда вы нажимаете на кнопку воспроизводится короткий звук лазера (спасибо freesound.org). Если нажать кнопку быстро вы услышите, что звуки складываются и перекрываются правильно. Мы не должны делать ничего особенного, чтобы это произошло, WebAudio обрабатывает всё автоматически. В игре мы можем вызывать функцию play каждый раз когда персонаж стреляет из пистолета. Если четыре игрока стреляют одновременно, то всё будет правильно.

Мы также можем намеренно создавать новые перекрывающиеся звуки. Функция noteOn() принимает метку времени в секундах для воспроизведения звука. Чтобы создать новый звук, мы можем воспроизвести клип с лазером четыре раза, каждый раз смещая на 1/4 секунды. Таким образом, они будут аккуратно перекрываться, создавая новый эффект.

Заметьте, что мы должны добавить текущее время из контекста аудио в смещение, чтобы получить финальное время для каждого клипа.

Попробуйте окончательный вариант здесь.

Визуализация аудио


Что веселого в графике, если вы не можете связать её напрямую со своим аудио?! Мне всегда нравилась визуализации аудио. Если вы когда-либо использовали визуализатор WinAmp или iTunes, то уже знакомы с этим.

Все визуализаторы работают, используя по сути один процесс: для каждого кадра анимации они делают частотный анализ музыки, которая в данный момент играет, а затем рисуют эту частоту некоторым интересным образом. WebAudio API делает это очень легко через RealtimeAnalyserNode .

Перед этим мы как и прежде загружаем аудио. Я добавил несколько дополнительных переменных с именами fft , samples и setup .

Мы воспроизводим музыку как и раньше используя исходный узел и узел назначения, но в этот раз мы вставим между ними узел анализатора.

Обратите внимание, что функция создания узла анализатора createAnalyser пишется с буквой S, а не Z. Я попался в первый раз (разница между американским и британским английским).

Я назвал узел анализатора fft это сокращение от Fast Fourier Transform (быстрое преобразования Фурье).

По быстрому пробежимся по безумной математике звука.

Если вы посмотрите на буфер, который содержит звук, то увидели бы только кучу сэмплов, скорее всего сорок четыре тысячи сэмплов в секунду. Они представляют собой дискретные значения амплитуды. Чтобы визуализировать музыку, мы хотим не прямые сэмплы, а, скорее форму сигналов. Когда вы слышите особый тон, то на самом деле слышите кучу перекрывающихся сигналов нарезанных по времени в амплитудные сэмплы.

Мы хотим список частот, а не амплитуд, поэтому нам требуется преобразование. Звук действует на области времени. Дискретное преобразование Фурье преобразует из области времени в область частот. Быстрое преобразование Фурье является частным алгоритмом, который может делать это преобразование очень быстро. Математика для этого может быть запутана, но умные ребята из Chrome Team уже сделали это для нас в узле анализатора. Мы просто должны получить финальные значения, когда мы это хотим.

Подробное объяснение дискретных преобразований Фурье см. Wikipedia.

Рисование частот

Теперь давайте что-нибудь нарисуем. Для этого мы вернёмся к тому, что мы узнали в главе об анимации. Создаём холст, получаем контекст, затем вызываем функцию рисования для каждого кадра.

Чтобы получить данные аудио нам нужно место, куда поместить их. Воспользуемся Uint8Array — новый тип JavaScript созданный для поддержки аудио и 3D. Вместо типичного массива JavaScript, который может хранить что угодно, Uint8Array специально разработан, чтобы хранить восемь целых бит, то есть это байт-массив. JavaScript представила этот новый тип массива для поддержки быстрого доступа к двоичным данных, таким как 3D-буфер, сэмплы аудио и кадры видео. Чтобы загрузить данные мы вызываем fft.getByteFrequencyData(data) .

Как только мы получим данные, мы можем нарисовать их. Для простоты я нарисую серию полосок, положение которых основано на текущем значении сэмпла данных. Так как мы используем Uint8Array, то каждое значение лежит в диапазоне от 0 до 255, поэтому я умножаю на два, чтобы сделать движение заметнее. Вот как это выглядит:

Неплохо для нескольких строк JavaScript. Я не уверен, почему вторая половина плоская. Возможно баг со стерео/моно?

Вот более чудная версия. Код тот же, я просто поменял как рисовать сэмплы.

Визуализация в стиле WinAmp

Следующие шаги

На самом деле с WebAudio вы можете делать гораздо больше, чем я здесь описал. Сначала я предлагаю вам пройти через учебники на HTML5 Rocks:

Дальше взгляните на 0xFE — Generating Tones with the Web Audio API, чтобы узнать, как напрямую генерировать звук из математических сигналов. Ещё A Web Audio Spectrum Analyzer.

В следующей главе мы рассмотрим доступ к веб-камере пользователя.

Путеводитель по звуковым редакторам. Часть 1.

Обработку аудио-файлов принято считать уделом специалистов, музыкантов, звукорежиссеров. Несколько лет назад так оно и было. На радио подготавливались передачи, создавались рекламные ролики. В студиях рождалась музыка, записывались сольные и вокальные партии. Как следствие, рынок волновых редакторов не был богат простыми, доступными программными продуктами, которые можно попробовать и сразу начать работу.

Время не стоит на месте. Несмотря на кажущуюся сложность весомой доли современных волновых редакторов, большинство их пользователей сегодня не имеют даже базовых знаний музыкальной грамоты. Популярность мобильных телефонов, поддерживающих воспроизведение мелодий в формате MP3, становится причиной повышенного внимания к инструментам обработки аудиоданных.

Девушка купила модный телефон. По телевизору и радио постоянно идет реклама, призывающая отправить SMS и получить новую мелодию. Разумеется, данная услуга стоит немалых денег, а, войдя во вкус, заказывая большое количество музыки, можно и вовсе стать банкротом. Загрузка в телефон оригинальных композиций в формате MP3 очень быстро вызовет переполнение памяти. Мало, кто покупает дополнительные flash-карты для своего мобильного друга, предпочитая довольствоваться несколькими десятками мегабайт, что имеются по-умолчанию. Кроме того, скорость процессоров мобильных устройств значительно ниже, чем у настольных компьютеров, и обработка больших объемов данных сильно замедляет работу телефона.

Удивительно, но основной контингент пользователей волновых редакторов – это молодые девушки, выполняющие несложные операции над MP3-файлами. Желание выделиться, показать подругам новую мелодию, которой нет еще ни у кого на свете, усаживает юных леди за персональные компьютеры. А после загрузки волнового редактора открывается мелодия, выделяется фрагмент и сохраняется на жесткий диск с более низкой скоростью потока данных. В качестве приправы можно добавить различные эффекты, записать голос с микрофона и наложить на музыку, сделать попурри из нескольких композиций. Acoustica 4.0

Официальный сайт: www.acondigital.com
Размер: 8809 КБ
Цена: 39.90 $

Acoustica – удобный, несложный звуковой редактор, обладающий современным интерфейсом. Простота и удобство означают не примитивизм, а удачную организацию взаимодействия с пользователем. Все панели инструментов могут перемещаться, превращаться в независимые окна, включая главное меню. В нижней части рабочего окна приложения располагаются панели маркеров и цепочек эффектов, анализатор мелодических фраз. Acoustica может работать в полноэкранном режиме, скрывающем все элементы оформления операционной системы, а также заголовок рабочего окна.

Вы можете открывать несколько документов, работать с ними в пределах единого окна приложения. Управление волновым представлением звука выполнено в стиле Sound Forge. Вы можете ставить неограниченное количество маркеров, создавать регионы. Двойной щелчок мыши выделяет пространство между соседними метками. Их имена отображаются над волновым представлением композиции. Данные механизмы управления присутствуют уже много лет в известном продукте корпорации Sony, и считаются одними из самых удобных, эргономичных решений.

Благодаря наличию значков напротив большинства пунктов меню, управление редактором заметно упрощается. Интерфейс большинства диалоговых окон эффектов и прочих инструментов обработки звука жестко унифицирован, имеет схожий дизайн, структуру управляющих элементов. Разумеется, данный тезис не касается подключаемых модулей. Программа поддерживает как DirectX, так и VST плагины. Однако и без посторонней помощи Acoustica – довольно мощный звуковой редактор. В него включены эффекты, связанные динамической обработкой, эквалайзеры, разнообразные модули, реализующие эхо, реверберацию, хор, растягивание и сжатие музыки, повышение и понижение нот. Кроме того, редактор позволяет улучшать качество звука путем снижения уровня шума, удаления щелчков, восстановления диапазона высоких частот.

Некоторые серьезные операции могут осуществляться под управлением Помощников. В качестве подобных примеров можно отметить Мастер восстановления звука, а также инструмент прожига оптических дисков.

Несмотря на то, что программа не имеет широкой известности и обладает довольно скромными возможностями, ее инструментов хватает с большим запасом для решения большинства типичных бытовых задач. Создание мелодий для мобильных телефонов, запись и обработка голоса, восстановление архивных кассет, катушек и грампластинок – все это без особого труда можно осуществить в волновом редакторе Acoustica. Лаконичный, удобный интерфейс, отсутствие перегруженности тяжелыми функциями, свойственное многим студийным продуктам, позволяют считать Acoustica весьма удачным выбором для новичка и любителя.


К содержанию Adobe Audition 2.0

Официальный сайт: www.adobe.com
Размер: 135150 КБ
Цена: 349.00 $

Adobe Audition – относительно молодой проект, если учесть, что компания Adobe (www.adobe.com) уже много лет присутствует на рынке программного обеспечения, и большинство ее продуктов имеют богатую историю, мировую известность, народное признание. Однако недаром говорят, что новое – это хорошо забытое старое. В конце девяностых годов прошлого века компания Synthrillium (www.syntrillium.com) выпускала программу под названием Cool Edit. По тем временам ее возможности были, как минимум, на уровне конкурентов, а в некоторых аспектах редактору не было равных. Мир шагнул в третье тысячелетие от Рождества Христова, и редактор распался на два продукта. Cool Edit Pro допускал работу в двух режимах. Вы могли редактировать аудио-файлы традиционным способом, а также переходить в многоканальный режим, позволяющий смешивать несколько дорожек, расставленных на произвольных позициях и имеющих уникальные настройки. Второй продукт, Cool Edit 2000, представлял собой усеченную версию редактора, что выражалось в жестком ограничении количества дорожек до четырех, которые, вдобавок, можно было задействовать только при помощи дополнительного модуля. Через некоторое время компания Adobe купила Cool Edit и, переделав некоторые его компоненты, значительно улучшив интерфейс, стала выпускать под названием Audition.

Интерфейс Audition выполнен в стиле большинства программ компании Adobe. Несмотря на огромный потенциал волнового редактора, рабочее окно приложения не перегружено однообразными элементами. Грамотная структура управляющих элементов, высокий уровень эргономики позволяют считать Audition вполне доступным редактором для пользователя, имеющего лишь базовое представление об обработке звука.

Рабочее окно приложения может быть представлено в трех режимах. Во время редактирования отдельной дорожки, наложения на нее эффектов, вы используете режим Edit. Если вы работаете с несколькими треками, производите их смешивание, подгонку позиций, то применяете режим Multitrack. И, наконец, третий вариант раскладки рабочего окна, называющийся CD, используется во время извлечения дорожек дисков Audio CD.

Во время обработки отдельного трека, вы можете применять множество маркеров. Если вы решили выделить пространство между двумя метками, то программа вам поможет, путем автоматического прилипания выделения к означенным ранее позициям. Кроме того, редактор обладает интеллектуальным алгоритмом распознавания ритмов, музыкальных фраз, на основе которых способен автоматически расставлять маркеры внутри дорожки. Отчасти, благодаря этой возможности, разработчики позиционируют свой продукт, как удобный инструмент для создания зацикленных фрагментов ударных партий (Loop). Масштабирование волн можно производить как с помощью горячих клавиш, так и обращаясь к специальной панели Zoom, расположенной в нижней части рабочего окна.

Редактор содержит большое количество эффектов, фильтров. Допускается подключение VST и DirectX плагинов. Если вы часто используете какой-либо инструмент, то его можно поместить в закладки, доступ к которым осуществляется из левой боковой панели, а также из главного меню.

Audition позволяет обрабатывать до 128 треков одновременно, смешивая их в реальном времени, накладывая большое количество эффектов, которых в дистрибутиве более сорока. Редактор поддерживает технологию ReWire, которая обеспечивает одновременную работу Audition вместе с другими звуковыми программами, имеющими аналогичную поддержку, например, Ableton Live.

Audition дает возможность пользователю произвести импорт MIDI-файла в рабочий проект. При этом файл будет представлен в виде отдельной дорожки с минимальным набором производимых над ней действий. Наложение дополнительных эффектов на подобный трек не допускается. Кроме того, вы не можете создать из него виртуальный инструмент. В чем тогда польза от подобного импорта? Во-первых, вы можете легко производить транспонирование, то есть изменять тональность всех нот на определенную величину. Для этого в контекстном меню реализован отдельный пункт. Во-вторых, в дорожке MIDI можно одной командой менять темп.

Если в системе установлено несколько звуковых карт, или на звуковой карте присутствует более одного входа, то можно записывать одновременно несколько партий, по одной на каждый вход. При сведении дорожек Audition использует принцип фонового микширования, умея смешивать всю композицию до конца уже во время ее воспроизведения. Если вычислительной мощности процессора не хватает, то композиция будет сначала сведена, и лишь потом начнется воспроизведение.

Audition позволяет в реальном времени изменять громкость и панораму дорожки. Однако автоматизация данных процедур отсутствует.

Audition обладает очень удобным режимом отображения данных Maximum Session, предназначенным для работы на двух мониторах. Установите второй дисплей в режим расширения рабочего стола. После переключения в Maximum Session, рабочее окно приложения делится на две части. На первичном мониторе вы оперируете волновым представлением дорожек, а также несколькими базовыми функциями управления треками. Другое окно, располагающееся на вторичном дисплее, содержит список всех допустимых для применения эффектов, а также полноценную панель управления всеми дорожками. Панель включает в себя указание устройства вывода, большое количество тонких опций управления эффектами, эквалайзер, громкость, панораму и многое другое. Каждый из управляющих элементов может быть применен к отдельной дорожке, а также ко всей композиции в целом. Если вы манипулируете небольшим количеством треков, то для вторичного дисплея не требуется высокое разрешение – вся информация легко помещается на рабочем столе (от 1024×768 и выше). Второй режим, оптимизированный для работы с двумя мониторами, отображает на первом устройстве волновое представление отдельной дорожки, а на втором дисплее пользователь видит диаграммы частот и фраз, ритмов.

Стоит отметить, что большинство продуктов компании Adobe удобно использовать именно в системах с двумя мониторами. Нарекания на интерфейс некоторых продуктов объясняются тем, что критика идет от пользователей, никогда не работавших с двумя устройствами вывода информации.

Audition имеет лишь неофициальную русификацию, поэтому не стоит однозначно рекомендовать данный продукт тем, кто не знаком с английским языком.

К содержанию Akram Audio Editor 2.2

Официальный сайт: www.akramsoft.net
Размер: 8737 КБ
Цена: 22.00 $

Akram Audio Editor – простой звуковой редактор, нацеленный исключительно на домашнее применение. Его простота, сочетающаяся с наличием большинства основных функций редактирования аудио, является большим плюсом для тех, кто только начинает погружаться в мир обработки музыкальных файлов. Сами разработчики позиционируют свой продукт как удобное средство для создания аудиоданных для web-страниц, презентаций, и flash-анимации.

Редактор поддерживает большое количество базовых средств редактирования аудио – вырезку, вставку, перемещение, удаление данных. Вы можете использовать также затухание и нарастание, вибрато, нормализацию звука, его усиление. В любой участок композиции может быть вставлена тишина или добавлена информация из внешнего файла. Akram Audio Editor обладает также некоторыми инструментами восстановления звука, например, частотным и динамическими фильтрами, средствами обнаружения щелчков. Все фильтры и эффекты имеют очень похожий, очень простой интерфейс. Очень жаль, что редактор не обладает даже очевидными сервисными функциями. Вы не можете прослушивать композицию во время настройки эффекта, а также не существует функции сохранения настроек в отдельные предварительные установки. Иными словами, вам каждый раз придется выполнять конфигурацию заново, никаких сюжетных программ нет.

Редактор поддерживает большое количество форматов данных, доступных для открытия и сохранения. В их число входят: WAV, Windows Media Audio, Ogg Vorbis, Dialogic VOX, и MP3. Программу можно использовать как инструмент преобразования типов данных.

Разумеется, вы можете записывать данные с микрофона или линейного входа звуковой карты. При этом поддерживается частота дискретизации до 96000 Гц.

Вы можете использовать неограниченное число маркеров. Их установка предельно проста – достаточно два раза щелкнуть мышью на произвольном участке композиции. Выделение фрагментов файла, основанных на метках, выполнено в стиле Adobe Audition, то есть курсор прилипает к ближайшему маркеру. С помощью отдельного менеджера маркеров можно просматривать все метки, добавлять новые элементы в текущую позицию композиции, а также заниматься их удалением. Каждая метка может иметь произвольное имя и описание.

Akram Audio Editor очень примитивен, и в этом кроется его главный недостаток. Мы с вами не будем скромничать, довольно умные и продвинутые пользователи персональных компьютеров. Наша грамотность в сфере высоких технологий выше среднего мирового уровня, что в сочетании с воровским менталитетом (пиратское ПО) выливается в популярность мощных, тяжелых продуктов. Это одна из причин, по которой Akram Audio Editor выглядит несколько нелепо, соседствуя с другими, более мощными участниками путеводителя. Впрочем, если звуковой редактор вам нужен только для вырезания фрагментов композиций с целью внедрения во flash-анимацию, то не стоит тратить время на изучение более сложного продукта. Akram Audio Editor отлично подходит для подобных целей.

Официальный сайт: http://audacity.sourceforge.net
Размер: 2176 КБ
Цена: бесплатный

Audacity – мощный звуковой редактор, содержащий также средства для звукового монтажа. Программный продукт бесплатен и распространяется по лицензии GPL. Благодаря использованию движка графического интерфейса wxWidgets, Audacity работает на нескольких платформах – Windows, Linux, Mac OS 9 и Mac OS X. Стоит также отметить, что, несмотря на максимальную независимость от окружения рабочей среды, редактор имеет очень компактный дистрибутив, чуть более двух мегабайт.

Audacity имеет довольно простой, не перегруженный многочисленными элементами, интерфейс. Вы можете работать сразу с несколькими дорожками. Все функции управления ими вынесены в отдельную секцию слева каждого трека. Какие-либо эффекты реального времени применять невозможно. Впрочем, в качестве замены, в редакторе можно использовать огибающие громкости и панорамы, традиционные кнопки выключения звука на дорожке и сольный режим, в котором звучит только один трек.

Мастер Йода рекомендует:  Как увеличить конверсию продающего лендинга

Внутри обычных звуковых дорожек нельзя использовать маркеры. Вместо этого, программа предлагает отдельный тип трека, предназначенный исключительно для ведения заметок. Вы ставите метку и сразу даете ей описание. Кроме того, можно создавать дорожки, на которых отображается шкала времени. На обычных треках допускается отображение звуковой формы звука, показ спектра и отображение высоты тона.

Audacity позволяет смешивать дорожки, в которых загружены данные в сжатых форматах – Ogg Vorbis и MP3. При этом не обязательно производить предварительную процедуру распаковки данных в WAV. Некоторые музыканты, правда, предупреждают о небольших потерях в качестве звука при подобном смешивании, но для бытовых нужд, на любительской аппаратуре заметить разницу практически невозможно.

Применение эффектов в Audacity всегда сопряжено с их закреплением на самих данных. Если бы редактор обладал возможностью работы с эффектами в реальном времени, тогда было бы допустимо простое указание функций, без необходимости внесения изменений в волновое представление дорожек. Во время вызова какого-либо инструмента, вы можете включить воспроизведение композиции, но время проигрывания ограничено несколькими секундами, что очень неудобно. В состав Audacity включен большой набор встроенных эффектов. Вы можете применять разнообразные фильтры и инструменты подавления шума, компрессор, усилитель басов, инвертирование, эхо и многое другое.

Audacity поддерживает подключение внешних модулей форматов VST (в Linux не работает), Ladspa и Nyquist. Богатство, разнообразие VST плагинов позволяет применять редактор в решении сложных, серьезных задач, приближая его к профессиональным продуктам. Все модули популярного в Linux формата Ladspa бесплатны, что выгодно отличает их от дорогих конкурентов VST и DirectX. Интерфейс большинства бесплатных плагинов примитивен, а функциональные возможности чаще всего ограничены каким-либо одним узким эффектом. Как следствие, скорее всего, вам придется устанавливать большое количество модулей, дабы получить возможность гибкого управления звуком. С другой стороны, недаром считается полезным создание шпаргалок перед экзаменом. Это дополнительное изучение материала. Проводя параллель с программным обеспечением, нетрудно понять, что возня с маленькими модулями – отличный способ понять работу большого числа эффектов, найти для себя лучшие варианты.

Audacity позволяет встроенными средствами импортировать звуковые файлы в форматах WAV, AIFF, MP3 и OGG. Экспорт может осуществляться в те же форматы, за исключением MP3. Для включения поддержки последнего формата необходимо загрузить дополнительный модуль кодирования LAME. Проще всего обратиться к официальной странице Audacity, а затем, указав свою операционную систему, выбрать необходимый кодек. Причина отсутствия полноценной поддержки MP3 кроется в патентах на его алгоритмы сжатия. Они не очень приветствуются в мире свободного ПО, что является причиной избегания включения подобных средств в бесплатные продукты.

Редактор обладает очень гибкими настройками. Стоит особенно отметить возможность задания произвольного сочетания клавиш на любую команду главного меню, а также тонкую настройку работы мыши.

Локализация интерфейса Audacity выполнения очень грамотно, профессионально. Освоение программы заметно упрощается, благодаря русскому языку во всех меню и диалоговых окнах. Audacity – удобный, компактный звуковой редактор, позволяющий выполнять как простые, бытовые задачи, так и обращаться к серьезным профессиональным вопросам. При этом он бесплатен.


К содержанию Audio Edit Deluxe 4.10

Официальный сайт: www.mystikmedia.com
Размер: 5458 КБ
Цена: 45.00 $

Audio Edit Deluxe – довольно простой звуковой редактор, обладающий, между тем, рядом полезных сервисных функций. Интерфейс программы выполнен в классических традициях, без каких-либо стилевых ухищрений. Расположение и конфигурация панелей, набор кнопок – все эти элементы не поддаются настройке, скрытию.

Вопреки жестоким традициям практически всех примитивных редакторов — назначать на основные операции управления воспроизведением нестандартные сочетания клавиш, либо вообще исключать управление с клавиатуры, Audio Edit Deluxe предлагает наиболее удобное решение – переключение между состоянием паузы и проигрыванием осуществляется с помощью клавиши Пробел.

Все эффекты и фильтры сосредоточены в едином меню Command. Любую операцию можно вызвать, обратившись к главному меню, а также с помощью клавиатурного сочетания. Все сокращения основаны на использовании модификаторов Ctrl и Shift в сочетании с функциональными клавишами Fx. Все диалоговые окна эффектов имеют минимум настроек. Вы не можете использовать сюжетные установки, поэтому каждый раз должны вручную указывать параметры, с целью достижения определенного звучания.

Audio Edit Deluxe содержит мощные инструменты пакетного преобразования форматов файлов. Для каждого поддерживаемого формата реализован отдельный пункт меню, хотя настройки всех инструментов во многом повторяются. Вам предлагается либо указать частоту дискретизации, разрядность, число каналов, либо выбрать сюжетную установку, привязанную к скорости потока данных.

Редактор позволяет извлекать дорожки из музыкальных CD, а также содержит модуль прожига дисков, предназначенный для записи проектов Audio CD. Во время извлечения треков вы можете обращаться к CDDB для создания корректных тегов. Данные могут сохраняться не только в формат WAV, и сжиматься на лету в MP3, WMA и OGG. При работе с модулем Audio CD Creator вам предлагается указать файлы на жестком диске, которые необходимо превратить в треки проекта Audio CD. Допускается сортировка дорожек, произвольное перемещение элементов внутри списка. Перед началом процедуры прожига вы можете выбрать скорость записи.

Audio Edit Deluxe содержит уникальный инструмент – планировщик записи аудио. Оригинальная находка может быть востребована для записи радиопередач в неудобное для пользователя время. Вы можете довольно гибко управлять расписанием записей, а также указывать продолжительность процедуры.

Благодаря встроенному планировщику, Audio Edit Deluxe можно использовать в качестве своеобразного диктофона. Функции волнового редактора весьма примитивы, но нельзя не отметить грамотное применение клавиатурных сочетаний, что заметно ускоряет работу. Audio Edit Deluxe – удобный редактор для решения бытовых задач.

Научно-
образовательный
портал IQ

Звуковой ландшафт

Исследования звука — sound studies — позволяют изучить многоголосье и ритм жизни города. Это междисциплинарная область, в которой сотрудничают урбанисты, архитекторы, исследователи современной музыки, социологи, инженеры и лингвисты. Урбанисты благодаря исследованиям звука получили новый мощный научный инструментарий в дополнение к визуальному. С помощью статей Ксении Майоровой, Андрея Логутова и Вадима Кейлина, опубликованных в журнале НИУ ВШЭ «Городские исследования и практики», IQ.HSE разбирался в том, как sound studies воссоздают объемную картину городской жизни.

Услышать город

Много лет в урбанистике город исследовался как «немое кино». Картинка изучалась в деталях, а городские звуки оставались неслышимыми для науки. Язык описания — «территория», «пространство», «сфера», «граница» — тоже неизменно адресовывал к зрительному каналу восприятия. Sound studies позволили «включить» звук: разговоры людей, гул машин, шум дождя, мотивы песен и рекламы, лай собак и шелест листьев.

Исследования звука как отдельная научная дисциплина родились более полувека назад. В 1967 году канадский композитор, писатель, эколог, преподаватель Университета Саймона Фрейзера (Ванкувер) Рэймонд Мюррей Шейфер издал учебное пособие (Schafer R.M. Ear Cleaning. Notes for an Experimental Music Course), в котором призывал свою аудиторию слушать музыку города: его голоса, шумы, пульс, интонацию и пр. Этот текст стал началом sound studies.

Представители нового направления доказывали, что для изучения города одного только зрения и, соответственно, оптического инструментария явно недостаточно. По Шейферу, нужно «открыть уши», замечать звуки, к которым вы раньше никогда не прислушивались, — словом, нарабатывать слуховой опыт. Для этого студентам предлагалось ходить на звуковые прогулки, выполнять задания на вслушивание в звуки города. «Мы можем быть дома, гулять по улице, бродить в парке или на пляже… — размышляет Шейфер. — Где бы мы ни были, мы ставим уши в приоритет».

Эту полифонию, единство множества слышимых элементов Шейфер предложил называть soundscape — звуковым ландшафтом. Для его изучения формировались фонотеки, проводились эксперименты с фиксацией звуков с «разных точек слушания», разрабатывался формат звуковых прогулок. В изучении города к оптике присоединились звукозаписывающие устройства.

Реабилитация звука

Восстановление звука в правах многими было расценено как вполне логичное: восприятие города как «немой» структуры неизбежно неполно.

Увиденный лишь через оптические устройства, город теряет объемность и целостность. Именно звук, как и другие механические колебания, материален, почти осязаем.

В исследованиях города с помощью чисто визуального инструментария, по словам Андрея Логутова, происходило «аналитическое разъятие» территории на более или менее автономные компоненты. Они могут быть «комбинаторно соположены друг с другом в режиме коллажа» и кажутся понятными. Но нужно учитывать, что подобное картографирование городской среды — отнюдь не полное. «Отключен» не только звук, но и обонятельные и тактильные явления.

Звук вносит вклад в эмоциональную насыщенность образа города. Не слышать его полифонию — значит, не ощущать многих чувств горожан.
Город, воспринимаемый исключительно посредством зрения, выглядит отчужденным от человека, подчеркивал исследователь звуков Майкл Саутворт. Именно аудио-тактильное пространство — это «пространство вовлеченности», отмечал социолог, культуролог, исследователь медиа Маршалл Маклюэн.

Полифония города — источник антропологических данных. Она рассказывает о культурных пристрастиях горожан, их социальной жизни, настрое и пр. Музыка города — от рок-фестивалей до произведений уличных музыкантов — участвует в формировании сообществ (образуются фан-клубы, люди собираются на музыкальные акции).

Любопытно, что тот же Маклюэн нашел реабилитации звука культурологическое (и даже цивилизационное) объяснение. Он писал, что современная цифровая эпоха развития западной цивилизации ознаменована возвращением слуха в процессы культурного строительства. Это резко отличает ее от предыдущей, печатной эпохи — «галактики Гутенберга», когда преобладала культура письма, а главным каналом восприятия было зрение.

Яркое проявление этой современной культуры и одновременно пример значимости голоса города — Speaker Sculptures. Это артефакты смешанной — визуально-аудиальной — природы: конструкции в стиле архитектурных памятников, созданные, например, из действующих громкоговорителей. Публика может взаимодействовать с работой, позвонив по телефонному номеру либо посредством Wi-fi. Эти «говорящие» инсталляции, по мысли Вадима Кейлина, часто наполняют место, утратившее харизму, новыми смыслами, способствует становлению социальных связей. Люди включаются в созерцание и слушание таких скульптур, вместе реагируют на их посылы.

Трансдисциплинарный подход

Сегодня с легкой руки культуролога, профессора Университета Макгилла (McGill University) Джонатана Стерна, sound studies понимаются широко. В 2012 году он сформулировал определение звуковых исследований — метафоричное, но очень точное. Под sound studies он понимал «междисциплинарное волнение в гуманитарных науках, отправной или финальной точкой которого является звук». Это направление, по Стерну, изучает звуковые практики, а также дискурсы и институты, которые их описывают.

Sound studies в равной степени исследуют музыку, тексты и когнитивные механизмы восприятия звука, поясняет Ксения Майорова. Это научное направление, которое стремится преодолеть дисциплинарные оптики как таковые. По словам исследовательницы, sound studies совершают переход от попытки «выстроить диалог между разными дисциплинарными дискурсами о звуке (звуке как тексте, звуке как сообществе, звуке как институциях, звуке как среде) к попытке выстроить дискурс о звуке как таковом». Это более целостный, комплексный подход.

По мнению группы ученых, «трансдисциплинарная любознательность» составляет главное различие между исследователями звука и «теми людьми, которые считают, что они изучают звук как ученые (sound scientists), художники, инженеры, антропологи, акустики или лингвисты».

Звукозапись в картинках

Несмотря на новый подход, визуальный дискурс о городе все еще остается самым привычным. Не так давно исследователи сделали попытку перевести звуки на этот язык, предложили способы их визуализации. Но ограничения метода, связанные с самой природой звука (он слышим, но невидим, не имеет геометрической формы), все же оказались фатальными. Новая система кодировки не пошла в массы.

Впрочем, нельзя сказать, что визуализация звуков когда-либо вообще была достоянием широкой публики, уточняет Андрей Логутов. Далеко не все умеют читать спектрограммы, осциллограммы и даже, казалось бы, вполне тривиальную нотную запись. Единственная общепонятная система такого рода — алфавитное письмо.

Гармонизация хаоса


Абсолютизация картинки — следствие того, что жители стран Запада долго находились в плену у визуальной культуры. Они веками культивировали городские пространства, которые отвечали бы ее требованиям, подчеркивает Ксения Майорова. В итоге звуковая среда городов была, да и остается хаотичной.

Как визуальные городские ландшафты накладывались друг на друга, так и звуки образовывали своеобразный палимпсест — если не какофонию. А это уже угроза здоровью — физическому (головные боли, кардиологические проблемы и пр.) и психическому (раздражение, усталость, депрессии и пр.).

В этом контексте актуальна акустическая экология — борьба с шумовым загрязнением (существенный вклад в нее внесла коллега Шейфера Хильдегард Вестеркамп). Восприятие саундскейпа как экосистемы неизбежно предполагало морализаторские коннотации. Экосистема обычно считается благом, а ее разрушение — злом. «Эта ценностная рамка явилась подтверждением общекультурных сложностей с гармоничным размежеванием природного и искусственного в городах», — комментирует Майорова.

Люди интуитивно склонны считать, что зелень — это хорошо, а транспортные выхлопы — плохо; пение птиц и журчание воды —приятны для слуха, а гомон переполненного покупателями торгового центра — утомителен. Не случайно одно их направлений звукового дизайна в городе – это создание сравнительно приватных пространств комфорта. Например, Пейли Парк (Paley Park) в центре Манхэттена в Нью-Йорке — оазис с водопадом и обилием растений — кажется выключенным из общегордского саундскейпа.

Новые горизонты

Постколониальная рефлексия, обращение к городам развивающихся стран и, соответственно, деевропеизация sound studies открывает новые горизонты для исследований звука. Сегодня уже нельзя говорить об индустриальных шумах, как если бы по всей Земле они представляли собой одно и то же. «Особенно важными эти горизонты представляются для постсоветской градостроительной теории и практики, поскольку даже наиболее развитые территории стран бывшего СССР по показателям качества тяготеют, скорее, к городам глобального юга, чем к европейским и североамериканским», — подчеркивает Ксения Майорова.

Sound studies учитываются в теории и практике городского планирования. Это видно по всплеску публикаций в медийном поле архитектуры: явно произошло акустическое просвещение под лозунгом «Звук имеет значение». История архитектуры стала пересматриваться с фокусом на кейсах проектирования зданий с выдающейся акустикой. Звуку стали посвящать художественные и исследовательские выставки. Архитекторы и планировщики начали собираться на тематических конференциях, чтобы обсудить последствия «звукового ренессанса» для их профессии.

Идея о том, что архитектура и городская среда — это «целый спектр чувственных данных», становится все более привычной, резюмирует Ксения Майорова. Призывы к архитекторам и градостроителям «вслушаться в звучание городов начинают конвертироваться в конкретные звукоориентированные проекты», заключает исследователь.

Дайджест свежих материалов из мира фронтенда за последнюю неделю №223 (8 — 14 августа 2020)

Предлагаем вашему вниманию подборку с ссылками на полезные ресурсы и интересные материалы из области фронтенда

Веб-разработка

JavaScript

  • Плагины:
    • Scrollanim — CSS3/JavaScript библиотека для создания скролл-анимаций, работающих всюду
    • Typr.js — Javascript парсер для работы со шрифтами (TTF, OTF). Альтернатива opentype.js.
    • baffle.js — библиотека для шифровки и расшифровки текста в DOM элементах (baffle.js — a tiny (

    1.8kb) javascript library for obfuscating and revealing text in DOM elements.)

  • Полифил для плавной прокрутки (smooth scroll polyfill)
  • Браузеры

    Новости и занимательное

    Просим прощения за возможные опечатки или неработающие/дублирующиеся ссылки. Если вы заметили проблему — напишите пожалуйста в личку, мы стараемся оперативно их исправлять.

    Начало работы с аудио WEB-API

    Автор перевода: Лёгенький Б.В.

    Введение

    Тег audio в HTML5, Flash или иной плагин должен быть отключен. Аудио теги приносят существенные ограничения для реализации сложных игр и интерактивных приложений.Web Audio API, на высоком уровне JavaScript API для обработки и синтеза звука в веб-приложениях. Целью данного API будет включение возможностей, имеющихся в современной игре, а также аудио двигатели, некоторые комбинации, обработки и фильтрации задач, которые встречаются в современных аудио приложениях. Далее следует постепенное введение в использование этого мощного API.

    Приступая к работе с AudioContext

    AudioContext для управления и воспроизведения всех звуков. Для получения звука с помощью аудио WEB API, необходимо создать один или несколько источников звука и подключить их к звуку назначения с помощью AudioContext. Эта связь не должна быть прямой, и может пройти через любое число промежуточных AudioNodes, которые действуют как переработка модулей для звукового сигнала. Этот маршрут будет более подробно описан в спецификации Web Audio.

    Один экземпляр AudioContext поддерживает несколько входов звука и сложную аудио структуру. И из них будет необходим только один для каждого аудио приложения, которое мы будем создавать.

    Cледующий фрагмент создает AudioContext:

    Для WebKit-браузеров, используя префикс WebKit, как и webkitAudioContext.Существует таже много интересных аудио WEB API функций, таких как создание AudioNodes и декодирование аудио-данных файлов методом AudioContext.

    Загрузка звуков

    Следует отметить одну особенность всех WEB-API. При использовании данной технологии обычно передаются пакеты данных, упакованные в форматы “XML”,”JSON” и другие. Поэтому, для полного понимания сути подключения и работы механизма API, необходимо изучить основы. В этом случае можно будет с легкостью использовать любые внешние API, а также создавать свои API, которые в дальнейшем могут работать на благо собственного ресурса./p>


    Web Audio API использует AudioBuffer для коротких и средних по длине звуков. Основной подход заключается в использовании XMLHttpRequest для извлечения звуковых файлов. API поддерживает загрузку аудио файлов данных в различных форматах, таких как WAV, MP3, AAC, OGG и другие. Поддержка браузеров для различных аудио-форматов меняется.

    Следующий фрагмент демонстрирует загрузки звуковых образцов:

    var dogBarkingBuffer = null;
    var context = new webkitAudioContext();

    function loadDogSound(url) <
    var request = new XMLHttpRequest();
    request.open(‘GET’, url, true);
    request.responseType = ‘arraybuffer’;

    Двоичный аудио файл данных, поэтому мы устанавливаем responseType. Для получения дополнительной информации о ArrayBuffers, см. эту статью о XHR2.

    Как только декодированный аудио файл данных был получен, он может быть использован для последующего декодирования, или он может быть расшифрован сразу при использовании метода AudioContext decodeAudioData (). Этот метод принимает ArrayBuffer аудио файл данных, хранящихся в request.response и асинхронно декодирует его.

    Когда decodeAudioData () закончится, он вызывает функцию обратного вызова, которая обеспечивает декодированный PCM аудио данных AudioBuffer.

    Воспроизведение звуков

    После того, как один или несколько AudioBuffers были загружены, то мы готовы для воспроизведения звуков. Давайте предположим, что мы только что загрузили AudioBuffer со звуком «лай собаки» и, что загрузка завершена. Тогда мы можем воспроизвести звуковой файл следующим кодом.

    var context = new webkitAudioContext();

    Функция PlaySound () вызывается каждый раз, когда кто-то нажимает клавишу или кликает с помощью мыши.

    Функция NoteOn () позволяет легко планировать точное воспроизведение звука для игр и других важных приложений. Однако, чтобы получить данную работоспособную функцию, убедитесь, что ваш звуковой буфер предварительно загружен.

    Абстрагирование Web Audio API

    Конечно, было бы лучше, создавать более общую загрузку системы, которая не жестко задавала загрузку данного конкретного звука. Есть много подходов к решению задачи. Вот один из способов использования BufferLoader класса.

    Ниже приведен пример того, как Вы можете использовать BufferLoader класс. Давайте создадим два AudioBuffers, и, как только они будут загружены, давайте воспроизводить их в одно и то же время.

    window.onload = init;
    var context;
    var bufferLoader;

    Работа со временем: воспроизведения звуков с ритмом

    Web Audio API позволяет разработчикам точно планировать время воспроизведения. Чтобы продемонстрировать это, давайте создадим простой ритм-трек. Вероятно, наиболее известный ритмический рисунок:

    Рис.1 – Ритмический рисунок.

    Здесь hat играется восьмыми нотами, и удар, который играется на каждую четверть. Размер 4/4.Предположим, мы загрузили удар, малый и hihat буферы. Далее приведен следующий код:

    &nbspfor (var bar = 0; bar Рис.2 – Аудио граф с коэффициентом усиления.

    Это соединение установки может быть достигнуто следующим образом:

    После того как граф был создан, можно программно изменять громкость, управляя gainNode.gain.value следующим образом:

    Кросс–затухание между двумя звуками

    Теперь предположим, что у нас есть немного более сложная ситуация, в которой мы играем несколько звуков. Это общий случай, как в DJ-приложениях, где есть две вертушки и возможность для перемещения из одного источника звука к другому.

    Наглядно это показано на следующей структуре:

    Рис.3 – Аудио график с двумя источниками подключенный через усиление узлов.

    Чтобы установить это, мы просто создаем два AudioGainNodes и подключенаем каждый источник через узлы, используя что-то вроде этой функции:

    Применение простого звукового фильтра

    Создается потенциально сложная цепь процессоров для добавления сложных эффектов в soundforms.Один из способов — это разместить BiquadFilterNodes между источником звука и назначением. Этот аудио-узел может создавать различные фильтры, которые могут быть использованы для создания графических эквалайзеров и еще более сложных эффектов, в основном, связанных с выбором частотного спектра звука.

    &nbspПоддерживаемые типы фильтров включают в себя:

    &nbsp&nbsp&nbspФильтр низких частот
    &nbsp&nbsp&nbspФильтр верхних частот
    &nbsp&nbsp&nbspПолосовой фильтр
    &nbsp&nbsp&nbspФильтр низкого шельфа
    &nbsp&nbsp&nbspФильтр высокого шельфа
    &nbsp&nbsp&nbspПиковый фильтр
    &nbsp&nbsp&nbspВсе фильтры

    Давайте установим простой фильтр нижних частот для извлечения только низких частот из звукового примера:

    Наконец, отметим, что пример кода позволяет подключать и отключать фильтр, динамично меняющийся график AudioContext. Мы можем отключить AudioNodes из графика по номеру node.disconnect (outputNumber). Например, чтобы перенаправить граф можно сделать следующее:

    Дальнейшее прослушивание

    Мы рассмотрели основы API, включая загрузку и воспроизведение аудио сэмплов. Мы создали аудио графы с усилением узлов и фильтров, а также запланированных звуков и звуковых настроек параметров, включая некоторые общие звуковые эффекты. На данный момент, вы готовы подключить несколько приложений с классным звуком в Интернете!

    Добавить комментарий