Музыкальные стулья

Проект «Музыкальные стулья» и руководители группы Тамар Селла, Джейсон Ван, Сувин Сундарараджан, Пегги Инь и Итинг Хуанг (Мэтт Гойсман/SEAS)

Когда мы сидим на стульях, оставляем ли мы что-нибудь после себя? Когда мы взаимодействуем с объектами, запоминают ли они нас? И если бы эти объекты могли передавать нам свои воспоминания, как бы это могло звучать?

Вот некоторые из идей, которые Пегги Инь и ее студенческая организация Conflux исследовали в «Музыкальных стульях», трио деревянных стульев, способных записывать и ретранслировать аудиосигналы, которые были установлены во дворе Гарварда во время ARTS FIRST Week. Проект объединил элементы машинного обучения и информатики, музыкального исполнения и столярного дела, чтобы создать сплав искусства и технологий.

«Моя конечная цель — создать пространство, где люди смогут вести естественные беседы, а также потом размышлять о том, как их слова и выражения могут повлиять на других людей, и дать людям время и пространство, чтобы выразить себя достоверно и честно», — сказал Инь. Соучредитель Conflux и студент второго курса, изучающий вычислительную нейробиологию и историю искусства и архитектуры. «Меня всегда интересовало, как технологии, особенно медиа-технологии, действительно могут помочь нам построить сочувствие и понимание между людьми, и как они могут расширить нашу способность общаться и интерпретировать коммуникативные сигналы других людей».

Звуковой ландшафт «Музыкальные стулья» звучит, когда посетители Гарвардского двора садятся. (Конфлюкс)

На каждом стуле играет музыка на арфе, когда специальные датчики обнаруживают, что на нем кто-то сидит. Микрофоны улавливают разговоры, а компьютеры затем используют алгоритмы машинного обучения для извлечения аудиоданных, таких как частота и темп голосов людей. Предварительно записанные образцы голосов студентов Гарварда затем используются для создания музыки на основе этих данных, которая затем отправляется обратно на преобразователи в подлокотниках стула. Положив локоть на подлокотник и прижав ухо к руке, можно услышать музыкальный звуковой ландшафт прошлых разговоров посредством костной проводимости.

«Некоторые люди, пришедшие раньше, сели и поговорили, и мне очень понравилось, что они позволили звуковому ландшафту просто возникнуть», — сказал Инь. «В конце один из них сказал, что это действительно расслабляет, и они хотели бы иметь такой у себя дома. То, что они вели совершенно нормальный разговор, пока слушали музыку, а затем сказали это после, действительно показало мне, что они позволяют музыку, чтобы поддержать их разговор в позитивном ключе, не нарушая его».

Руководитель проекта «Музыкальные стулья» Пегги Инь (в центре) демонстрирует технику костной проводимости перед руководителями группы Тамар Селла и Джейсоном Вангом в Гарвардском дворе. (Мэтт Гойсман/SEAS)

Во время создания кафедры студенты Гарвардской школы инженерных и прикладных наук имени Джона А. Полсона (SEAS) лидировали в обеспечении работы аппаратного и программного обеспечения. Сувин Сундарараджан, специалист по биоинженерии, напечатал датчики на 3D-принтере и выступил в качестве руководителя аппаратного обеспечения, а студент информатики и математики Джейсон Ванг разработал алгоритмы машинного обучения и распределенную вычислительную сеть, достаточно мощную для извлечения аудиоданных в реальном времени.

«Я занимаюсь машинным обучением, поэтому мне очень нравится экспериментировать с такими вещами», — сказал Ван. «Самой сложной частью было выяснить, как обрабатывать аудио функции в реальном времени, потому что обычно они требуют большого количества вычислений. Нам пришлось подключить три MacBook Pro, чтобы заставить это работать в режиме реального времени, и выяснить, как передать эти функции программное обеспечение, которое создает музыку».

Проект Инь был выбран для гранта Общественного искусства Гарвардского управления искусств. SEAS также помогла реализовать проект за счет финансирования, выделенного студенческим организациям, связанным с SEAS, через группу преподавания и обучения. Датчики и электроника также были разработаны в SEAS. Тем временем в Деревянном цехе искусства, кино и визуальных исследований были завершены работы по деревообработке и столярным работам.

Взгляните на центральный микрофонный блок, оборудование и проводку, обеспечивающие звуковую среду музыкальных стульев. (Мэтт Гойсман/SEAS)