В книге Multisensory Experiences: Where the senses meet technology Марианна Обрист и Карлос Веласко представили общий обзор мультисенсорного опыта, его возможностей и допустимых сценариев развития восприятия в результате совершенствования технологий.

Как утверждают сами авторы, они почувствовали, что пришло время поделиться наработками по изучению мультисенсорных практик с широкой аудиторией, выйдя за академические рамки. Их задачей было разработать площадку для вдохновения и размышлений об элементах мультисенсорного опыта. Работа позиционируется как общий обзор, который родился из исследовательского интереса к теме. Действительно, в книге видны рамки, которые во многом заданы склонностью исследователей к определенным сферам. Так у авторов есть знакомый повар, который занимается экспериментальной кухней — в книге появляется множество примеров из этой области и целая глава посвящена мультисенсорному конструированию опыта космонавтов для приема пищи во внеземных пространствах.

Несмотря на общий характер статьи, авторы формируют оригинальный подход в рамках изучения мультисенсорного опыта. Исследователи задают вопрос: что, если бы мы могли спроектировать условия для создания заданного, предполагаемого опыта? По определению Веласко и Обрист, мультисенсорный опыт (multisensory experience) как раз конструируется с учетом особенностей восприятия органами чувств (например, зрения, слуха, осязания, вкуса, обоняния) и реализуется с помощью существующих и развивающихся технологий. Для феномена в их понимании важным условием является то, что опыт должен быть именно искусственно создан.

Авторы сознательно не останавливаются на изучении основных чувств по отдельности, они хотят сосредоточить внимание на их взаимодействии и взаимодополнении, как, собственно, мы и воспринимаем реальный мир по мультисенсорной концепции. В качестве примера такого типа опыта приводится прогулка в лесу, который был спроектирован ландшафтным дизайнером с целью вызвать специфические эмоции от прогулки. Концепция авторов в целом строится на том, что человек – не пассивный реципиент, но также может быть активным создателем мультисенсорных миров. Мультисенсорный опыт у Веласко и Обрист всегда создается с целью произвести впечатление, он предполагает событийность, у него есть начало и конец, он продолжителен во времени.

Информация, которую человек получает посредством органов чувств существенно влияет на восприятие окружающего пространства, на поведение в нем и отношение к нему. Концепция мультисенсорного восприятия противопоставляется унисенсорным подходам, которые основаны на независимости каждого отдельного чувства от остальных, а, следовательно, могут быть изучены в отрыве от них. Адепты мультисенсорного подхода рассматривают восприятие через ряд органов чувств, которые не изолированы друг от друга и работают вместе. Исследователи мультисенсорного восприятия, например, американский философ Кейси О’Каллаган, утверждают, что ни одно чувство не может быть полностью изучено в отдельности от остальных, так как восприятие мультисенсорно по своей природе.

Первая глава посвящена работе с терминологией. Авторы приводят примеры мультисенсорного опыта непосредственно в искусстве и исследуют четыре картины: “Interior ll” Ричарда Гамильтона, “Full Stop” Джона Лэтэма, “In the Hold” Дэвида Бомберга и “Figure in a Landscape” Фрэнсиса Бэкона. Все объекты анализируются с точки зрения их работы с расширением визуального восприятия, его дополнения. Например, в случае первого арт-объекта это происходит за счет звука и специфических ароматов («‎эпохи 40-х годов», растворителя, клея, чистящих средств).

Далее Веласко и Обрист занимаются определением понятия «опыт» и значения чувств для его конструирования. Авторы обращаются к комментариям экспертов из пяти разных областей (нейронаука, когнитивистика, User Experience (UX) design (дизайн опыта пользователя), маркетинг, высокая кухня) по двум вопросам: что такое опыт и какую роль органы чувств играют в этом процессе. Эта часть исследования кажется скудной для формирования терминологического аппарата, так как дополнительных источников, подкрепляющих получившееся в итоге понимание мультисенсорного опыта –– не было. Используя комментарии экспертов и собственные наблюдения процесса взаимодействия органов чувств, авторы формулируют свою концепцию. Выделяется взгляд когнитивиста Анны-Софии Борвич (с. 16) о том, что опыт –– это «чувство настоящего, сформированное в прошлом» и обязательно «процесс, постоянное выражение того, как наше существование соотносится с миром» и получить его без органов чувств невозможно.

Далее авторы презентуют модель xSense –– инструмент для анализа и разработки мультисенсорного опыта. Она позволяет определить «фон» для «впечатления», которое мы хотим создать в конкретном «событии». Он также позволяет детализировать «сенсорные элементы», которые можно использовать при конструировании опыта, «концепции», которые стоит рассмотреть, и «технологии», которые можно использовать или представить себе, что они могут быть использованы при разработке мультисенсорного опыта.

Веласко и Обрист убеждены, что мультисенсорный опыт –– это прежде всего инструмент для нового формата рассказа историй, для трансляции и формирования опыта зрителя. Человек рассматривается как реципиент, воспринимающий какой-либо объект или представление, и, как правило, этот объект относится больше к сфере искусства, как, например, элемент какой-либо выставки. Выбор авторов во многом понятен –– в качестве примеров представлены наиболее доступные для понимания современного человека ситуации конструирования мультисенсорного опыта, происходящие во многом в специально созданных для конструирования подобного опыта пространствах: в музеях и на выставках. Однако авторы отмечают, что феномен масштабируется и на другие примеры, которые могут быть синтезированы, например, в лабораторных условиях.

В последних главах авторы рассуждают о постгуманистическом расширении возможностей человека: технологии не только могут влиять на наш текущий чувственный опыт, но и преображать нас как вид во все более компьютеризированном мире. По мере развития нашего научного понимания органов чувств, а также творческих поисков и экспериментов с новыми мультисенсорными технологиями, мы, по мнению исследователей, сможем улучшить существующий опыт и создать ранее невообразимый. Другими словами, можно будет создавать устройства и прототипы для обогащения «традиционного» опыта.

Хотя авторы и говорят про широкое применение мультисенсорного опыта –– в тексте отмечено, что он не ограничен сферами развлечений или искусства, а находит свое применение в образовании, научном сообществе, здравоохранении, транспорте и во многих других областях, –– примеры они приводят либо теоретически возможные и еще не реализованные (конструирование мультисенсорного опыта в процессе еды), либо это существующие кейсы из области искусства. Они демонстрируют не практическое применение описанных выше концепций, а, скорее изучают конструирования опыта как аффекта. Описанные авторами практики больше напоминают перфомансы, которые демонстрируют расширение одного из базовых чувств: зрения, осязания, вкуса, слуха или обоняния. Приводится пример с оригинальной сервировкой салата в виде картины Василия Кандинского #201 (с. 3), которым исследователи подчеркивают, что восприятие еды начинается не с ее ключевой характеристики –– вкуса, а с ее внешнего вида. Если выходить за рамки музейных пространств и перфоманса, то мультисенсорный опыт в концепции авторов, как было описано выше, довольно похож на постгуманистическую практику расширения человека за счет технологий. На последних исследователи делают большой акцент, как на факторе развития мультисенсорных практик. Так большинство категорий «опыта» на сегодняшний день существуют в смешанной реальности цифрового и реального. Технологии не только поменяли то, как мы воспринимаем мир, но и сами стали формой «опыта».

В книге приводится пример конструирования опыта космонавтов во время приема пищи так, чтобы отсутствие привычных земных практик не мешало их функционированию. Хотя авторы выбирают в качестве примера опыт, который наименее доступен для осмысления читателями, ввиду невозможности проживания большинством опыта космонавтов в земных условиях, они пытаются обернуть его в оболочку мысленного эксперимента, чтобы как можно сильнее погрузить читателя в ситуацию. Вывод рассуждений следующий: при проектировании питания для космических путешествий необходимо думать не только о самой пище, но и о сенсорных, эмоциональных, экологических и социальных аспектах этого ритуала, которые поддерживают нас как отдельных людей и общество в целом.

Рассуждая о мультисенсорном опыте, как о месте встречи чувств с технологиями, Веласко и Обрист выводят свое понимание мультисенсорного опыта как процесса взаимоотношений между органами чувств и технологиями и делают предположения о том, каким может быть будущее этого опыта, и как этический аспект этого формирования можно контролировать. Тот, кто разрабатывает мультисенсорный опыт, должен помнить, что созданные впечатления могут быть восприняты по-разному, в зависимости от предыдущего опыта, предпочтений и ожиданий человека. Люди в этой схеме –– не пассивные получатели, а активные участники процесса создания впечатлений. Поэтому, как считают авторы, важно внимательно относиться к получателю и предоставлять ему возможность выбора. В то же время вполне вероятно, что точность, с которой мы можем учитывать сенсорные элементы, события и впечатления, в будущем будет расти и становиться все более точной.

Авторы подчеркивают, что своей работой хотят открыть поле для дискуссий о конструировании и дизайне мультисенсорного опыта. Несмотря на всевозможные и немыслимые варианты развития событий, сегодня ясно то, что мультисенсорный опыт как феномен может вдохновить на множество экспериментов не только в сфере искусства. Авторы уверены, что человек может чувствовать и ощущать больше, чем нам известно на сегодняшний день. Такой подход, как минимум, заставляет рефлексировать ежедневные практики на предмет их мультисенсорности. Марианна Обрист и Карлос Веласко дают свое определение мультисенсорного опыта, уделяют особое внимание роли технологий в его конструировании и представляем три закона мультисенсорного опыта, которые могут послужить руководством для обсуждения его последствий.

Редактор

Полина Маркина