Что такое аудиозум в смартфонах или как военная технология стала фишкой флагманов
Как такое возможно? Все дело в уникальной особенности психоакустики — «эффекте коктейльной вечеринки». Так называют феномен работы человеческого мозга, который способен регулировать уровень окружающих звуков: делать тихими не самые важные и увеличивать громкость того, что действительно интересует вас в данный момент времени.
Когда вы находитесь на шумной вечеринке, можете неосознанно увеличивать и уменьшать громкость конкретных людей и объектов (источник фото: DXOMARK)
Удивительно, но это действительно работает, и вы, уж поверьте, этим регулярно пользуетесь. Было бы странно, если бы производители смартфонов не обратили внимание на данную человеческую особенность и не попробовали внедрить ее в свои гаджеты. Они назвали новую фишку аудиозумом — эта статья именно про нее.
Историческая справка: когда в смартфонах появился аудиозум
«Аудиозум». Поправьте, если ошибаюсь, но что-то подсказывает мне, что вы слышите название этой фишки впервые. Несмотря на увлечение технологиями длиною в жизнь, я и сам узнал про нее, когда перечитывал последние пресс-релизы Apple в поисках свежих идей для новых исследований, всего пару дней назад. При описании работы камер iPhone 11 и iPhone 11 Pro (Max) представители компании отметили данную возможность максимально вскользь: «функция аудиозума сопоставляет источник звука с тем, что вы видите в кадре, приглушая посторонние шумы». «Какой такой „аудиозум”», — сразу мелькнуло в моей голове.В смартфонах Apple появилась новая функция, но маркетологи компании не кричат о ней на каждой углу. Странно? На самом деле, нет. Дело в том, что производитель добавил в iPhone 11 и iPhone 11 Pro (Max) фишку, которая известна миру, как минимум, со второй половины 2013-го. Именно в этом году, 12 сентября, LG начала продавать свой новый флагман по имени G2. Одной из его особенностей и стал аудиозум. По заверению производителя, гаджет умел усиливать звук, исходящий от конкретного объекта, когда пользователь наводит на него видоискатель во время съемки видео и использует увеличение.
Удачный пример работы аудиозума в LG G2 от Computerworld
Неудачный пример работы аудиозума в LG G2 от Computerworld
Чтобы попробовать данную функцию LG G2 на практике, журналист Computerworld провел пару тестов, которые показаны на двух роликах выше по тексту. В первом случае он открыл воду в раковине в почти полной тишине, запустил съемку видео и приблизил объект — хоть это и не особенно хорошо воспринимается на слух, но смартфон действительно частично заглушил окружающий шум и сделал акцент на необходимом звуке. Во втором случае он включил музыку и повторил эксперимент — на этот раз гаджет не справился с задачей. Получается, что заявленный аудиозум вроде и заработал, но сделал это крайне неуверенно.
Первый попавшийся пример работы аудиозума в HTC H11, который оказался удачным
Судя по всему, тогда технологии еще не были готовы к полноценной реализации аудиозума. После LG G2 из 2013-го про эту фишку вспомнили только в 2017-м вместе с выходом HTC H11. В DXOMARK отмечают, что других хоть сколько-то значимых гаджетов с ее поддержкой в промежутке этих четырех лет не было. А вот в HTC H11 аудиозум приятно удивил. На ролике выше по тексту хорошо слышно, как меняется громкость при съемке видео во время приближения и отдаления конкретных источников: автомобиля полиции с включенной сиреной, сцены с поющими артистами, самолета в воздухе с ревущими двигателями. Работа аудиозума хорошо заметна во всех этих сценариях.
Сравнение работы аудиозума в iPhone 11 и Samsung Galaxy Note 10+
В конце концов, в 2018, 2019 и 2020 годах аудиозумом начали обзаводиться практически все флагманы от ключевых производителей. К примеру, технология появилась в OPPO Find X2 и X2 Pro, Huawei P40 и OnePlus 8 Pro. Не остались без нее Samsung Galaxy Note 10+ и Galaxy S20 Ultra, а также актуальные смартфоны Apple, про которые я уже говорил в начале данного пункта, — iPhone 11 и iPhone 11 Pro (Max). Кстати, не так давно журналисты iPhonedo наглядно доказали, что смартфоны родом из американского Купертино куда лучше, чем корейцы, отыгрывают изменение уровня громкости. Это демонстрирует видео выше по тексту.
Технические особенности: как аудиозум работает в смартфонах
Когда вы приближаете конкретный источник звука во время съемки видео, смартфон автоматически увеличивает его громкость, заглушая посторонний шум, — это же происходит при смене кадра. А вот при отдалении от заданного объекта гаджет возвращает все на круги своя — он отключает шумоподавление и начинает фиксировать все, что происходит вокруг. Аудиозумом принято называть динамическое изменение уровня громкости конкретного объекта по мере приближения или отдаления — чем большую часть видоискателя он занимает, тем более отчетливо должно быть слышно именно его, и наоборот.Демонстрация работы аудиозума от Samsung в условиях, которые близки к идеальным
Роль фундамента для аудиозума выполняет технология пространственной фильтрации — именно она дает возможность изменить уровень громкости конкретных источников звука в зависимости от увеличения или уменьшения площади, которую они занимают в видоискателе смартфона. Для этого используется так называемый гиперкардиоидный паттерн, который наглядно показан на изображении ниже. Он усиливает звук из того направления, куда направлена камера гаджета, и заглушает остальные объекты, расположенные вокруг. Каждый производитель видит функционирование аудиозума по-своему, но общий принцип его работы не меняется.
Слева — классическая запись звука при съемке видео; справа — запись звука в ролике с использованием гиперкардиоидного паттерна или аудиозума (источник фото: DXOMARK)
Чтобы все, что описано выше, стало возможным, используется целый набор всенаправленных микрофонов, которые нужно разместить на смартфоне как можно более широко, — чем дальше, тем лучше. Когда в гаджете используется всего два микрофона, они располагаются на верхней и нижней гранях, чтобы максимально увеличить дистанцию между ними — во время съемки полученные сигналы объединяются оптимальным образом, чтобы создать гиперкардиоидную направленность. Когда используется большее число микрофонов, для каждого из них, в зависимости от расположения и чувствительности, определяется специальный коэффициент.
Демонстрация съемки видео с использованием технологии аудиозума и без нее от Nokia
При рассмотрении теоретических основ кажется, что в реализации аудиозума описанным выше способом нет ровным счетом никаких проблем. Создается впечатление, что наличие или отсутствие фишки в конкретном гаджете зависит лишь от желания производителя и маркетинговой стратегии. Это не совсем так.
Представьте, что любой ваш разговор может быть подслушан на большом расстоянии и выдохните, что до этого технологии пока не доросли (источник фото: DXOMARK)
Интересный факт: производители современных смартфонов позаимствовали принцип работы аудиозума в архивах военных разработок. Государства не один год пытались создать систему направленного луча для выделения речи конкретного человека на большом расстоянии в разведывательных целях.
Сложности внедрения: почему аудиозум пока только для флагманов
Во-первых, для адекватной реализации аудиозума нужно использовать большие студийные микрофоны конденсаторного типа. Вместо них в смартфоны устанавливаются крошечные аналоги, которые чаще заточены не столько под качество восприятия звука, сколько под минимальное энергопотребление. Учитывая габариты и необходимость максимально автономного использования устройства, в этом нет ничего удивительного. Но это не самым положительным образом влияет на возможность и адекватность реализации аудиозума. Это действительно сложно, поэтому функция пока появляется только во флагманских гаджетах.Тестирование функции аудиозума в Samsung Galaxy S20 Ultra от DXOMARK
Во-вторых, система шумоподавления, которая используется в современных смартфонах, первоначально затачивалась лишь под работу с голосом. Микрофоны в мобильных устройствах располагаются таким образом, чтобы гасить внешний шум и эхо, бороться с искажениями в речи и потерей низких частот. Из-за этого они и сами могут создавать неточности в передаче звука, которые не самым положительным образом сказываются на возможности реализации аудиозума. Производители вынуждены изобретать новую схему работы программного обеспечения для привычного аппаратного комплекса, и это не всегда происходит успешно.
В-третьих, реализация работы аудиозума действительно очень простая лишь на словах. К примеру, когда речь идет про реализацию гиперкардиоидного паттерна, нужно отдавать себе отчет в том, что система его работы намного более сложная, чем описание. Представьте полный набор звуков, которые улавливают микрофоны в направлении, на которое указывает положение камеры. В него может входить не только речь, если в видоискатель попал говорящий человек, но и ветер. Не думаю, что нужно объяснять, что будет слышно, если усилить именно его. В этом случае аудиозум только ухудшит восприятие ролика.
В-четвертых, специалисты DXOMARK утверждают, что на современном рынке профессиональной электроники пока нет действительно качественных решений для моделирования реалистичного шума ветра и других естественных звуков, с которыми приходится бороться во время реализации функции аудиозума. Производители вынуждены импровизировать, ориентируясь на нейронные сети, которые обучаются по готовым записям подобных природных явлений. Это дает результаты, но, как показывает практика, они далеки от идеала. Нужно найти другой подход, но пока это не получается сделать.
В-пятых, для реализации аудиозума микрофоны на корпусе смартфона нужно разнести на максимальную дистанцию, поэтому в более выигрышном положении оказываются действительно большие гаджеты. Флагманский сегмент смартфонов, что очевидно, отдан под фаблеты, поэтому они в приоритете для данной функции.
Несмотря на все проблемы, у технологии аудиозума точно есть будущее. Оно становится все более радужным как с ростом производительности современных флагманских гаджетов, так и с повышением интереса к самой фишке. Выходит, что каждый ваш комментарий приближает функцию к моменту повсеместного распространения, поэтому не стесняйтесь.