Карта механик
Микрофон телефона
Авторская карта дизайна для мобильных игр и интерактивных приложений. 144 приёма в 18 группах, включая базовые сигналы, правила и сочетания. Применения являются проектными идеями, а не перечнем выпущенных игр.
Совпадений нет
Измените запрос или сбросьте фильтры.
Каталог механик
1Громкость и динамикаОписание и пример ↗Уровень сигнала относительно фона и собственной калибровки игрока. Это не измерение силы голоса в физических единицах.8
Варианты и применение
- Звуковая кнопка. Сигнал: Превышение порога уровня. Применение: Хлопком или коротким возгласом запустить прыжок, выстрел, подтверждение. Уровень доступа: Анализ сигнала.
- Пропорциональное управление. Сигнал: Текущий уровень сигнала. Применение: Голосом менять скорость, тягу, высоту полёта или размер кисти. Уровень доступа: Анализ сигнала.
- Несколько зон громкости. Сигнал: Попадание в тихую, среднюю или громкую зону. Применение: Выбирать между красться, идти и бежать без распознавания слов. Уровень доступа: Анализ сигнала.
- Удержание диапазона. Сигнал: Время внутри заданного коридора уровня. Применение: Стабилизировать реактор, не давая звуку стать слишком тихим или громким. Уровень доступа: Анализ сигнала.
- Накопление звуковой энергии. Сигнал: Интеграл уровня за игровое окно. Применение: Постепенно наполнять шкалу заклинания; затраты определяет игра. Уровень доступа: Анализ сигнала.
- Нарастание и затухание. Сигнал: Направление и скорость изменения уровня. Применение: Плавным усилением звука раскрыть мост, затиханием закрыть ловушку. Уровень доступа: Анализ сигнала.
- Контроль пиков. Сигнал: Короткие превышения комфортного порога. Применение: Осторожно обращаться с существом, которое реагирует на резкие звуки. Уровень доступа: Анализ сигнала.
- Тишина как действие. Сигнал: Уровень ниже порога при исправном входе. Применение: Прятаться от монстра, останавливать механизм, удерживать скрытность. Уровень доступа: Анализ сигнала.
Контекст и источники: Android: захват звука и обработка входа
2Время, ритм и паузыОписание и пример ↗Оцениваются моменты начала, окончания и интервалы между событиями. Для точного ритма нужна настройка задержки.8
Варианты и применение
- Короткий и длинный сигнал. Сигнал: Длительность одного звука. Применение: Коротким звуком прыгнуть, длинным зарядить усиленный прыжок. Уровень доступа: Анализ сигнала.
- Число импульсов. Сигнал: Количество событий в окне. Применение: Одним хлопком выбрать первую дверь, двумя вторую, тремя третью. Уровень доступа: Анализ сигнала.
- Ритмический пароль. Сигнал: Последовательность интервалов. Применение: Открыть замок знакомым рисунком стука. Уровень доступа: Анализ сигнала.
- Попадание в долю. Сигнал: Отклонение начала звука от такта. Применение: Хлопать или произносить слоги в музыкальной игре. Уровень доступа: Анализ сигнала.
- Темп как регулятор. Сигнал: Частота повторяющихся событий. Применение: Ускорять транспорт серией щелчков или ударов по столу. Уровень доступа: Анализ сигнала.
- Пауза заданной длины. Сигнал: Интервал между звуками. Применение: Выдержать время перед ответом, чтобы обезвредить ловушку. Уровень доступа: Анализ сигнала.
- Реакция по сигналу. Сигнал: Время до первого ответа. Применение: Проверять реакцию хлопком после вспышки или звуковой подсказки. Уровень доступа: Анализ сигнала.
- Повтори и преобразуй. Сигнал: Рисунок длительностей и пауз. Применение: Повторить услышанный ритм, сыграть его наоборот или продолжить ряд. Уровень доступа: Анализ сигнала.
Контекст и источники: Android: захват звука и обработка входа
3Высота тонаОписание и пример ↗Основная частота удобнее выделяется у одного устойчивого голоса или свиста. Диапазон лучше задавать относительно игрока.8
Варианты и применение
- Голосовой ползунок. Сигнал: Основная частота звука. Применение: Высоким тоном поднимать персонажа, низким опускать. Уровень доступа: Анализ сигнала.
- Тональные кнопки. Сигнал: Несколько относительных диапазонов. Применение: Выбирать одну из трёх стихий низким, средним или высоким тоном. Уровень доступа: Анализ сигнала.
- Удержание ноты. Сигнал: Близость к целевой частоте. Применение: Удерживать луч на цели или сохранять мост открытым. Уровень доступа: Анализ сигнала.
- Глиссандо. Сигнал: Непрерывный подъём или спад высоты. Применение: Голосом проводить платформу по наклонной траектории. Уровень доступа: Анализ сигнала.
- Мелодический контур. Сигнал: Ряд подъёмов и спадов. Применение: Открыть дверь мотивом, который допускает удобную тональность. Уровень доступа: Анализ сигнала.
- Интервальный пароль. Сигнал: Отношения между последовательными тонами. Применение: Повторить расстояния между нотами независимо от стартовой ноты. Уровень доступа: Анализ сигнала.
- Точность интонации. Сигнал: Отклонение от заданных нот. Применение: Получать очки за попадание в мелодию. Уровень доступа: Анализ сигнала.
- Вибрато и устойчивость. Сигнал: Колебания высоты во времени. Применение: Вибрато модулирует щит; ровный тон стабилизирует инструмент. Уровень доступа: Анализ сигнала.
Контекст и источники: Android: захват звука и обработка входа
4Тембр, артикуляция и манераОписание и пример ↗Для различения звуков нужны правила спектрального анализа или обученная модель. Манера исполнения является игровым вводом.8
Варианты и применение
- Гласные как кнопки. Сигнал: Классы «а», «о», «у», «и». Применение: Менять форму персонажа разными гласными. Уровень доступа: Распознавание.
- Согласные и слоги. Сигнал: Ограниченный набор «па», «та», «ка». Применение: Получить несколько ударных команд без полноценного распознавания речи. Уровень доступа: Распознавание.
- Звонкий и шумовой звук. Сигнал: Периодичность и спектр. Применение: Гулом включать магнит, шипением охлаждать механизм. Уровень доступа: Распознавание.
- Свист и гудение. Сигнал: Тип устойчивого звука. Применение: Свистом звать спутника, гудением управлять тяжёлым механизмом. Уровень доступа: Распознавание.
- Шёпот и обычная речь. Сигнал: Акустические признаки манеры. Применение: Передавать скрытую команду только шёпотом. Уровень доступа: Распознавание.
- Рык, смех и другие вокализации. Сигнал: Заранее выбранные классы неречевых звуков. Применение: Изображать персонажей или вызывать разные реакции существа. Уровень доступа: Распознавание.
- Подражание образцу. Сигнал: Сходство с записанным эталоном. Применение: Изобразить птицу, робота или фантастическое животное. Уровень доступа: Распознавание.
- Выразительная подача. Сигнал: Темп, высота, паузы, акценты. Применение: Играть роль диктора или актёра по явной шкале исполнения, без «чтения чувств». Уровень доступа: Распознавание.
Контекст и источники: Apple: настройка распознавания речи на устройстве, Google MediaPipe: классификация аудио
5Дуновение и дыханиеОписание и пример ↗Микрофон слышит шум потока и дыхательные звуки. Он не является датчиком расхода воздуха или надёжным измерителем объёма лёгких.8
Варианты и применение
- Короткое дуновение. Сигнал: Короткий шум потока. Применение: Задуть свечу, сдуть пыль, сорвать семена одуванчика. Уровень доступа: Распознавание.
- Продолжительное дуновение. Сигнал: Удержание шума потока. Применение: Дуть в парус, крутить мельницу, поддерживать полёт. Уровень доступа: Распознавание.
- Условная сила дуновения. Сигнал: Калиброванная интенсивность шума. Применение: Менять силу игрового ветра без обещания измерить реальное давление. Уровень доступа: D.
- Серия дуновений. Сигнал: Число и ритм воздушных импульсов. Применение: Работать мехами, накачивать виртуальный шар, отстукивать воздушный код. Уровень доступа: Распознавание.
- Ровный выдох. Сигнал: Стабильность и длительность слышимого выдоха. Применение: Удерживать мыльный пузырь или равномерно вести кисть. Уровень доступа: Распознавание.
- Различение вдоха и выдоха. Сигнал: Классификация фаз слышимого дыхания. Применение: Раскрывать и закрывать игровой цветок в такт дыханию. Уровень доступа: Распознавание.
- Цикл дыхания и паузы. Сигнал: Последовательность обнаруженных фаз. Применение: Следовать спокойному игровому ритму; отсутствие звука учитывать как паузу ввода. Уровень доступа: Распознавание.
- Форма воздушной струи. Сигнал: Различие согласованных образцов дуновения. Применение: Разделить широкий и узкий поток на две способности после обучения. Уровень доступа: R.
6Словесные командыОписание и пример ↗Ограниченный словарь обычно легче сделать предсказуемым. Поддержка языка и работы без сети зависит от выбранного распознавателя.8
Варианты и применение
- Команда одним словом. Сигнал: Совпадение с игровым словарём. Применение: Сказать «прыжок», «стоп», «щит» для прямого управления. Уровень доступа: Распознавание.
- Выбор реплики. Сигнал: Распознавание одного из показанных ответов. Применение: Отвечать персонажу или выбирать пункт меню вслух. Уровень доступа: Распознавание.
- Адресация по имени. Сигнал: Имя объекта или персонажа. Применение: Сказать, кому двигаться или какой предмет взять. Уровень доступа: Распознавание.
- Действие с параметрами. Сигнал: Глагол, цель, число, направление. Применение: Приказать «два шага вправо» или «поверни красный вентиль». Уровень доступа: Распознавание.
- Очередь команд. Сигнал: Распознанная последовательность. Применение: Заранее запрограммировать маршрут робота несколькими фразами. Уровень доступа: Распознавание.
- Условный приказ. Сигнал: Ограниченная конструкция условия и действия. Применение: Сказать «если увидишь врага, спрячься» и проверить исполнение. Уровень доступа: Распознавание.
- Исправление и отмена. Сигнал: Команды коррекции в текущем контексте. Применение: Отменить приказ или уточнить цель голосом. Уровень доступа: Распознавание.
- Слово активации. Сигнал: Ключевое слово перед основной командой. Применение: Обращаться к игровому помощнику, не превращая любую речь в действие. Уровень доступа: Распознавание.
Контекст и источники: Apple: настройка распознавания речи на устройстве
7Смысл речи и языковые правилаОписание и пример ↗Это слой правил над распознанной речью. Свободный диалог требует проверки, что ответ действительно меняет допустимое состояние игры.8
Варианты и применение
- Ответ на вопрос. Сигнал: Смысл или допустимый вариант ответа. Применение: Играть в викторину, отвечать на загадки, проходить устный экзамен. Уровень доступа: Распознавание.
- Словесные цепочки. Сигнал: Слова, категории, буквы и связи. Применение: Играть в города, ассоциации, перечисление объектов категории. Уровень доступа: Распознавание.
- Запрещённые слова. Сигнал: Наличие заданных слов и выражений. Применение: Объяснять предмет без слов из списка или проходить разговорную ловушку. Уровень доступа: Распознавание.
- Произнесённая формула. Сигнал: Порядок слов или слогов. Применение: Колдовать паролями, собирать заклинания из изученных частей. Уровень доступа: Распознавание.
- Произношение и чтение. Сигнал: Соответствие заданному слову и фонемам. Применение: Повторять фразы, читать роль, осваивать звуки языка. Уровень доступа: Распознавание.
- Вопросы персонажу. Сигнал: Намерение, тема, объект вопроса. Применение: Расспрашивать свидетеля и находить противоречия по игровым фактам. Уровень доступа: Распознавание.
- Переговоры и аргументы. Сигнал: Предложение, условие, довод. Применение: Торговаться с NPC, приводить доказательства, заключать договор. Уровень доступа: Распознавание.
- Совместный рассказ. Сигнал: События, персонажи и ограничения в реплике. Применение: Продолжать историю, менять мир описанием, придумывать решения. Уровень доступа: Распознавание.
Контекст и источники: Apple: настройка распознавания речи на устройстве
8Музыкальное исполнениеОписание и пример ↗Здесь звук оценивается как исполнение: мелодия, ритм, фактура и согласование с другими партиями.8
Варианты и применение
- Караоке. Сигнал: Ноты, длительности и начало фраз. Применение: Петь партию и получать раздельную оценку ритма и высоты. Уровень доступа: Анализ сигнала.
- Напой мотив. Сигнал: Сходство мелодии с образцом. Применение: Открывать музыкальные замки или искать выдуманную песню по напеву. Уровень доступа: Распознавание.
- Вокальная перкуссия. Сигнал: Классы ударных звуков рта. Применение: Играть барабанную партию битбоксом. Уровень доступа: Распознавание.
- Реальный инструмент. Сигнал: Ноты или акустические события инструмента. Применение: Использовать гитару, флейту или клавиши как контроллер. Уровень доступа: Распознавание.
- Проверка строя. Сигнал: Основная частота отдельной ноты. Применение: Настраивать виртуальные струны и учиться слышать интервалы. Уровень доступа: Анализ сигнала.
- Гармоническая совместимость. Сигнал: Нота относительно текущего аккорда. Применение: Подбирать подходящие тона и достраивать сопровождение. Уровень доступа: Распознавание.
- Музыкальный диалог. Сигнал: Чередование вопроса и ответа мотивами. Применение: Отвечать существу музыкальной фразой и развивать мотив. Уровень доступа: Распознавание.
- Рисунок исполнения. Сигнал: Сочетание ритма, динамики и артикуляции. Применение: Разным исполнением одной фразы создавать разные эффекты. Уровень доступа: Распознавание.
Контекст и источники: Android: захват звука и обработка входа, Google MediaPipe: классификация аудио
9Звуки тела и предметовОписание и пример ↗Микрофон получает акустический результат действия. Он не всегда определяет, какой именно жест или предмет его вызвал.8
Варианты и применение
- Хлопки ладонями. Сигнал: Резкий характерный импульс. Применение: Управлять прыжком, отбивать ритм, начинать раунд. Уровень доступа: Распознавание.
- Щелчки пальцами. Сигнал: Короткий высокочастотный импульс. Применение: Стрелять, переключать режим, собирать музыкальную цепочку. Уровень доступа: Распознавание.
- Щелчки языком и губами. Сигнал: Набор звуков рта. Применение: Давать тихие команды или играть персонажем без слов. Уровень доступа: Распознавание.
- Стук по столу. Сигнал: Время и характер ударов. Применение: Использовать стол как барабан или вводить код. Уровень доступа: Анализ сигнала.
- Шаги и притопы. Сигнал: Повторяющиеся удары и их рисунок. Применение: Маршировать в ритм; фактические шаги при необходимости подтверждать IMU. Уровень доступа: Распознавание.
- Шуршание и трение. Сигнал: Продолжительный шумовой рисунок. Применение: Пробуждать существо шорохом бумаги или рисовать звуковую текстуру. Уровень доступа: Распознавание.
- Звон и щелчки предметов. Сигнал: Класс звука реального предмета. Применение: Использовать связку ключей, колокольчик или крышку как игровой инструмент. Уровень доступа: Распознавание.
- Переливание и сыпучие материалы. Сигнал: Характерный звук процесса. Применение: Собирать акустические ингредиенты или озвучивать алхимический рецепт. Уровень доступа: Распознавание.
Контекст и источники: Google MediaPipe: классификация аудио
10Контакт с телефоном и микрофономОписание и пример ↗Чехол, хват, размещение отверстий и обработка входа сильно меняют результат. Специальные аксессуары указаны отдельно.8
Варианты и применение
- Прикрывание микрофона. Сигнал: Изменение уровня и спектра при перекрытии. Применение: Закрыть игровую «форточку», спрятать сигнал, включить режим тишины. Уровень доступа: D.
- Прикрыть и отпустить. Сигнал: Последовательность изменений спектра. Применение: Работать акустическим клапаном или передавать условный код. Уровень доступа: D.
- Касание рядом с микрофоном. Сигнал: Контактный импульс через корпус. Применение: Получить дополнительную кнопку на краю устройства после калибровки. Уровень доступа: D.
- Стук по разным частям корпуса. Сигнал: Различие акустических откликов. Применение: Разделить крышку и боковую грань на два игровых действия. Уровень доступа: R.
- Тип касания экрана. Сигнал: Различие подушечки, ногтя, костяшки. Применение: Связать лёгкое действие с пальцем, тяжёлое с костяшкой; нужен тач-ввод. Уровень доступа: D.
- Трение по корпусу. Сигнал: Шум и его временной профиль. Применение: «Погладить» игровое существо или разогреть виртуальный предмет. Уровень доступа: D.
- Телефон на поверхности. Сигнал: Изменение передаваемых вибраций и отклика. Применение: Преобразить стол в игровую поверхность после настройки конкретного устройства. Уровень доступа: R.
- Пассивный акустический аксессуар. Сигнал: Отклик канала между динамиком и микрофоном. Применение: Добавить трубку, клапан или насадку с игровым регулятором. Уровень доступа: R.
11Распознавание внешних событийОписание и пример ↗Классификатор выбирает из обученных категорий с некоторой уверенностью. Нужен вариант «не распознано».8
Варианты и применение
- Событие заданного типа. Сигнал: Класс «звонок», «хлопок», «лай». Применение: Запускать игровое событие при появлении выбранного звука. Уровень доступа: Распознавание.
- Звуковой поиск предметов. Сигнал: Подтверждённые категории звуков. Применение: Собирать коллекцию: найти шорох бумаги, звон металла, плеск. Уровень доступа: Распознавание.
- Распознавание животных. Сигнал: Сходство с классами голосов животных. Применение: Вести звуковой дневник или искать подходящего виртуального спутника. Уровень доступа: Распознавание.
- Материал по удару. Сигнал: Тембр отклика в контролируемых условиях. Применение: Сравнивать дерево, металл и стекло в исследовательской головоломке. Уровень доступа: Распознавание.
- Состояние механизма. Сигнал: Отклонение от записанных игровых образцов. Применение: По звуку учебного макета искать, какой механизм работает иначе. Уровень доступа: Распознавание.
- Последовательность событий. Сигнал: Порядок классов и временные связи. Применение: Зачесть рецепт «стук, звон, шорох» или восстановить короткую сцену. Уровень доступа: Распознавание.
- Своя звуковая метка. Сигнал: Сходство с образцом, записанным игроком. Применение: Назначить любой удобный домашний звук на игровую команду. Уровень доступа: Распознавание.
- Необычный звук. Сигнал: Отклонение от изученного фона. Применение: Играть в сторожа или исследователя, реагирующего на новые события. Уровень доступа: Распознавание.
Контекст и источники: Google MediaPipe: классификация аудио
12Фон и акустическая обстановкаОписание и пример ↗Фон становится входом правил, а не просто помехой. Источники и причины шума не всегда можно установить.8
Варианты и применение
- Шум как ресурс. Сигнал: Общий относительный уровень окружения. Применение: Городской шум заряжает станцию, а тихая комната замедляет её. Уровень доступа: Анализ сигнала.
- Шум как опасность. Сигнал: Превышение адаптивного порога. Применение: Реальные звуки повышают тревогу противников в хорроре. Уровень доступа: Анализ сигнала.
- Тихие окна. Сигнал: Отрезки с низким фоновым уровнем. Применение: Разрешать действие только в моменты акустического затишья. Уровень доступа: Анализ сигнала.
- Изменение фона. Сигнал: Отличие текущих признаков от предыдущих. Применение: Перестраивать погоду или биом при смене звуковой обстановки. Уровень доступа: Распознавание.
- Тип звуковой среды. Сигнал: Набор вероятных категорий. Применение: Предлагать различный игровой контент в шумной или спокойной среде. Уровень доступа: Распознавание.
- Соотношение голоса и фона. Сигнал: Оценка различимости речи. Применение: Давать задачу говорить разборчиво на фоне помех. Уровень доступа: Распознавание.
- Маскировка игрового сигнала. Сигнал: Слышимость целевого звука среди помех. Применение: Вести поиск по маяку, который скрывается в реальном шуме. Уровень доступа: Распознавание.
- Акустический отпечаток сессии. Сигнал: Статистика спектра и событий за время. Применение: Генерировать палитру, существ или музыку из звуков конкретного сеанса. Уровень доступа: Распознавание.
Контекст и источники: Android: захват звука и обработка входа, Google MediaPipe: классификация аудио
13Положение и несколько микрофоновОписание и пример ↗Физическое направление и дистанция требуют подходящих каналов или контролируемой процедуры. Обычный моносигнал их не гарантирует.8
Варианты и применение
- Сторона источника. Сигнал: Разность времени и уровня между каналами. Применение: Выбирать левую или правую цель реальным звуком. Уровень доступа: D.
- Направление источника. Сигнал: Оценка угла по массиву микрофонов. Применение: Использовать телефон как акустический компас. Уровень доступа: R.
- Приближение и удаление. Сигнал: Изменения сигнала известного источника. Применение: Двигать телефон к маяку в игре «горячо-холодно». Уровень доступа: D.
- Направление через сканирование. Сигнал: Изменения при повороте телефона и данные IMU. Применение: Вращать телефон, чтобы искать наиболее различимый сигнал. Уровень доступа: D.
- Выбор переднего или заднего ввода. Сигнал: Поддерживаемые источники и диаграммы. Применение: Переключать игровой «приёмник» между сторонами устройства. Уровень доступа: D.
- Фокус на источнике. Сигнал: Направленная обработка доступных каналов. Применение: Выделять один из заранее размещённых звуковых маяков. Уровень доступа: R.
- Траектория источника. Сигнал: Изменение межканальных признаков во времени. Применение: Проводить звучащий предмет вокруг телефона как игровой жест. Уровень доступа: R.
- Отклик помещения. Сигнал: Отражения контрольного импульса. Применение: Сравнивать игровые акустические профили комнаты после калибровки. Уровень доступа: R.
14Динамик и микрофон как зондОписание и пример ↗Это активное акустическое зондирование. Телефон излучает известный сигнал и анализирует отражение; поддержка, точность и слышимость требуют проверки.8
Варианты и применение
- Бесконтактная кнопка. Сигнал: Изменение отражения от близкой руки. Применение: Взмахом над телефоном включать игровое действие. Уровень доступа: R.
- Приближение ладони. Сигнал: Оценка изменения дистанции до отражателя. Применение: Управлять виртуальным терменвоксом без касания. Уровень доступа: R.
- Движение к телефону и от него. Сигнал: Доплеровский или фазовый признак. Применение: Толкать и тянуть игровой объект рукой в воздухе. Уровень доступа: R.
- Траектория пальца. Сигнал: Изменения эха на нескольких каналах. Применение: Рисовать рядом с экраном или расширить рабочую область. Уровень доступа: R.
- Круговой или боковой жест. Сигнал: Классификация траекторий отражателя. Применение: Переключать страницы или запускать круговое заклинание. Уровень доступа: R.
- Изменение препятствий. Сигнал: Разница отражений контрольного сигнала. Применение: Замечать появление объекта в небольшой игровой зоне. Уровень доступа: R.
- Акустический резонатор. Сигнал: Изменение отклика подготовленного объекта. Применение: Собирать музыкальные замки из трубок и полостей. Уровень доступа: R.
- Дистанция между устройствами. Сигнал: Время прохождения звука с учётом задержек и синхронизации. Применение: Решать кооперативную задачу с взаимным расположением телефонов. Уровень доступа: R.
15Запись как игровой материалОписание и пример ↗Запись, воспроизведение и обработка образуют механики даже без распознавания смысла. Сохранение и публикация являются отдельными решениями.8
Варианты и применение
- Сбор сэмплов. Сигнал: Записанный короткий фрагмент. Применение: Коллекционировать звуки, собирать инвентарь из акустических находок. Уровень доступа: Анализ сигнала.
- Озвучивание персонажа. Сигнал: Реплики игрока, привязанные к событиям. Применение: Дать герою собственные возгласы и реплики. Уровень доступа: Анализ сигнала.
- Повтор и сравнение. Сигнал: Сходство записи с новым исполнением. Применение: Запомнить свой сигнал, затем воспроизвести его для решения задачи. Уровень доступа: Распознавание.
- Запись как приманка. Сигнал: Воспроизведение найденного или созданного сэмпла. Применение: Отвлекать противника, отвечать существу, имитировать событие. Уровень доступа: Анализ сигнала.
- Монтаж звуковой цепочки. Сигнал: Порядок и границы фрагментов. Применение: Собрать аудиофразу, музыкальный ключ или последовательность событий. Уровень доступа: Анализ сигнала.
- Преобразование записи. Сигнал: Скорость, высота, направление, фильтры. Применение: Преобразить звук в ключ, голос существа или читаемую подсказку. Уровень доступа: Анализ сигнала.
- Петля и наложение. Сигнал: Повтор фрагментов и смешение дорожек. Применение: Собирать собственное сопровождение и решать луперные головоломки. Уровень доступа: Анализ сигнала.
- Звук порождает объект. Сигнал: Правило преобразования признаков или записи. Применение: Создавать ландшафт, оружие, существ или рисунок из своего звука. Уровень доступа: Распознавание.
Контекст и источники: Android: захват звука и обработка входа
16Акустические коды и обмен даннымиОписание и пример ↗Данные передаются либо рисунком сигналов, либо цифровым звуковым протоколом. Это отдельная задача от понимания речи.8
Варианты и применение
- Азбука коротких и длинных сигналов. Сигнал: Длительности импульсов и пауз. Применение: Передавать сообщения Морзе, вскрывать звуковые замки. Уровень доступа: Анализ сигнала.
- Тональный код. Сигнал: Последовательность частот. Применение: Использовать DTMF или выдуманную систему тональных символов. Уровень доступа: Анализ сигнала.
- Короткий пакет через звук. Сигнал: Декодируемый цифровой сигнал. Применение: Передать seed уровня, код комнаты или небольшой игровой токен. Уровень доступа: D.
- Звуковой маяк. Сигнал: Известный код в окружающем аудио. Применение: Открывать контент при обнаружении подготовленного маяка. Уровень доступа: D.
- Узнать запись. Сигнал: Аудиоотпечаток готового фрагмента. Применение: Узнавать подготовленную песню или реплику и выдавать связанную задачу. Уровень доступа: Распознавание.
- Второй экран. Сигнал: Позиция внутри распознанной записи. Применение: Синхронизировать телефон с фильмом, аудиоспектаклем или настольной игрой. Уровень доступа: Распознавание.
- Звуковой обмен ходом. Сигнал: Пакет от одного телефона другому. Применение: Передавать локальный ход без ввода кода; не обещать высокую скорость. Уровень доступа: D.
- Собери сообщение из эфира. Сигнал: Несколько распознанных пакетов или меток. Применение: Объединять фрагменты, полученные у разных подготовленных источников. Уровень доступа: D.
Контекст и источники: ggwave: небольшие данные через звук, Apple ShazamKit: аудиоотпечатки и синхронизация
18Сочетание с другими вводамиОписание и пример ↗Эти приёмы требуют дополнительных датчиков, интерфейсов или правил. Микрофон даёт только свою часть данных.8
Варианты и применение
- Коснуться и сказать. Сигнал: Выбор касанием и голосовая команда. Применение: Тапом указать объект, вслух задать действие. Уровень доступа: Распознавание.
- Наклонить и подуть. Сигнал: IMU для направления, шум потока для силы. Применение: Направлять парусник наклоном и разгонять выдохом. Уровень доступа: D.
- Навести камеру и озвучить. Сигнал: Камера для цели, звук для действия. Применение: Кормить или будить AR-существо реальным звуком. Уровень доступа: D.
- Зажать и говорить. Сигнал: Кнопка задаёт окно микрофонного ввода. Применение: Колдовать голосом только пока удерживается руна. Уровень доступа: Анализ сигнала.
- Звук выбирает, жест подтверждает. Сигнал: Распознанный вариант и явное подтверждение. Применение: Произнести название предмета и провести пальцем для применения. Уровень доступа: Распознавание.
- Профиль гарнитуры. Сигнал: Другой аудиомаршрут и его задержка. Применение: Предложить режим с близким микрофоном; отдельно откалибровать ритм и дыхание. Уровень доступа: D.
- Микрофон и движение. Сигнал: Звуковое событие и данные IMU. Применение: Отличать игровой взмах со звуком от случайной помехи. Уровень доступа: D.
- Записанный голос в касании. Сигнал: Запись плюс управление воспроизведением. Применение: Играть фразой как инструментом: скретчить, растягивать, ставить на паузу. Уровень доступа: Анализ сигнала.
Уровни
S
Описание: Название: Анализ сигнала; Правило: Правила над аудиопотоком: уровень, время, частота, запись. Нужны настройка и проверка.
M
Описание: Название: Распознавание; Правило: Нужны классификатор, распознаватель речи или сравнение с образцом. Возможны ошибки и неопределённость.
D
Описание: Название: Зависит от устройства; Правило: Нужны определённые каналы, маршрут, датчики, второе устройство или особая конфигурация.
R
Описание: Название: Эксперимент; Правило: Исследовательское направление или идея, требующая отдельного прототипа. Для массового релиза пригодность не подтверждена.
Схемы
Ввод как кнопка
Событие запускает дискретное действие: хлопок → прыжок.
Ввод как ось
Непрерывный признак управляет величиной: тон → высота полёта.
Попадание в цель
Нужно удержать диапазон: уровень → стабильность реактора.
Ввод как ресурс
Действие копит или расходует условную энергию: гул → заряд.
Ввод как риск
Действие помогает и одновременно выдаёт игрока: речь → заклинание и тревога.
Последовательность
Значение имеет порядок: стук, звон, слово → рецепт.
Повторение и память
Нужно запомнить, воспроизвести или преобразовать услышанное.
Поиск и коллекция
Нужно найти внешний звук и подтвердить его записью или распознаванием.
Создание материала
Запись становится контентом: собственные сэмплы, персонажи, музыка.
Коммуникация
Звук передаёт сведения другому человеку, устройству или персонажу.
Ограничения
Уровень не равен физической силе
Цифровой уровень зависит от расстояния, усиления, ориентации и обработки. Для игровых шкал используйте относительную калибровку; без акустической калибровки не выдавайте его за dB SPL.
Несколько микрофонов не равны отдельным каналам
ОС может выдать обработанный моно- или стереопоток. Сначала проверьте доступные источники, каналы и маршруты на целевых моделях.
Шумоподавление может убрать игровой ввод
Обработка для речи способна менять дуновение, шёпот, музыкальные звуки и паузы. Проверяйте реальный тракт; запрос отключения обработки сам по себе не является гарантией.
Тишина имеет несколько причин
Низкий уровень не доказывает задержку дыхания. Отказ разрешения, прерванная запись или смена маршрута тоже могут давать отсутствие входа.
Голос рядом не даёт точного расстояния
Громче может означать ближе, громче произнесено или иначе усилено. Для дистанции и направления нужен контролируемый метод и проверка.
Фазы дыхания требуют отдельного распознавания
Не выводите вдох и выдох только из уровня. Обычная тихая работа дыхания может не попадать в микрофон; акустический ввод не заменяет физиологический датчик.
Динамик телефона тоже попадает в микрофон
Музыка и эффекты игры могут срабатывать как ввод. Нужны окна прослушивания, подходящая обработка или режим с наушниками, который также проверяется.
Задержка является частью управления
Ритм, караоке и быстрые команды проверяйте по полному пути от действия до реакции. Bluetooth и смена маршрута требуют отдельной калибровки.
Распознаватель не читает мысли
Текст, манера и сходство голоса не доказывают личность, искренность, эмоцию или состояние здоровья. Для ролевой игры оценивайте явные признаки исполнения.
Честный сценарий ошибки
Показывайте обнаруженный ввод и допускайте повтор, настройку диапазона и альтернативное управление. Тестируйте разные голоса, акценты, чехлы и шумные помещения.
Запись должна быть явной
Запрашивайте разрешение в понятном контексте, показывайте активное прослушивание и объясняйте хранение и отправку аудио. Сбор и публикация записей не нужны для большинства механик.
Веб и нативное приложение различаются
Браузерный доступ требует разрешения и безопасного контекста; отдельные каналы, маршруты, фон и распознавание зависят от платформы. Проверка браузера на компьютере не подтверждает телефон.
Как пользоваться каталогом
Разделяйте действие игрока, распознаваемый сигнал, игровое правило и обратную связь. Родственные варианты здесь сохраняют контекст применения и не обязательно являются независимыми физическими примитивами.
При прототипировании сначала проверьте одно правило и условия отказа. Наличие API, датчика или источника не доказывает работу всех сценариев. Для устройств проверяйте доступность функций, калибровку и альтернативный ввод на реальном целевом оборудовании.
Источники и примеры
Источники подтверждают отдельные приёмы или методологию, а не все варианты семейства. Примеры проектирования и сочетания механик являются иллюстрациями.
- Android: захват звука и обработка входа
Разрешение RECORD_AUDIO; обработка входа; проверка поддержки UNPROCESSED; проверка на реальном устройстве.
- Android AudioRecord: активные микрофоны
API сообщает, какие микрофоны участвуют в записи и как они отображаются на каналы; конфигурация может меняться.
- Apple QA1799: выбор микрофона
Выбор доступных источников и диаграмм направленности зависит от оборудования и аудиосессии. Архивная документация, не обещание поддержки всех современных устройств.
- Apple: настройка распознавания речи на устройстве
Словарь предметной области, произношения, языковая модель и локальное распознавание для поддерживаемой конфигурации.
- Google MediaPipe: классификация аудио
Классификатор выдаёт вероятные категории из заданного при обучении набора; доступны пороги и потоковый режим.
- Breeze 2: дыхание как игровой ввод
Исследование распознавания фаз дыхания микрофоном смартфона в игровом приложении; не универсальная точность на любых телефонах.
- CMU: TapSense
Различение некоторых типов касаний по акустическому сигналу совместно с экранным вводом.
- FingerIO: активный сонар для движения пальца
Исследовательская система с динамиком и микрофонами конкретного смартфона. Результат исследования не переносится автоматически на другие модели.
- CMU / Disney: Acoustruments
Пассивные физические аксессуары изменяют акустический канал между динамиком и микрофоном.
- ggwave: небольшие данные через звук
Открытая библиотека передачи небольших пакетов звуком. Скорость ограничена, устойчивость зависит от канала.
- Apple ShazamKit: аудиоотпечатки и синхронизация
Распознавание готовой записи по каталогу и синхронизация с позицией внутри фрагмента; не универсальное узнавание любого напевания.
- W3C: Media Capture and Streams
Веб-доступ к микрофону, разрешения, безопасный контекст и ограничения аудиотрека.
- pyannote.audio: различение говорящих
Модели активности речи, смены говорящего, перекрытия голосов и голосовых представлений. Это основа алгоритмов, а не готовый универсальный API телефона.
CC BY 4.0 · Game Dev DB contributors