Анализ звука. ай нид хелп

← →
Igor M. (2008-06-03 09:46) [0]

Кто силен в звуке, Помогите!
Просто скажите реально или нет, в реалтайме сделать более менее какой никакой анализ по частотному диапазону двух потоков звука.
Коротко суть: воспроизвожу wma/mp3 и по ходу читаю микрофон.
Прога для деток. Учитель запишет нотки или десткие песенки, детки орут в микрофон и прога должна анализировать попадание в тональность.
Пускай не точно голосом взять, а на тон выше или ниже, это уже у кого как со связками.
Если реально хоть приблизительно что-то написать пожалуйста ткните носом с чего начать читать по анализу звука, а то пока без понятия насчет тональностей, частот и т.п.

← →
Сергей М. © (2008-06-03 10:57) [1]

> реально или нет

Абсолютно реально.

Хватало бы только выч.мощности хоста, да был бы алгоритм/реализация приличные)

> без понятия насчет тональностей, частот и т.п.

Може проще будет готовый софт взять на вооружение, а не изобретать очередной кривой велосипед ?

← →
ZENsan © (2008-06-03 11:02) [2]

Посмотри пакет WaveAudio - он бесплатный. А ещё там чё-то с Дельфи 2007 в партнер DVD есть тоже..

← →
Сергей М. © (2008-06-03 11:07) [3]

> Пускай не точно голосом взять, а на тон выше или ниже, это
> уже у кого как со связками.

Прежде всего, наверно, с медведём дружить надо, а связки - дело последнее)

← →
Сергей М. © (2008-06-03 11:10) [4]

> или десткие песенки.. прога должна
> анализировать попадание в тональность

Песенка песенке рознь.
Если песенка представляет собой, к примеру, фонограмму-аккомпанимент цыганского хора и балалаечников, то задача крайне сложная, если вообще выполнимая.

← →
Igor M. (2008-06-03 11:24) [5]

> Може проще будет готовый софт взять на вооружение...

Извините не понял немного насчет чего Вы.
Если насчет звука, то я думаю делать на основе bass - там и поток из mp3 при воспроизведении вытащить можно и по ходу поставить на микрофон.
Вот будет у меня два буфера с текущим звуком.
Теперь надо как-то понять как представляются данные и анализировать.
Допустим если будут воспроизводиться однотонные звуки нот, то вроде бы анализ немного проще будет делать.
Только я пока не пойму как проверить является ли звук в микрофоне в той же тональности, хотя важно не обязательно в той, можно на тон или несколько тонов выше или ниже.

> Прежде всего, наверно, с медведём дружить надо..

Вполне возможно, но что-то мне подсказывает что такой софт немного бы помагал деткам, хотя бы примерно под тональность подбирались.

У меня жена преподаёт, хоть что-то полезное написать ей надо, но к сожалению со звуком вообще не работал :( Вот только смотрю примеры bass как они спектр строят...

← →
Igor M. (2008-06-03 11:29) [6]

> Если песенка представляет собой, к примеру, фонограмму-аккомпанимент цыганского хора и балалаечников, то задача крайне сложная, если вообще выполнимая.

Я вот это как раз то же понять не могу.
Вот если кто-то поет не в тон вам сразу же слух режет.
В целом может есть какая-то тональность музыки?

← →
Сергей М. © (2008-06-03 11:35) [7]

> не понял немного насчет чего

Я насчет того, что прежде чем разрабатывать программу неплохо было бы изучить рынок уже существующего ПО с требуемой функциональностью.

зачем что-то писАть, если наверняка есть готовое ? Притом наверняка написанное не дилетантами, а профессионалами ?

> такой софт немного бы помагал деткам

Каким образом он может помочь - не представляю..

> У меня жена преподаёт, хоть что-то полезное написать ей
> надо

Она прямо так и сказала тебе, мол, напиши мне что-то полезное ?)

← →
tree (2008-06-03 11:35) [8]

купи DVD с караоке

← →
Сергей М. © (2008-06-03 11:37) [9]

> есть какая-то тональность музыки?

Нет.
У музыки нет тональности, тональность может быть только у звука.
Музыка и звук - две разные разницы.

← →
Сергей М. © (2008-06-03 11:40) [10]

> тональность может быть только у звука

Причем у звука с ярко выраженной спектральной составляющей тоники

← →
Igor M. (2008-06-03 12:02) [11]

> зачем что-то писАть, если наверняка есть готовое ?

я готов купить ) только что-то не слышал о таком софте..
подскажите где хоть посмотреть на него, если денег не хватит купить)

хотя бы сделать что бы был вывод какого-то ..герцового звука, ну или на миди маппере нотку какую воспроизводить и читать микрофонный голос и графически показывать расхождение в тональности.

может встречали какую литературу где бы немного прояснили про представление wav звука и понятия в цифре про тон\частоту...

← →
Сергей М. © (2008-06-03 12:27) [12]

Мне вот пока не понятно, зачем своей скво этот софт нужен вообще ?
Она что, не в состоянии оценить "исполнение" на слух ?
Зачем для этого нужен комп с соотв.программой ?

← →
Сергей М. © (2008-06-03 12:38) [13]

http://www.google.ru/search?q=%D0%BC%D1%83%D0%B7%D1%8B%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9+%D1%81%D0%BE%D1%84%D1%82+%D1%82%D1%8E%D0%BD%D0%B5%D1%80&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:ru:official&client=firefox-a

← →
Anatoly Podgoretsky © (2008-06-03 13:08) [14]

> Сергей М. (03.06.2008 12:27:12) [12]

Слуха нет.

← →
AndreyV © (2008-06-03 13:09) [15]

Вот получил ты два спектра - один с фонограммы, другой с микрофона. Как их сравнивать? Как минимум надо выделить из них тональные звуки. См пример с "фонограмму-аккомпанимент цыганского хора и балалаечников".

Если вместо первого будет заранее подготовленая последовательность правильных частот, ещё можно пытаться как-то сравнить. Некоторые караоки это делают. Только в песнях есть слова, а слова состоят из фонем, которые совсем могут быть не тональными.

Я присоединяюсь к Сергей М. - зачем это, если есть уши, а если нет - тем более.
Но, если сильно хочется, для получения спектра смотри алгоритм БПФ. А дальше РО...:)

← →
Igor M. (2008-06-03 13:22) [16]

Это для детей со слабым слухом.
В наушниках в несколько децибел звук слышат, вот для тренировки голосовых связок а так же что бы наглядно видели что говорят по уровню (что бы не орали думая что их не слышат) ну и по тональности думал заодно прикрутить. Это одна из методик для разработки голосовых связок.

Я так понял что видать не судьба сделать среднюю оценку попадания в тональность на дестких песенках (без цыган с бубнами)
Хотя да, иначе бы программеры караоке прошивок уже бы сделали нормальную оценку пения)
Всем спасибо, пошел пить пиво, одной заботой меньше)

← →
AndreyV © (2008-06-03 13:25) [17]

> [16] Igor M. (03.06.08 13:22)

Ну а сразу нельзя было описать задачу? Тогда и вопросов бы лишних не было.

← →
Сергей М. © (2008-06-03 13:31) [18]

> а сразу нельзя было описать задачу? Тогда и вопросов бы
> лишних не было.
>

Точно.

> не судьба сделать среднюю оценку попадания в тональность
> на дестких песенках (без цыган с бубнами)

Вот как раз без цыган-то с бубнами задача намного упрощается.

← →
Igor M. (2008-06-03 14:42) [19]

> Вот как раз без цыган-то с бубнами задача намного упрощается.

а в двух словах можно?
по уровню я то голос поймаю, а вот тональность..
я попытаюсь набросать основу и вывести два спектра (mp3 песенки и голоса с микрофона) и посмотреть хотя бы наглядно что получается..
но прежде чем браться, желательно понять ху есть ху..
думал может кто хоть издали сталкивался и направит примерно)

з.ы.
тогда пиво временно отменяется) попробую покопать...

← →
KSergey © (2008-06-03 17:40) [20]

Вот тут мне точно попадались коныертилки из wav в midi
http://www.mp3-converter.biz/tag,wav%20to%20midi.html

Как работают и на сколько точно - не пробовал, не знаю. Тем более можно ли из них чего выскребсти готового чтобы прикрутить.
Что миди - это, по сути, ноты - думаю и так все знают.

А можно и просто погуглить на подобную тему, может какие-то готовые решения в виде библиотек или алгоритмов и нагуглятся...

← →
KSergey © (2008-06-03 17:40) [21]

Ссылку копировать всю (всю строку)

← →
Сергей М. © (2008-06-03 19:17) [22]

> по уровню я то голос поймаю, а вот тональность

С голосом-то как раз проблем нет, и его "уровень" по барабану, если , конечно, "орать" (как ты изволил выразиться) - это все же "петь", а не производить громкие нечленораздельные животные звуки

А вот что там у твоей скво будет находиться в "mp3 песенки" - вот в этом и главный вопрос, от него и плясать нужно.

← →
Сергей М. © (2008-06-03 19:23) [23]

> миди - это, по сути, ноты - думаю и так все знают

MIDI, это по сути не ноты - это цифровой интерфейс музыкального оборудования (инструментов, если дословно, но не точно ). К каким-то там "нотам" он имеет только весьма отдаленное отношение, если не сказать, что вообще никакого не имеет.

> коныертилки из wav в midi

Хлам, не имеющий серьезных претензий на серьезное использование)

← →
AndreyV © (2008-06-03 19:34) [24]

> [22] Сергей М. © (03.06.08 19:17)

Можно попробовать так.
Раз это методика, то можно подготовить заранее на каждый мп3 последовательность нот (частот + длительностей).
Голос преобразовать к спектру, определить наличие тона, если есть - выделить основной тон и сравнить с текущей нотой из последовательности.

← →
Сергей М. © (2008-06-03 19:40) [25]

> можно подготовить заранее на каждый мп3 последовательность
> нот (частот + длительностей).

На то есть готовые караоке-системы, мп3 для этого нафих не нужны.

> Голос преобразовать к спектру, определить наличие тона

Еще раз - с этим проблем нет вообще, если это не "ор", а пение.
Проблема в выделении тоники черт-те в каком заранее непредсказуемом спектре фонограммы, под которую "орут")

← →
AndreyV © (2008-06-03 19:55) [26]

> [25] Сергей М. © (03.06.08 19:40)
> На то есть готовые караоке-системы, мп3 для этого нафих
> не нужны.

Мп3 нужен для прослушивания.
> Проблема в выделении тоники черт-те в каком заранее непредсказуемом
> спектре фонограммы, под которую "орут")

Тогда эта проблема отпадает.

← →
Сергей М. © (2008-06-03 19:58) [27]

> Тогда эта проблема отпадает

ТОгда это когда ?

← →
AndreyV © (2008-06-03 20:02) [28]

> [27] Сергей М. © (03.06.08 19:58)
> > Тогда эта проблема отпадает
> ТОгда это когда ?

Когда будут под неё петь, её спектр уже не надо анализировать и выделять из него что-то.

Вообще я понимаю все это так - пока не будет в сколь-либо подробном виде формализована методика [16] и на е основе не сформировано хоть сколь-либо вразумительное ТЗ, разговор по теме лишен всякого смысла.

Нет методики - нет ТЗ.
Нет ТЗ - нет программы.

> её спектр уже не надо анализировать и выделять из него что-
> то

А с чем тогда сравнивать спектр вводимого с микрофона сигнала ?

> [30] Сергей М. © (03.06.08 20:10)
> > её спектр уже не надо анализировать и выделять из него что-то
> А с чем тогда сравнивать спектр вводимого с микрофона сигнала?

Дык.

> [24] AndreyV © (03.06.08 19:34)
> можно подготовить заранее на каждый
> мп3 последовательность нот (частот + длительностей).

> можно подготовить заранее на каждый
> > мп3 последовательность нот

Кто этим будет заниматься - та самая скво, заведомо нишута не смыслящая в подобного рода технологиях ?

> [33] Сергей М. © (03.06.08 20:48)
> > можно подготовить заранее на каждый
> > > мп3 последовательность нот
> Кто этим будет заниматься - та самая скво, заведомо нишута
> не смыслящая в подобного рода технологиях ?

К технологии это не относится. Если не сама, дак попросят кого-нибуть наиграть и написать на бумаге, а автор переведёт в нужный формат.
Как мы определись - подробности методики нам не известны, но, поскольку занимаются с детьми, какие-то наработки имеются.

Детские песни, видимо подобраны и их не так много.
Что означает скво?

> Что означает скво?

Женщина, традиционно в статусе жены (индейск.)

см. [5]))

← →
Igor M. (2008-06-04 13:48) [37]

есть mp3 детские песенки а так же спец. распевки, примерно караоке формата (без голоса вокалиста) как в обычном варианте так и не знаю кем-то просто наиграны на одном баяне или фортепиано.

в софте выбирается mp3 файл, допустим мелодия тех же "пусть бегут неуклюже".
при начале воспроизведения я начинаю читать и данные с микрофона.
как понимаю строю два спектра (самой песни и голоса)
ну и как-то надо сравнить тональность поющего с учетом что тон может быть ниже или выше.

пока мне не понятны "определить наличие тона" где про это можно почитать?
а так же реально ли это более менее сделать, если исходный материал mp3 неизвестен (будет добавляться), тоесть "заранее непредсказуемом спектре фонограммы" ?

у меня не караоке аппарат, ну хотя да, они как-то оценивают, пусть даже криво, но все таки... не встречался софт такой с открым кодом что бы посмотреть как это делают?

> [37] Igor M. (04.06.08 13:48)

> как понимаю строю два спектра (самой песни и голоса)

В который раз повторю (это я для тебя писал)

> можно подготовить заранее на каждый
> мп3 последовательность нот (частот + длительностей).

Спектр нужен только голоса

> ну и как-то надо сравнить тональность поющего с учетом что
> тон может быть ниже или выше.

Слово "Тональность" всё-таки имеет более широкое значение, чем "Тон".
Выделяешь из спектра и сравниваешь с образцом.. Если грубо, в спектре голоса находишь участок с максимальной амплитудой, это будет основная гармоника тона.

> пока мне не понятны "определить наличие тона" где про это
> можно почитать?

Вот
Пусть бег-у-у-у-т неукл-ю-у-у-же
Не на всех фонемах будет тональный звук, например "П", "С", зато на "у-у-у" - чётко определится. Вобщем, имхо, надо отфильтровать шумовые звуки и оставить тональные.
Смотреть алгоритмы DSP (цифровая обработка сигналов) или искать готовые библиотеки.

> а так же реально ли это более менее сделать, если исходный
> материал mp3 неизвестен (будет добавляться), тоесть "заранее
> непредсказуемом спектре фонограммы" ?

Для вновь добавляемого МП3, просишь знакомого музыканта написать партию голоса, вводишь в файл или ВД ноты. Хранишь их вместе с МП3. Для твоей системы они будут иметь смысл только в паре.

Может ветку в "Прочее" перенести?

> тональность поющего с учетом что тон может быть ниже или
> выше

Ниже или выше чего ?

Сначала дай самому себе четкое определение этому - это и будет ответом на вопрос "можно" или "нельзя"

Анализ звука. ай нид хелп Найти похожие ветки