El nuevo algoritmo combina a la perfección dos señales de audio cualquiera

• Un nuevo algoritmo genera el efecto de portamento entre dos señales de audio en tiempo real.
• Combina a la perfección segmentos de frecuencia de una señal de audio con otra, sin aumentar ni disminuir el volumen de las señales.

Los músicos utilizan un efecto llamado "portamento" para la transición entre notas. Es una técnica de deslizarse de una nota a otra sin definir realmente las notas intermedias.

Los músicos han estado usando el portamento durante más de 200 años. Sin embargo, tipos limitados de instrumentos pueden lograr este efecto. Estos son los instrumentos que pueden variar continuamente de tono, como el violín o la voz humana.

Recientemente, un estudiante del MIT, Trevor Henderson, desarrolló un algoritmo que genera el efecto de portamento entre dos señales de audio en tiempo real. Demostró la capacidad del algoritmo al fusionar diferentes clips de audio, como una canción que se mezcla con otra y una nota de piano que se desliza en una voz humana.

¿Cómo funciona el algoritmo?

El algoritmo se basa en un marco basado en geometría de siglos de antigüedad conocido como "transporte óptimo". El marco determina formas óptimas de mover puntos de datos entre múltiples configuraciones de origen y destino. Se ha aplicado al modelado 3D, alineación de imágenes, dinámica de fluidos y gráficos por computadora.

Henderson utilizó este marco para interpolar señales de audio. El algoritmo funciona dividiendo la señal de audio en pequeños segmentos (de aproximadamente 50 milisegundos). Luego, determina la forma más eficiente de mover los tonos en segmentos individuales a los tonos en la otra señal de audio.

De esta forma, el algoritmo genera un deslizamiento suave del efecto de portamento. También conserva la fidelidad del audio a medida que la señal cambia.

Referencia:arXiv:1906.06763 | MIT

Normalmente, los efectos de atenuación se utilizan para suavizar la transición entre dos señales de audio. Este es el método tradicional en el que se reduce el volumen de una señal mientras aumenta el volumen de otra señal.

El nuevo algoritmo, por otro lado, combina a la perfección segmentos de frecuencia de una señal de audio en otra, sin aumentar / disminuir el volumen de las señales.

Esta técnica extiende el portamento a varios instrumentos, incluidos los polifónicos. De hecho, se puede utilizar para realizar una transición entre diferentes conjuntos de instrumentos o cualquier otro par de señales de audio. Genera resultados musicales claros en tiempo real.

El "parámetro de interpolación" se puede controlar mediante un componente deslizante como un crossfader en la mesa de mezclas del DJ. A medida que desliza el crossfader, el parámetro cambia y produce el efecto de portamento.

Para eliminar las distorsiones, Henderson utilizó la "reasignación de frecuencia", una aplicación de una técnica de procesamiento único. Permite que las notas individuales pasen fácilmente entre señales. También desarrolló un nuevo método para sintetizar nuevas fases para cada señal mientras fusiona los pequeños segmentos de audios, de modo que los segmentos adyacentes no interfieran entre sí.

Leer:Facebook AI convierte la música de un estilo a otro

En el próximo estudio, Henderson intentará retroalimentar la salida del portamento a su entrada. Esto podría producir otro efecto llamado legato, que representa un movimiento fluido y continuo entre diferentes notas.