[Programación] [audio] eventos midi a partir de input de webcam

[Dra. Nada]

esto surgió de una conversación en la reunión de lugro sobre una
librería de la que hablaba fabian para generar eventos a partir de
input de webcam.

no me acuerdo cómo se llamaba la lib. alguien?

es un boceto general de un instrumento musical que me interesaría
hacer, que genera eventos midi y varía parametros de sintetizadores en
base a cómo se mueve una persona frente a camara.

como no conozco bien qué se podría hacer y qué no, armé el diagrama
básico de lo que necesitaría. el plan es en base a esto y a lo que lea
de la lib cuando me pasen el nombre (googleé pero no la encuentro)
trazar un boceto simple de primera versión con lo que más facil sea de
armar/entrenar, y dejar el resto para ir sumándoselo.

lo mando acá por si alguien se prende a responder alguna pregunta, o
sugerir cuales de las funciones son mas faciles de
implementar/entrenar como para ir empezando, o participar como se le
ocurra.


Descripción:

la camara es fija, tipo de las costillas para arriba. el plano no
varía y se usa con las manos en alto junto a la cabeza, palmas al
frente.

hay que detectar 2 objetos:

-cabeza
-mano: instancias izquierda y derecha (son lo mismo pero en espejo).

cabeza observa:
	-distancia a la cámara
	-rotación de la cara hacia los costados

mano observa:
	-desplazamiento en los ejes x,y,z (cubo)
	-separación de los dedos (simple, mas o menos distancia/ancho
general, no por dedo)
	-rotación (en relación al eje vertical, manteniendo la palma al frente)

y para cada uno de esos valores, hay dos perfiles de interpretación:
	-constante: donde el valor se pasa directamente a manejar el nivel de
algo, por ejemplo la distorsión de un sintetizador
	-por evento: donde cuando el valor pasa de cierta cifra se genera un
evento midi


preguntas:

-es igual de simple generar eventos midi que de mouse? (teniendo en
cuenta que luego habría que codear la fase de traducir el joystick
virtual a eventos midi, y sería mucho mas prolijo generarlos
directamente)

-mano izquierda y mano derecha son lo mismo, pero en espejo. hay forma
de entrenar una y espejarla para la otra, o hay que hacer el proceso
dos veces?

-qué tan difícil es detectar las manos pero al reves (dorso al frente
en vez de palma) como otros objetos con las mismas funciones mapeadas
a diferentes cosas? la efectividad varía según el color del esmalte de
uñas?

idealmente, también estaría bueno detectar la mano hecha bollito como
otro objeto. qué tanto complica todo?

-aproximadamente cuantas fotos positivas y negativas calculan que
requeriría entrenar bien cada objeto?

consultas, sugerencias?

saludos! =)

lara