DETECCIÓN HUMANA DE ROBOT SONBI USANDO KINECT Y FRAMBUESA PI

A. OBJETIVO

Para construir el sistema de software de la raspberry pi dentro de Sonbi e
integrar Microsoft Kinect en Raspberry pi y hacerlo
interactivo con el robot Sonbi de una manera cuando la gente se para frente
a Kinect, el robot Sonbi saluda a la gente con los brazos.

B. SISTEMA DE HARDWARE

Sonbi tiene los siguientes elementos de hardware básicos montados dentro de su
chasis de pecho:
• Raspberry Pi con flash de 8GB
• Pololu Maestro 24
• Microsoft Kinect
• ATX 500 Watt PS
• Piezas varias (placas proto, cables, mecánicas)

Frambuesa pi:

• Procesador central ARM1176JZF-S de 700 MHz
• SDRAM de 512 MB
• Alimentado a través de microUSB (5V)
• Ethernet, HDMI y 2 puertos USB para periféricos
• Raspbian OS
• Ampliamente utilizado, ¡mucha documentación!

Pololu maestro 24

• 24 canales
• Frecuencia de pulso de hasta 333 Hz
• Tamaño de script de hasta 8 KB
• Hasta 1,5 amperios por canal
• 2 opciones de alimentación USB / cabezal de alimentación
• Scripting o compatibilidad con API nativa

Interfaz Raspberry pi y Pololu

• Cableado simple
- Alimentación, Gnd, Tx-Rx y Rx-Tx
• Puerto serie TTL
- Por defecto, Pi usa un puerto serie para la entrada / salida de la consola
- Edite / etc / inittab y /boot/cmdline.txt para cambiar el
predeterminado y el puerto serie libre para su uso
• Gran tutorial en:
http://shahmirj.com/blog / raspberry-pi-and-pololu-servocontroller-using-c
Microsoft Kinect:
• Una cámara RGB que almacena datos de tres canales en una resolución de 1280 × 960
. Esto hace posible capturar una imagen en color.
• Un emisor de infrarrojos (IR) y un sensor de profundidad de infrarrojos. El emisor
emite haces de luz infrarroja y el sensor de profundidad lee los
haces de infrarrojos reflejados de vuelta al sensor. Los haces reflejados
se convierten en información de profundidad
que mide la distancia
entre un objeto y el sensor. Esto hace posible la captura de una
imagen de profundidad.
• Un micrófono de matriz múltiple, que contiene cuatro micrófonos
para capturar el sonido. Debido a que hay cuatro micrófonos,
es posible grabar audio, así como también encontrar la ubicación de la
fuente de sonido y la dirección de la onda de audio.
• Un acelerómetro de 3 ejes configurado para un rango 2G, donde G es
la aceleración debida a la gravedad. Es posible utilizar el
acelerómetro para determinar la orientación actual del
Kinect

Ángulo de inclinación vertical:27 grados
• Velocidad de fotogramas:30 fps

C. INTEGRAR EL KINECT CON FRAMBUESA PI

Los siguientes son los pasos tomados para integrar Kinect con
Raspberry Pi.

Conexión de Microsoft Kinect y sus controladores de sensor en la raspberry pi:

Este proceso es una de las partes tediosas del proyecto, ya que uno debe ser consciente de que Kinect funciona en Windows y para que funcione en un sistema operativo basado en Unix, necesitamos instalar manualmente todas las bibliotecas y controladores asociados con él, que es difícil y lleva muchas horas de trabajo resolver los problemas. Los pasos seguidos y las bibliotecas y la lista de paquetes instalados se dan en la sección de creación de sistemas de software.

Uso de la capacidad completa de Kinect:

Para utilizar todas las funciones de Kinect, como sensores de profundidad, sensor de infrarrojos, micrófono y motores para inclinar la cámara, necesitamos bibliotecas que puedan hacer esto. El RPI por defecto tiene OpenCV y Open GL / GLES montados en él, pero estos no son compatibles (muy pronto lo harán) sensores de profundidad y motores todavía, por lo que necesitamos que se instale el paquete OpenNI o Libfreenect. Cualquiera de los dos es suficiente, pero decidí instalar ambos. Para probar y comprender, puede ejecutar programas de muestra, que están disponibles en las carpetas OpenNI y Libfreenect. Ya cumplí y construí los binarios. Uno puede ejecutarlo simplemente vaya a la carpeta "bin" y ejecute las muestras con
./”sample program ".

D. CONSTRUYENDO SISTEMA DE SOFTWARE

Libfreenect:
Libfreenect es un controlador de espacio de usuario para Microsoft Kinect. Funciona en
Soporta Linux
• RGB e imágenes de profundidad
• Motores
• Acelerómetro
• LED
El audio es un trabajo en progreso
Para construir libfreenect, necesitará
• libusb> =1.0.13
• CMake> =2.6
• python ==2. * (solo si BUILD_AUDIO o BUILD_PYTHON)
Para los ejemplos, necesitará
• OpenGL (incluido con OSX)
• glut (incluido con OSX)
• pthreads-win32 (Windows)
git clone https:/ /github.com/OpenKinect/libfreenect cd libfreenect mkdir build cd
build cmake -L .. make # si no tiene make o no quiere salida en color #
cmake –build

sudo apt-get install git-core cmake pkg-config build-essential libusb-1.0-0-dev
sudo adduser $ USER video sudo adduser $ USER plugdev # ¿es necesario? # solo si está
compilando los ejemplos:sudo apt-get install libglut3-dev libxmu-dev libxi-dev

Envoltorios:

Las interfaces para varios idiomas se proporcionan en contenedores /. No se garantiza que los contenedores
sean API estables o estén actualizados.
• C (usando una API síncrona)
• C ++
• C #
• python
• ruby ​​
• actionscript
• Java (JNA)

OpenNI:

Requisitos:
1) GCC 4.x
De:http://gcc.gnu.org/releases.html
O a través de apt:sudo apt-get install g ++
2) Python 2.6 + / 3.x
De:http://www.python.org/download/
O a través de apt:sudo apt-get install python
3) LibUSB 1.0.x
De:http://sourceforge.net/projects/libusb/files/libusb-1.0/
O a través de apt:sudo apt-get install libusb-1.0-0-dev
4) FreeGLUT3
De:http://freeglut.sourceforge.net/index.php#download
O vía apt:sudo apt-get install freeglut3-dev
5) JDK 6.0
De:
http://www.oracle.com/technetwork/java/javase/downloads/jdk6u32-downloads-1594644.html
O a través de apt:sudo add-apt-repository " deb

Requisitos opcionales (para crear la documentación):
1) Doxygen
De:
http://www.stack.nl/~dimitri/doxygen/download.html#latestsrc
O a través de apt:sudo apt-get install doxygen
2) GraphViz
De:http://www.graphviz.org/Download_linux_ubuntu.php
O a través de apt:sudo apt-get install graphviz

Creación de OpenNI:

1) Vaya al directorio:"Platform / Linux / CreateRedist".
Ejecute el guión:"./RedistMaker".
Esto compilará todo y creará un paquete redist en el
Directorio "Plataforma / Linux / Redist". También creará una distribución en
el directorio "Plataforma / Linux / CreateRedist / Final".
2) Vaya al directorio:"Plataforma / Linux / Redist".
Ejecute el script:"Sudo ./install.sh" (debe ejecutarse como root)
El script de instalación copia los archivos clave en la siguiente ubicación:
Libs en:/ usr / lib
Bins en:/ usr / bin
Incluye en:/ usr / include / ni
Archivos de configuración en:/ var / lib / ni
Si desea construir los contenedores Mono, también ejecute “make
mono_wrapper ”y“ hacer mono_samples ”

E. DETECCIÓN DE PERSONAS Y ACCIÓN DE SONBI:

La Raspberry PI ejecuta un programa bootscript_sonbi.sh
El "bootscript_sonbi.sh" ejecuta el comando "python facedetect.py
–cascade =face.xml 0"
Necesitará para descargar este archivo de rostro entrenado:
http://stevenhickson-code.googlecode.com/svn/trunk/AUI/Imaging/face.xml
El facedetect.py ejecuta el algoritmo de detección de rostro y activa el
Ejecutable “Sonbi”. El binario Sonbi es responsable de poner en funcionamiento los
servomotores. El diagrama de flujo del proceso se encuentra a continuación.

Fuente:DETECCIÓN HUMANA DE SONBI ROBOT UTILIZANDO KINECT Y RASPBERRY PI