Speathe

Speaking Through Breathing:un sistema de comunicación inteligente para personas paralizadas .

Cosas utilizadas en este proyecto

Componentes de hardware

Altavoz:3 W, 4 ohmios

dispositivo Android

Walabot

Raspberry Pi 3 Modelo B

Aplicaciones de software y servicios en línea

Python

react-nativo

Historia

Speathe:un método de comunicación innovador y en evolución para los paralizados que se quedan sin habla después de la parálisis. Incluso si existen métodos para los paralizados, Speathe ayuda al convertir la respiración en sonidos auditivos y textos transferibles. Espero que haya una gran evolución de este código y pido a todos los entusiastas que trabajen en esto para que sea una comunicación eficaz para nuestros semejantes paralizados.

Componentes de hardware

Speathe components

Walabot escuchará la respiración y la clasificará en respiraciones cortas y largas. La frambuesa asignará puntos y guiones a las respiraciones cortas y largas, respectivamente, y las agregará para formar un alfabeto. Hay colecciones de 3 acrónimos con letras que tienen significados predefinidos para simplificar la comunicación. Raspberry determinará la palabra speathe por usuario, le asignará un valor a una variable y publicará los datos en el servidor que se ejecuta en Python. La aplicación móvil se desarrolla utilizando react-native que envía solicitudes continuas al servidor buscando el valor de la variable. Siempre que se recibe un valor no nulo, la aplicación móvil lo muestra. También proporcionamos una extensión para que las personas respondan a los paralizados publicando el texto escrito por el usuario en el servidor y pronunciándolo en voz alta a los paralizados.

Desarrollo de software

1. Configurar el SDK de Walabot y la programación con Python

Si no tiene instalado el IDE de Python, Python3 está disponible en:https://www.python.org/downloads/

Una vez hecho esto, puede descargar el SDK de Walabot para su sistema operativo. La información detallada sobre la API Python de Walabot está disponible en:https://walabot.com/api/_pythonapi.html

Una vez que haya instalado el archivo.deb, puede encontrar varios programas de ejemplo escritos para C ++ y Python en el directorio de origen. Los programas de ejemplo también están disponibles en el sitio web de la API de Walabot. Para este proyecto, recomendaría seguir el programa de Python BreathingExample.

2. Detección de respiración y coincidencia de letras

La capacidad de walabot para determinar la energía de la respiración se usa para determinar respiraciones largas y cortas. Tomaremos de 10 a 15 ciclos sucesivos y si en ellos la energía es considerablemente más alta que un valor umbral, entonces se le asigna una respiración larga y si la energía es menor que el umbral, es una respiración corta. En eso, para estos, es posible que se necesite una calibración única para cada persona.

Después de detectar respiraciones largas y cortas sucesivas y ordenadas en una matriz con '-' para respiraciones largas y '.' para respiraciones cortas que pueden formar un código Morse como ['-.-.-' ]. Patrones de código Morse específicos y predefinidos para letras y si las respiraciones coinciden con ellas, esa letra se pronuncia.

3. Letras, palabras, frases, sentimientos

Nosotros, en la primera versión de Speathe, hemos desarrollado tres acrónimos con letras para frases comunes que se usan en la vida cotidiana, para que los paralizados no hablen demasiado. Si se encuentra una coincidencia de acrónimo de tres letras, el valor de la variable que toma la aplicación móvil se reemplaza con la frase correspondiente. Por lo tanto, una comunicación efectiva es posible para aquellos que están completamente paralizados.

4. Servidor

El servidor se ejecuta en raspberry pi y está completamente controlado por Python. El módulo de matraz se usa para ejecutar el servidor en Raspberry Pi 3. Se establece una IP estática en Raspberry Pi y el servidor se inicia en algún puerto (digamos 80).

Cómo configurar Estático IP

1. Escriba sudo nano /etc/dhcpcd.conf en el símbolo del sistema.

2. Desplácese hasta la parte inferior de la secuencia de comandos y agregue las siguientes líneas:

interfaz eth0
static ip_address =192.168.43.211
static routers =192.168.43.1
static domain_name_servers =192.168.43.1
interface wlan0
static ip_address =192.168.43.211
routers estáticos =192.168.43.1
static domain_name_servers =192.168.43.1

3. Guarde el archivo con ctrl + o y luego salga de nano con ctrl + x.

4. Reinicie con sudo reboot.

5. Aplicación móvil

La aplicación móvil está desarrollada en react-native. Reaccionar solicitudes nativas para el valor en el mismo puerto del servidor. Cuando se encuentra un valor, se muestra en la interfaz de usuario. Y si el usuario quiere devolver algo, react-native publica los datos en alguna variable en el servidor y el código de Python verificando el valor de esa variable lo pronunciará más alto para que el paralizado y escuche y responda, si es necesario.

Aplicación móvil que busca cliente La aplicación móvil recibió el mensaje "Apple" de paralyzedMessage back to server

5. Prueba

Ejecute los archivos de Python en Raspberry Pi y establezca una dirección IP estática para su Raspberry Pi. Cambie la dirección IP y la dirección del puerto en el código JavaScript y renderice el apk. En mi caso, configuré la dirección IP en 192.168.43.211 y el apk de depuración se proporciona en el repositorio. Después de generar el apk, conecte Raspberry Pi al dispositivo Android a través de Wi-Fi y conecte walabot a Raspberry Pi. Simplemente abra la aplicación y comience a Speathing.

Leer más información….

Speathe