Aya

Aya es un robot interactivo que almacena tu imagen para reconocerte e interactuar contigo. Ganador de Hack the North 2017 y Mejor uso de AWS.

Historia

Inspiración

Cuando vimos lo que hizo Amazon con Alexa y lo que hizo Google con el hogar, estábamos seguros de que había llegado la era de los asistentes personales computarizados. Sin embargo, nos preguntamos cómo hacerlos más humanos:Aya es una prueba de concepto para los asistentes personales robóticos que se ven y se sienten humanos.

Qué hace

Aya es un robot interactivo que almacena tu imagen para reconocerte y decirte qué objeto estás sosteniendo.

Cómo lo construimos

¡Aya es una pesadilla de sistemas integrados! Una interfaz de servosistemas con códecs de audio que se ejecutan en diferentes subprocesos para multiprocesamiento.

Imprimimos en 3D las partes físicas (cortesía de InMoov®, un robot de código abierto) en un proceso que duró más de 26 horas. Fue construido y ensamblado en Hack the North 2017.

Aya usa AWS Rekognition para comparar geometrías faciales para reconocer a las personas que ya conoció y para conocer nuevos seres humanos. Elegimos el objeto de mayor confianza que no es humano y lo ejecutamos a través de Amazon Polly, que genera un archivo .ogg. Mientras todo esto sucede, otro hilo con controles de servo personalizados se ejecuta en paralelo para hacer que la mandíbula se mueva con el habla.

Desafíos con los que nos encontramos

¡Los trucos de hardware son difíciles! Nos encontramos con miles de problemas, que no se limitan a:derretir cables, quemar placas de prueba, sobrecalentamiento de los servos y, por supuesto, ¡tolerancias de piezas!

Otro aspecto difícil del proyecto fue el control de servo - esto requirió iniciar otro hilo y ejecutar controles de servo en conjunto con el habla.

En cuanto al software, dado que Amazon Rekognition solo genera una serie de etiquetas y sus niveles de confianza, a menudo es difícil elegir la etiqueta más relevante para una imagen. Intentamos resolver esto usando k -significa agrupar para generar grupos de palabras similares y luego generar oraciones para cada grupo. Sin embargo, dado que el hardware nos tomó gran parte de nuestro tiempo, lamentablemente no tuvimos tiempo para implementarlo por completo.

Finalmente, hacer todo esto con un presupuesto de 36 horas (¡sin incluir el sueño!) fue el mayor desafío de todos, pero nos obligó a cumplir con un cronograma y hacer que nuestro proyecto fuera ágil.

Logros de los que estamos orgullosos

Estamos orgullosos de poder hacer que el servo sistema y el software se combinen. Sobre todo, estamos orgullosos de haber trabajado juntos increíblemente bien como equipo, con poca fricción y un resultado increíble.

¿Qué sigue para Aya?

Queremos trabajar en el uso de TensorFlow para agrupar la salida de AWS Rekognition y pyAudioAnalysis para aplicar la técnica de análisis de forma de onda al archivo de audio generado para sincronizar mejor el sonido con la actuación del servo.

Leer más información…

Aya