Las tecnologías convergentes habilitan Elasticsearch a miles de millones

La convergencia digital está sucediendo a nuestro alrededor a medida que las tecnologías que originalmente no estaban relacionadas se unen de nuevas y emocionantes formas. El iPhone es un ejemplo perfecto, que combina un teléfono con una computadora, una cámara y sensores para brindar una experiencia excepcional.

La convergencia no es nueva en el espacio integrado. Los dispositivos integrados han estado sujetos tradicionalmente a restricciones más severas de memoria y procesamiento y han adoptado la convergencia como una forma de obtener lo mejor de muchas áreas tecnológicas. Entonces, como estamos apenas en el comienzo de la convergencia de tecnologías de diferentes escalas, con tecnologías aparentemente dispares que prometen unirse para interrumpir las industrias existentes y marcar el comienzo de nuevas oportunidades convincentes, el espacio integrado también se beneficiará. Una nueva convergencia es el uso del vecino más cercano k-NN (k-NN) con procesamiento de aceleración en memoria para proporcionar respuestas casi en tiempo real para operaciones de Elasticsearch de miles de millones.

Elasticsearch es un motor de búsqueda que toma solicitudes JSON para búsquedas de documentos y entrega datos JSON como resultados. El formato de datos de Elasticsearch es un documento con datos estructurados codificados en JSON. Elasticsearch comenzó como un motor de búsqueda de texto, pero la base de datos puede cubrir cualquier tipo de datos, y cada documento tiene una identificación única y un tipo de datos.

Debido a que la estructura está "libre de esquemas", permite que los documentos se definan según las necesidades del usuario. Entre los ejemplos de documentos en las bases de datos de Elasticsearch se incluyen:

• Imágenes utilizadas para identificar las solicitudes de búsqueda de los consumidores.
• Registros de datos de red utilizados para identificar intrusiones, anomalías o desequilibrios de carga en la red.
• Recibos de productos que se utilizan para identificar los patrones de compra de los clientes y mejorar la gestión del inventario.
• Arquitectura de red utilizada para compartir y replicar automáticamente.
• Documentos de texto utilizados para encontrar instancias literarias específicas.
• Documentos de texto con asignaciones de uno a muchos utilizados para la traducción asistida por computadora.

Elasticsearch fue diseñado para ser distribuido. Es escalable en infraestructura y flexible para servidor local, servidor remoto o operación basada en la nube. Gracias a su estructura API abierta y tranquila, el motor de búsqueda extensible se puede utilizar sin esfuerzo con complementos. Uno de esos complementos es de GSI Technology que ofrece una serie de beneficios que incluyen k-NN acelerado por hardware, el uso de vectores para búsqueda multimodal y resultados de puntajes combinados.

Elasticsearch se basa en su soporte informático distribuido para la escalabilidad, y sus velocidades vertiginosas son del orden de segundos para búsquedas de bases de datos a escala de un millón. Debido a su naturaleza distribuida y soporte de fragmentación, Elasticsearch permite la duplicación de datos, paralelizando la búsqueda y acelerándola para bases de datos más grandes. La funcionalidad distribuida que proviene de la publicación de comandos HTTP también permite que se realicen múltiples búsquedas de diferente resolución mediante un dispositivo integrado, una en recursos locales y otra enviada a recursos ascendentes.

Core Elasticsearch utiliza una coincidencia exhaustiva computacionalmente pesada (igualar todas), que lo ralentiza o hace que sea bastante costoso en hardware duplicado para admitir la búsqueda de bases de datos a gran escala. Una técnica que se puede utilizar para aumentar el tamaño de la base de datos es la búsqueda k-NN. Funciona buscando primero similitudes en agrupaciones comunes y luego haciendo la búsqueda final dentro de esas una o más agrupaciones. Esta técnica también permite realizar grandes búsquedas en bases de datos en servidores de escala perimetral en lugar de granjas de cómputo basadas en la nube para aplicaciones muy sensibles a la latencia.

Enfoque computacionalmente desafiante

Si bien k-NN proporciona una metodología para que Elasticsearch admita bases de datos muy grandes, como las de entradas de miles de millones y superiores, es un proceso exhaustivo de computación. Como resultado, k-NN ha sido un desafío para acelerar debido a la restricción de mover las bases de datos entre núcleos de GPU o CPU.

Una de las mayores limitaciones para la aceleración de la carga de trabajo es la limitación en el intercambio de datos requerido entre los procesadores y la memoria. Un gran inconveniente de la arquitectura de Von Neumann utilizada en los procesadores modernos es la sobrecarga de la transferencia de datos entre los procesadores y el almacenamiento. La CPU debe salir y buscar datos para cada operación que realiza.

Esta arquitectura es aún más ineficiente en un entorno de aceleración de descarga. El rendimiento de tales sistemas está limitado por la velocidad a la que el host que solicita las operaciones puede intercambiar datos a través de la memoria y también por los motores de cómputo que realizan las operaciones.

Se están estudiando arquitecturas que reducen el flujo de datos de la memoria para ayudar a aliviar el cuello de botella de Von Neumann. Sin embargo, el cuello de botella es particularmente atroz cuando se trata de aplicaciones de inteligencia artificial intensivas en memoria. El funcionamiento de las aplicaciones relacionadas con la inteligencia artificial depende del movimiento rápido y eficiente de cantidades masivas de datos en la memoria. Las bases de datos capacitadas deben cargarse en la memoria de trabajo y las consultas de entrada vectorizadas. A continuación, deben procesarse y cargarse para que funcionen las funciones de comparación.

Una tecnología probada que ya está teniendo un impacto en el mercado es la Unidad de Procesamiento Asociativo (APU). La belleza de la aceleración en memoria es que el almacenamiento en sí se convierte en el procesador. Esta no es una matriz masiva de núcleos de procesamiento con memoria caché cerca, sino más bien una matriz de memoria con unidades de cómputo integradas en la arquitectura de línea de lectura.

Por lo tanto, la APU se diferencia por tener la matriz de memoria capaz de acelerar el cálculo. Se ha demostrado que este tipo de procesador "acelerado" acelera el rendimiento en órdenes de magnitud al tiempo que reduce el consumo de energía de la carga de trabajo de los servidores estándar.

La convergencia de Elasticsearch, k-NN y la aceleración de APU proporciona menos latencia y más consultas por segundo. También hace posible brindar soporte para búsquedas en bases de datos a escala de miles de millones con menor consumo de energía que los sistemas tradicionales con solo CPU o acelerados por GPU. En el espacio integrado, Elasticsearch puede proporcionar un medio para realizar una búsqueda local en un dispositivo de borde y al mismo tiempo enviar una solicitud HTTP para una búsqueda más profunda en la red. Se pueden unir resultados variables para obtener una respuesta cada vez más nítida o solo se pueden incorporar nuevas excepciones.

Un dispositivo de borde extremo podría aplicar sus recursos de CPU para realizar una búsqueda de velocidad en una base de datos local pertinente. Luego, el uso del multiplicador de densidad APU permite que las solicitudes de red de Elasticsearch se ejecuten de manera eficiente en un servidor de borde o agregador en lugar de enviarse a la nube. Considere los robots que pueden tomar decisiones autónomas pero que aún obtienen validación de respaldo o correcciones de curso a partir de una búsqueda más profunda en sentido ascendente. Considere los vehículos automatizados que toman decisiones inmediatas en función de un conjunto de reglas y las condiciones locales mientras envían información a través de las señales de las carreteras y obtienen información de la carretera en sentido ascendente e instrucciones de conducción.

En el futuro, será emocionante ver qué nuevas oportunidades permitirá esta convergencia.