Combinación de dos modelos de aprendizaje profundo

El aprendizaje profundo es una herramienta invaluable en el arsenal de analistas de datos con nuevas aplicaciones en diferentes esferas, incluidas las aplicaciones industriales. El principio de funcionamiento básico del aprendizaje profundo es utilizar grandes volúmenes de datos para crear un modelo que pueda realizar predicciones precisas.

Consideremos un pequeño ejemplo de dónde los ingenieros de automatización industrial podrían encontrar la necesidad de combinar dos modelos de aprendizaje profundo. Una empresa de teléfonos inteligentes emplea una línea de producción que fabrica varios modelos de teléfonos inteligentes. La visión computarizada que emplea algoritmos de aprendizaje profundo realiza el control de calidad de la línea de producción.

Actualmente, la línea de producción construye dos teléfonos inteligentes:el teléfono A y el teléfono B. Los modelos A y B realizan el control de calidad para los teléfonos A y B, respectivamente. La empresa presenta un nuevo teléfono inteligente, el Teléfono C. Es posible que la planta de producción necesite un nuevo modelo para realizar el control de calidad del tercer teléfono llamado Modelo C. La construcción de un nuevo modelo requiere una enorme cantidad de datos y tiempo.

Figura 1. Video utilizado por cortesía de Matt Chan

Otra alternativa es combinar los aprendizajes del Modelo A y B para construir el Modelo C. El modelo combinado puede realizar un control de calidad con pequeños ajustes a los pesos.

Otro escenario en el que los modelos deben combinarse es cuando un nuevo modelo tiene que realizar dos tareas simultáneamente. Dos modelos de aprendizaje profundo podrían realizar estas tareas. Se puede crear un modelo que necesita clasificar un conjunto de datos y hacer predicciones en cada categoría combinando dos modelos:uno que puede clasificar grandes conjuntos de datos y otro que puede hacer predicciones.

Aprendizaje conjunto

Combinar varios modelos de aprendizaje profundo es aprendizaje conjunto. Esto se hace para realizar mejores predicciones, clasificación u otras funciones de un modelo de aprendizaje profundo. El aprendizaje conjunto también puede crear un nuevo modelo con las funcionalidades combinadas de diferentes modelos de aprendizaje profundo.

Crear un nuevo modelo tiene muchos beneficios en comparación con entrenar un nuevo modelo completamente desde cero.

• Requiere muy pocos datos para entrenar el modelo combinado porque la mayor parte del aprendizaje se deriva de los modelos combinados.
• Se necesita menos tiempo para construir un modelo combinado que para construir un modelo nuevo.
• Requiere menos recursos informáticos cuando se combinan modelos.
• Los nuevos modelos combinados tienen mayor precisión y capacidades que los combinados para obtener el nuevo modelo.

Debido a las diferentes ventajas del aprendizaje conjunto, a menudo se realiza para crear un nuevo modelo. Los respectivos algoritmos, paquetes y modelos entrenados de aprendizaje profundo deben combinar diferentes modelos, y los algoritmos de aprendizaje profundo más avanzados se escriben con Python.

Figura 2. Un conjunto de apilamiento para redes neuronales de aprendizaje profundo en Python. Imagen utilizada por cortesía de Dominio del aprendizaje automático

Conocer Python y las respectivas herramientas de aprendizaje profundo utilizadas son requisitos previos para combinar diferentes modelos. Una vez que todos estos están en su lugar, se implementan diferentes técnicas para combinar diferentes algoritmos de aprendizaje profundo. Se explican en las siguientes secciones.

Método de promedio (ponderado)

En este método, el promedio de los dos modelos se utiliza como modelo nuevo. Es el método más sencillo de combinar dos modelos de aprendizaje profundo. El modelo creado tomando el promedio simple de dos modelos tiene más precisión que los dos modelos combinados.

Para mejorar aún más la precisión y el resultado del modelo combinado, el promedio ponderado es una opción viable. Las ponderaciones asignadas a los diferentes modelos podrían basarse en el rendimiento de los modelos o en la cantidad de entrenamiento que recibió cada modelo. En este método, se combinan dos modelos diferentes para formar un nuevo modelo.

Método de embolsado

El mismo modelo de aprendizaje profundo puede tener múltiples iteraciones. Las diferentes iteraciones se entrenarían con diferentes conjuntos de datos y tendrían diferentes niveles de mejora. Combinar las diferentes versiones del mismo modelo de aprendizaje profundo es el método de empaquetado.

La metodología sigue siendo la misma que la del método de promediado. Se combinan diferentes versiones del mismo modelo de aprendizaje profundo en un promedio simple o promedio ponderado. Este método ayuda a crear un nuevo modelo que no tiene el sesgo de confirmación creado con un solo modelo, lo que hace que el modelo sea más preciso y de alto rendimiento.

Método de refuerzo

El método de impulso es similar al uso de un circuito de retroalimentación para los modelos. El rendimiento de un modelo se utiliza para ajustar los modelos posteriores. Esto crea un ciclo de retroalimentación positiva que acumula todos los factores que contribuyen al éxito del modelo.

Figura 3. Método de impulso para el aprendizaje en conjunto. Imagen utilizada por cortesía de Ashish Patel

El método de impulso reduce el sesgo y la varianza experimentados por los modelos. Esto es posible ya que dichos lados negativos se filtran en iteraciones posteriores. El refuerzo se puede realizar de dos formas distintas:refuerzo basado en el peso y refuerzo basado en residuos.

Método de concatenación

Este método se utiliza cuando se van a fusionar diferentes fuentes de datos en el mismo modelo. Esta técnica de combinación toma diferentes entradas y las concatena al mismo modelo. El conjunto de datos resultante tendrá más dimensiones que el conjunto de datos original.

Cuando se hace varias veces de forma secuencial, las dimensiones de los datos crecerán a un número muy grande, lo que podría conducir a un sobreajuste y pérdida de información crítica, reduciendo así el rendimiento del modelo combinado.

Método de apilamiento

El método de apilamiento para modelos de aprendizaje profundo en conjunto integra los diferentes métodos para desarrollar modelos de aprendizaje profundo utilizando el rendimiento de iteraciones anteriores para impulsar los modelos anteriores. Agregar un elemento de tomar un promedio ponderado a este modelo apilado mejora las contribuciones positivas para los submodelos.

De manera similar, se pueden agregar a los modelos técnicas de ensacado y técnicas de concatenación. El método de combinar diferentes técnicas para combinar modelos puede mejorar el rendimiento del modelo combinado.

Las metodologías, técnicas y algoritmos que se pueden utilizar para combinar modelos de aprendizaje profundo son innumerables y están en constante evolución. Habrá nuevas técnicas para realizar la misma tarea proporcionando mejores resultados. Las ideas clave que debe conocer acerca de la combinación de modelos se dan a continuación.

• La combinación de modelos de aprendizaje profundo también se denomina aprendizaje conjunto.
• La combinación de diferentes modelos se realiza para mejorar el rendimiento de los modelos de aprendizaje profundo.
• La construcción de un nuevo modelo por combinación requiere menos tiempo, datos y recursos computacionales.
• El método más común para combinar modelos es promediar varios modelos, donde tomar un promedio ponderado mejora la precisión.
• El empaquetamiento, el impulso y la concatenación son otros métodos que se utilizan para combinar modelos de aprendizaje profundo.
• El aprendizaje por conjuntos apilados utiliza diferentes técnicas de combinación para construir un modelo.