Dominando Actualizaciones de Pesos y Retropropagación en Perceptrones Multicapa

En este artículo presentamos las ecuaciones precisas usadas para cálculos de actualización de pesos y explicamos cómo la retropropagación habilita a un perceptrón multicapa (MLP) para aprender de datos.

Bienvenido a la serie integral de aprendizaje automático de AAC.

Póngase al día con la serie hasta aquí:

1. Cómo Realizar Clasificación Usando una Red Neuronal: ¿Qué es el Perceptrón?
2. Cómo Usar un Ejemplo Simple de Red Neuronal Perceptrón para Clasificar Datos
3. Cómo Entrenar un Perceptrón Neuronal Básico
4. Entendiendo el Entrenamiento Simple de Redes Neuronales
5. Introducción a la Teoría de Entrenamiento para Redes Neuronales
6. Entendiendo la Tasa de Aprendizaje en Redes Neuronales
7. Aprendizaje Automático Avanzado con el Perceptrón Multicapa
8. La Función de Activación Sigmoide: Activación en Redes Neuronales Perceptrón Multicapa
9. Cómo Entrenar un Perceptrón Multicapa Neuronal
10. Entendiendo Fórmulas de Entrenamiento y Retropropagación para Perceptrones Multicapa
11. Arquitectura de Red Neuronal para una Implementación en Python
12. Cómo Crear una Red Neuronal Perceptrón Multicapa en Python
13. Procesamiento de Señales Usando Redes Neuronales: Validación en Diseño de Redes Neuronales
14. Conjuntos de Datos de Entrenamiento para Redes Neuronales: Cómo Entrenar y Validar una Red Neuronal Python

Hemos llegado al núcleo de la teoría de redes neuronales: los pasos computacionales que afinan los pesos de un MLP para que pueda clasificar muestras de entrada con precisión. Este proceso es la base del algoritmo de retropropagación, una piedra angular del aprendizaje profundo moderno.

Actualizando Pesos

Entrenar un MLP es matemáticamente denso, y la terminología varía entre fuentes. Las ecuaciones abajo se derivan de las derivaciones claras del Dr. Dustin Stansbury, haciéndolas una excelente referencia para principiantes y profesionales.

El diagrama muestra la arquitectura que implementaremos en código, y las ecuaciones que siguen mapean directamente a esta estructura.

Terminología

• Pre-activación (S_preA): La suma ponderada de entrada a la función de activación de una neurona, calculada como producto punto de pesos entrantes y activaciones.
• Post-activación (S_postA): La salida de la neurona después de aplicar la función de activación f_A(·). Usamos la función logística (sigmoide) en nuestros ejemplos.
• Matrices de pesos: En código las etiquetamos ItoH (entrada-a-oculta) y HtoO (oculta-a-salida) para evitar ambigüedad.
• Objetivo (T): La salida correcta para una muestra de entrenamiento.
• Tasa de aprendizaje (LR): El tamaño de paso para actualizaciones de peso.
• Error final (FE): S_postA,O – T.
• Señal de error (S_ERROR): FE multiplicado por la derivada de la función de activación del neurona de salida.
• Gradiente: La contribución de un peso específico a la señal de error; restamos LR × gradiente del peso actual.

El diagrama adjunto ilustra estos conceptos en contexto.

Las ecuaciones de actualización de pesos resultan de tomar la derivada parcial del error cuadrático sumado con respecto a cada peso. Para pesos oculto-a-salida:

S_ERROR = FE × f_A'(S_preA,O)

gradiente_HtoO = S_ERROR × S_postA,H

peso_HtoO ← peso_HtoO – (LR × gradiente_HtoO)

Para pesos entrada-a-oculta, el error debe atravesar una capa adicional:

gradiente_ItoH = S_ERROR × peso_HtoO × f_A'(S_preA,H) × entrada

peso_ItoH ← peso_ItoH – (LR × gradiente_ItoH)

Retropropagación

La retropropagación resuelve el dilema del nodo oculto: aunque los pesos entrada-a-oculta influyen en la salida final indirectamente, podemos computar su efecto propagando la señal de error hacia atrás a través de la red y escalándola con los pesos salientes y derivadas de activación. Esta técnica es fundamental para entrenar modelos profundos.

Conclusión

Hemos desglosado las ecuaciones clave que impulsan actualizaciones de pesos y la mecánica de retropropagación en MLPs. Estos conceptos sustentan cada aplicación moderna de redes neuronales, y dominarlos abre la puerta a modelado avanzado. Manténganse atentos para las próximas entregas de nuestra serie, donde profundizaremos en diseño de arquitectura, implementación en Python y técnicas de validación.