Saltar a contenido

Fase 1: ML para ingenieros (3 semanas)

Objetivo: entender cómo se entrena una red neuronal y cómo se comprime, con la intuición suficiente para razonar sobre su implementación en hardware.

Dónde: Mac M4 con PyTorch (backend MPS). Colab o Kaggle si algo tarda demasiado.

Recursos principales

Recurso Para qué Enlace
Dive into Deep Learning (d2l.ai) Libro gratis, interactivo, con código PyTorch en cada sección d2l.ai
3Blue1Brown, Neural networks Intuición visual de backpropagation (4 videos cortos) YouTube
MIT 6.5940 TinyML and Efficient Deep Learning Computing El curso de referencia en compresión de modelos Otoño 2024 · Otoño 2026
Tutoriales oficiales de PyTorch Sintaxis y patrones pytorch.org/tutorials
Andrej Karpathy, Neural Networks: Zero to Hero Construir backpropagation desde cero (opcional, excelente) karpathy.ai

Semana 1: fundamentos

Leer en d2l.ai, capítulos 2 a 5:

  • Cap. 2, Preliminares: tensores, álgebra lineal, autograd. Lectura rápida.
  • Cap. 3 y 4: regresión y clasificación lineal, softmax, entropía cruzada.
  • Cap. 5: perceptrón multicapa, backpropagation, sobreajuste, regularización, dropout. El más importante.

Ver:

  • Los 4 primeros videos de 3Blue1Brown (unos 60 minutos en total).
  • MIT 6.5940, clases 1 y 2 (introducción y fundamentos de redes neuronales).

Hacer: Tarea T1: MNIST y cuantización.

Preguntas para comprobar que lo entendiste

  1. ¿Por qué hace falta una no linealidad entre capas? ¿Qué pasa si la quitas?
  2. ¿Qué diferencia hay entre la pérdida en entrenamiento y la precisión en validación, y qué te dice si divergen?
  3. En un MLP de 784 → 64 → 64 → 10, ¿cuántos parámetros hay? ¿Cuántos bytes en float32 y en int8?

Semana 2: CNN y entrenamiento práctico

Leer: d2l.ai cap. 6 (guía práctica de construcción de modelos), cap. 7 (CNN) y del cap. 8 las secciones de LeNet y ResNet. Las CNN son filtros FIR 2D aprendidos: el paralelismo con procesamiento de señales es directo.

Ver: de MIT 6.5940, la parte de fundamentos donde se explican métricas de eficiencia (parámetros, MAC, memoria de activaciones). Es la base para razonar sobre recursos en FPGA.

Hacer:

  • Entrenar una CNN pequeña en CIFAR-10 hasta superar el 80% de precisión.
  • Calcular a mano y con código el número de MAC y de parámetros por capa.
  • Estimar la memoria de activaciones pico (lo que limita en un microcontrolador).

Semana 3: cuantización y poda

Leer:

Ver: MIT 6.5940, las clases de poda y de cuantización (en el temario de 2024 aparecen al inicio del curso, tras la introducción).

Hacer:

  • Implementar QAT con straight-through estimator en el MLP de la T1 y comparar contra PTQ a 4, 2 y 1 bit.
  • Podar el 50%, 80% y 90% de los pesos por magnitud y medir la precisión.
  • Probar un despliegue en microcontrolador: el ejemplo hello_world o micro_speech de LiteRT Micro, o un modelo con Edge Impulse en ESP32 o STM32.

Lista de comprobación de la fase 1

  • Puedo explicar backpropagation y descenso por gradiente sin mirar notas.
  • Entreno un MLP y una CNN en PyTorch y sé detectar sobreajuste.
  • Sé la diferencia entre PTQ y QAT y por qué QAT es necesaria por debajo de 4 bits.
  • Sé estimar parámetros, MAC y memoria de un modelo.
  • Desplegué al menos un modelo en un microcontrolador.