Fase 1: ML para ingenieros (3 semanas)¶
Objetivo: entender cómo se entrena una red neuronal y cómo se comprime, con la intuición suficiente para razonar sobre su implementación en hardware.
Dónde: Mac M4 con PyTorch (backend MPS). Colab o Kaggle si algo tarda demasiado.
Recursos principales¶
| Recurso | Para qué | Enlace |
|---|---|---|
| Dive into Deep Learning (d2l.ai) | Libro gratis, interactivo, con código PyTorch en cada sección | d2l.ai |
| 3Blue1Brown, Neural networks | Intuición visual de backpropagation (4 videos cortos) | YouTube |
| MIT 6.5940 TinyML and Efficient Deep Learning Computing | El curso de referencia en compresión de modelos | Otoño 2024 · Otoño 2026 |
| Tutoriales oficiales de PyTorch | Sintaxis y patrones | pytorch.org/tutorials |
| Andrej Karpathy, Neural Networks: Zero to Hero | Construir backpropagation desde cero (opcional, excelente) | karpathy.ai |
Semana 1: fundamentos¶
Leer en d2l.ai, capítulos 2 a 5:
- Cap. 2, Preliminares: tensores, álgebra lineal, autograd. Lectura rápida.
- Cap. 3 y 4: regresión y clasificación lineal, softmax, entropía cruzada.
- Cap. 5: perceptrón multicapa, backpropagation, sobreajuste, regularización, dropout. El más importante.
Ver:
- Los 4 primeros videos de 3Blue1Brown (unos 60 minutos en total).
- MIT 6.5940, clases 1 y 2 (introducción y fundamentos de redes neuronales).
Hacer: Tarea T1: MNIST y cuantización.
Preguntas para comprobar que lo entendiste
- ¿Por qué hace falta una no linealidad entre capas? ¿Qué pasa si la quitas?
- ¿Qué diferencia hay entre la pérdida en entrenamiento y la precisión en validación, y qué te dice si divergen?
- En un MLP de 784 → 64 → 64 → 10, ¿cuántos parámetros hay? ¿Cuántos bytes en float32 y en int8?
Semana 2: CNN y entrenamiento práctico¶
Leer: d2l.ai cap. 6 (guía práctica de construcción de modelos), cap. 7 (CNN) y del cap. 8 las secciones de LeNet y ResNet. Las CNN son filtros FIR 2D aprendidos: el paralelismo con procesamiento de señales es directo.
Ver: de MIT 6.5940, la parte de fundamentos donde se explican métricas de eficiencia (parámetros, MAC, memoria de activaciones). Es la base para razonar sobre recursos en FPGA.
Hacer:
- Entrenar una CNN pequeña en CIFAR-10 hasta superar el 80% de precisión.
- Calcular a mano y con código el número de MAC y de parámetros por capa.
- Estimar la memoria de activaciones pico (lo que limita en un microcontrolador).
Semana 3: cuantización y poda¶
Leer:
- Jacob et al. (2018), "Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference". Es la base de int8 en LiteRT y CMSIS-NN.
- Lin et al. (2023), "Tiny Machine Learning: Progress and Futures", completo.
Ver: MIT 6.5940, las clases de poda y de cuantización (en el temario de 2024 aparecen al inicio del curso, tras la introducción).
Hacer:
- Implementar QAT con straight-through estimator en el MLP de la T1 y comparar contra PTQ a 4, 2 y 1 bit.
- Podar el 50%, 80% y 90% de los pesos por magnitud y medir la precisión.
- Probar un despliegue en microcontrolador: el ejemplo
hello_worldomicro_speechde LiteRT Micro, o un modelo con Edge Impulse en ESP32 o STM32.
Lista de comprobación de la fase 1¶
- Puedo explicar backpropagation y descenso por gradiente sin mirar notas.
- Entreno un MLP y una CNN en PyTorch y sé detectar sobreajuste.
- Sé la diferencia entre PTQ y QAT y por qué QAT es necesaria por debajo de 4 bits.
- Sé estimar parámetros, MAC y memoria de un modelo.
- Desplegué al menos un modelo en un microcontrolador.