Glosario¶
Términos ordenados por tema, con equivalentes en el mundo del hardware cuando ayudan.
Aprendizaje automático básico¶
Modelo / red neuronal : Función con muchos parámetros ajustables (pesos) que transforma una entrada (imagen, señal) en una salida (clase, valor). Un MLP es una cascada de capas "multiplicar por matriz, sumar sesgo, aplicar no linealidad".
Entrenamiento : Ajustar los pesos para minimizar una función de pérdida sobre datos etiquetados. Se hace con descenso por gradiente: se calcula cuánto cambia la pérdida con cada peso (gradiente, vía backpropagation) y se mueve cada peso un poco en la dirección que la reduce.
Inferencia : Usar el modelo ya entrenado para predecir. Es lo único que se ejecuta en el dispositivo TinyML.
Época, lote (batch), tasa de aprendizaje : Época: una pasada completa por los datos de entrenamiento. Lote: grupo de ejemplos procesados juntos en un paso. Tasa de aprendizaje: tamaño del paso en cada actualización.
Sobreajuste (overfitting) : El modelo memoriza los datos de entrenamiento y falla con datos nuevos. Se detecta comparando la precisión en entrenamiento contra un conjunto de validación separado.
Función de activación (ReLU) : No linealidad entre capas. ReLU es \(\max(0, x)\): en hardware, un comparador con cero.
Softmax y entropía cruzada : Softmax convierte las salidas en probabilidades. La entropía cruzada mide qué tan lejos están esas probabilidades de la etiqueta correcta. Es la pérdida estándar de clasificación.
CNN (red convolucional) : Red que aplica el mismo filtro pequeño en toda la imagen o señal. Es un filtro FIR 2D cuyos coeficientes se aprenden.
Compresión de modelos¶
Cuantización : Representar pesos y activaciones con menos bits (de float32 a int8, 4, 2 o 1 bit). Equivale a pasar de punto flotante a punto fijo. La cuantización uniforme usa \(x_q = \mathrm{round}(x/s) + z\), con escala \(s\) y punto cero \(z\).
PTQ (cuantización post-entrenamiento) : Cuantizar un modelo ya entrenado. Rápido; funciona bien en 8 bits y suele degradarse por debajo de 4.
QAT (entrenamiento consciente de la cuantización) : Simular la cuantización durante el entrenamiento para que los pesos se adapten. Imprescindible para 1 a 4 bits. Usa el truco del straight-through estimator (STE) para pasar gradientes a través del redondeo.
Red binaria / ternaria (BNN, TNN) : Pesos (y a veces activaciones) en {−1, +1} o {−1, 0, +1}. La multiplicación se convierte en XNOR y la suma en popcount: ideal para FPGA.
Poda (pruning) : Eliminar pesos o neuronas poco importantes. Puede ser no estructurada (pesos sueltos) o estructurada (canales o neuronas completas, más fácil de aprovechar en hardware).
Destilación de conocimiento : Entrenar un modelo pequeño ("alumno") para imitar a uno grande ("maestro").
NAS (búsqueda de arquitectura neuronal) : Buscar automáticamente la forma de la red que cumple restricciones (memoria, latencia). MCUNet lo usa para microcontroladores.
Hardware y despliegue¶
LUT (tabla de búsqueda) : Bloque básico de una FPGA que implementa cualquier función booleana de \(k\) entradas (típicamente \(k = 6\) en la serie 7 de AMD).
Fan-in : Número de entradas de una neurona. En las redes basadas en LUT, el costo crece exponencialmente con fan-in × bits.
Arquitectura dataflow : Cada capa de la red es un bloque hardware propio y los datos fluyen en tubería entre ellos. Es lo que genera FINN. Alternativa: un acelerador genérico (overlay) que ejecuta capas una tras otra, como el DPU de Vitis AI.
HLS (síntesis de alto nivel) : Generar RTL desde C/C++. hls4ml y FINN la usan internamente.
ONNX / QONNX : Formato estándar de intercambio de modelos. QONNX lo extiende con cuantización de precisión arbitraria; es el puente entre Brevitas, FINN y hls4ml.
Arena de tensores (tensor arena) : Bloque de RAM estático que LiteRT Micro reserva para las activaciones. Su tamaño suele ser el límite real en un MCU.
Latencia, rendimiento (throughput), II : Latencia: tiempo de una inferencia. Rendimiento: inferencias por segundo. II (intervalo de iniciación): ciclos entre dos entradas consecutivas en un diseño en tubería.
Benchmarks y datos¶
MLPerf Tiny : Benchmark estándar de TinyML con cuatro tareas: detección de palabras clave, visual wake words, clasificación de imágenes (CIFAR-10) y detección de anomalías. Artículo.
Jet tagging (hls4ml LHC jets) : Clasificar chorros de partículas en 5 clases a partir de 16 rasgos. Es el benchmark principal de LogicNets, PolyLUT y NeuraLUT, porque en física de partículas se necesita latencia de nanosegundos.
UNSW-NB15 : Conjunto de datos de detección de intrusiones en red, usado también por LogicNets y PolyLUT.
Conjuntos aproximados (puente con trabajo previo)¶
Reducto : Subconjunto mínimo de atributos que preserva la capacidad de discernir entre clases del conjunto completo.
Testor típico (irreducible) : Concepto equivalente en la escuela lógico-combinatoria: subconjunto de rasgos que distingue objetos de clases distintas y del que no se puede quitar ningún rasgo.
Matriz básica / de discernibilidad : Representación booleana de qué atributos distinguen cada par de objetos de clases distintas. Los reductos son los conjuntos mínimos que cubren todas sus filas: un problema de cobertura (hitting set).