Fase 2: FINN en la ZedBoard (2 semanas)¶
Objetivo: recorrer el flujo completo de una red cuantizada hasta hardware: entrenamiento con Brevitas, exportación a QONNX, compilación con FINN, integración en Vivado y ejecución en la ZedBoard.
Dónde: entrenamiento en el Mac o en la PC; FINN y Vivado en la PC Ubuntu 22.04 con Vivado 2022.2.
Cómo funciona FINN¶
flowchart LR
A["PyTorch + Brevitas<br/>(QAT, pocos bits)"] --> B["Export QONNX"]
B --> C["FINN: transformaciones<br/>(streamlining)"]
C --> D["Capas → bloques HLS/RTL<br/>(MVAU, SWG, Thresholding)"]
D --> E["Plegado (folding):<br/>PE y SIMD por capa"]
E --> F["IP stitched / bitstream"]
FINN genera una arquitectura dataflow: cada capa es un bloque hardware propio. El plegado (folding) decide cuántas unidades de procesamiento (PE) y carriles SIMD tiene cada capa, y con eso cuántos recursos usa frente a qué tan rápido va. Es el mismo compromiso área-velocidad que ya conoces del diseño de aceleradores.
Lecturas¶
- Umuroglu et al. (2017), "FINN: A Framework for Fast, Scalable Binarized Neural Network Inference", FPGA'17. El artículo original, con redes binarias.
- Blott et al. (2018), "FINN-R: An End-to-End Deep-Learning Framework for Fast Exploration of Quantized Neural Networks", ACM TRETS 11(3). Extiende FINN a varios bits.
- Pappalardo et al., "QONNX: Representing Arbitrary-Precision Quantized Neural Networks".
- Borras et al. (2022), "Open-source FPGA-ML codesign for the MLPerf Tiny Benchmark". FINN y hls4ml en PYNQ-Z2, el mismo chip de la ZedBoard.
Materiales prácticos¶
- Documentación de FINN y guía de instalación de v0.10.1
- Repositorio de FINN: los cuadernos Jupyter en
notebooks/son el mejor tutorial. - finn-examples: redes ya entrenadas y bitstreams de referencia.
- Brevitas: cuantización en PyTorch.
Semana 4: instalación y primer cuaderno¶
- En la PC Ubuntu, instala Docker y sigue la guía de v0.10.1. FINN corre dentro de un contenedor que monta tu instalación de Vivado.
-
Clona FINN en la etiqueta
v0.10.1: -
Recorre los cuadernos de introducción (
notebooks/basics/) y el ejemplo de extremo a extremo de una red totalmente conectada (notebooks/end2end_example/).
Memoria
Con 16 GB de RAM, limita los trabajos de síntesis en paralelo si Vivado se queda sin memoria (variable NUM_DEFAULT_WORKERS del entorno de FINN).
Semana 5: tu red en la ZedBoard¶
- Entrena con Brevitas un MLP de 2 bits en MNIST (o en el jet tagging de la fase 3).
- Compílalo con FINN apuntando a la PYNQ-Z2 (mismo chip). Genera el IP stitched.
- En Vivado IP Integrator, crea un diseño para la ZedBoard con el Zynq PS, un DMA AXI y el IP de FINN. Es tu terreno: lo mismo que el receptor digital del radar.
- Mide recursos (LUT, FF, BRAM, DSP), frecuencia y latencia. Compáralos con los del artículo de Borras et al.
Lista de comprobación de la fase 2¶
- FINN v0.10.1 instalado y los cuadernos básicos ejecutados.
- Entiendo qué hacen el streamlining, el MVAU y el plegado.
- Una red propia entrenada con Brevitas y compilada con FINN.
- Bitstream funcionando en la ZedBoard, con precisión igual a la del modelo en software.
- Tabla de recursos y latencia para dos configuraciones de plegado distintas.