Arquitectura, optimización y diferencias frente a YOLO y DETR.

Este artículo analiza RF-DETR dentro del ecosistema actual de visión computacional (computer vision), específicamente en detección y segmentación de objetos. El objetivo es entender las diferencias estructurales frente a YOLO (You Only Look Once) y a modelos basados en DETR (Detection Transformer), y evaluar qué cambia en términos de arquitectura y optimización.

La comparación se organiza en tres niveles:

1. Diferencias en la arquitectura de cada modelo.
2. Implicancias en latencia y eficiencia.
3. Impacto en el ciclo de diseño y despliegue de modelos.

Estado actual

La detección de objetos en visión computacional (computer vision) ha evolucionado hacia tres lineas principales. Aunque todas buscan localizar y clasificar objetos en una imagen, difieren en cómo estructuran el problema. Para entender esas diferencias es útil definir tres conceptos:

1. Redundancia: Producir múltiples predicciones para un mismo objeto. Por ejemplo, un único auto puede aparecer marcado por varias cajas superpuestas.
2. Asignación: El mecanismo que empareja las predicciones del modelo con los objetos reales durante el entrenamiento.
3. Postprocesamiento: Pasos adicionales aplicados después de que la red genera sus salidas, como eliminar duplicados o ajustar resultados.

Con estos conceptos claros, podemos diferenciar las tres familias principales.

Modelos de predicción densa: la familia YOLO

Los modelos YOLO (You Only Look Once) generan muchas predicciones en paralelo sobre distintas regiones de la imagen. La redundancia es intencional: el modelo produce múltiples bounding boxes candidatas y luego filtra.

El filtrado se realiza mediante NMS (Non-Maximum Suppression), un algoritmo que elimina cajas superpuestas conservando la de mayor confianza según un umbral de solapamiento medido con Intersection over Union (IoU). NMS es un paso de post procesamiento externo al modelo.

Durante el entrenamiento, la asignación es local: cada celda o anchor se asocia a un objeto cercano según reglas geométricas.

En este enfoque:

• Se acepta redundancia.
• Se corrige mediante NMS.
• La asignación es local.

Modelos basados en DETR


DETR (Detection Transformer) reformula el problema como predicción de un conjunto (set prediction). En lugar de producir muchas predicciones y luego filtrarlas, intenta generar directamente un conjunto coherente de objetos.

La arquitectura utiliza un encoder-decoder Transformer. El decoder opera sobre un conjunto fijo de object queries aprendibles, donde cada query intenta representar un objeto.

Durante el entrenamiento se emplea Hungarian matching, un algoritmo de asignación bipartita que empareja predicciones y objetos reales de forma uno a uno. Esto obliga al modelo a producir una única predicción por objeto.

Como consecuencia, en principio no requiere NMS como componente central.

En este enfoque:

• Se evita la redundancia desde el diseño.
• No depende de NMS.
• La asignación es global y uno a uno.

Detectores open-vocabulary

Una tercera línea integra modelos vision-language. Estos incorporan un text encoder y combinan representaciones visuales y textuales mediante mecanismos de cross-attention.

La diferencia principal no es el manejo de duplicados, sino la ampliación del espacio semántico: permiten detectar categorías fuera de un conjunto cerrado.

Esto implica:

• Procesamiento adicional en inferencia.
• Mayor costo computacional.
• Dependencia del pre entrenamiento multimodal.

Diferencias entre arquitecturas

La diferencia principal entre las tres arquitecturas es cómo parametrizan el espacio de salida, es decir, la representación latente sobre la que se define el proceso de búsqueda de objetos.

Consideremos una imagen con tres objetos: un auto parcialmente tapado por otro objeto, un peatón pequeño al fondo y una bicicleta que se cruza visualmente con el auto. Es un caso típico: objetos de distinto tamaño, parcialmente visibles y con regiones que se superponen.

En una arquitectura tipo YOLO, distintas regiones de la imagen pueden activarse sobre el mismo objeto. El auto puede generar varias cajas candidatas porque varias celdas “ven” partes distintas del mismo objeto. El modelo no evita esa duplicación. Produce múltiples hipótesis y luego NMS decide cuál conservar según el solapamiento (IoU). La ambigüedad se resuelve después de predecir.

En DETR, la situación es distinta. El modelo dispone de un conjunto fijo de representaciones latentes (object queries). Cada una debe explicar, como máximo, un objeto. Durante entrenamiento, la asignación uno a uno obliga a que el auto sea representado por una única predicción. Si dos queries intentan representar el mismo objeto, una será penalizada. La ambigüedad se resuelve dentro del modelo, no en un paso externo.

RF-DETR mantiene la formulación de DETR como predicción de un conjunto con asignación uno a uno. La diferencia es que no entrena una única arquitectura fija.

Se entrena una superred con pesos compartidos que contiene múltiples subconfiguraciones. Después del entrenamiento, se puede seleccionar una configuración más pequeña o más grande sin reentrenar desde cero.

Conclusiones e implicaciones

El objetivo de este artículo no es comparar cuál modelo obtiene mejor resultado en un benchmark específico, sino entender cómo cada arquitectura define el problema y qué implica esa definición para nuestro sistema.

YOLO, DETR y RF-DETR son más que variaciones técnicas. Representan decisiones distintas sobre:

• Cómo se parametriza el espacio de salida.
• Dónde se controla la redundancia.
• En qué etapa se fijan las restricciones del sistema.

YOLO coloca parte de la coherencia en inferencia. DETR la internaliza en el aprendizaje. RF-DETR mantiene esa formulación, pero introduce flexibilidad en cómo se concreta la arquitectura entrenada.

El principal trade-off es estructura versus control.

Elegir un enfoque implica decidir:

• Si se prefiere una arquitectura fija y explícita.
• Si se prioriza coherencia estructural desde el entrenamiento.
• Si se necesita capacidad de adaptación posterior sin redefinir la lógica de predicción.

La elección debería basarse en lo que esperamos que el sistema haga y bajo qué restricciones debe operar.