SAM 2 - El nuevo modelo de meta para segmentación de objetos

Meta AI presenta SAM 2, la nueva generación del Segment Anything Model (SAM), para segmentar objetos en imágenes y videos.

Un modelo unificado para la segmentación de objetos en tiempo real

El último lanzamiento de meta no solo amplía las capacidades del modelo original SAM, sino que también extiende su aplicabilidad al contenido dinámico de video gracias a su mejor rendimiento.

Algo interesante de SAM 2 es que fue lanzado bajo una licencia Apache 2.0 (cualquiera puede usarlo). Junto con el lanzamiento, Meta también compartió el conjunto de datos que usaron para construir SAM 2 (SA-V) bajo una licencia CC BY 4.0 y subieron una web donde se puede probar algunas de las características del modelo.

Entonces, ¿qué es lo interesante?

El modelo puede segmentar objetos en cualquier contenido visual, incluso para objetos y dominios visuales no vistos previamente, sin necesidad de adaptaciones personalizadas. Esta capacidad de generalización sin entrenamiento previo abre una vasta gama de aplicaciones potenciales en diversas industrias.

En el fondo, SAM 2 es un modelo que no necesita un nuevo entrenamiento con imágenes que no ha visto antes para poder segmentar objetos de un video. Esto permite que cualquiera pueda usar el modelo y no solo personas del mundo TI.

Definitivamente los tiempos de desarrollo de visión artificial se van a ver disminuidas enormemente.

SAM 2 en acción con un video real

Quisimos probar esta herramienta nosotros mismos. Abajo les mostramos un video libre de copyright que muestra una cámara navegando por una industria que sometimos a SAM 2 para segmentación y seguimiento de un objeto.

Utilizando la plataformade Meta pudimos trackear en un par de click en menos de 10 segundos un pallet con elementos sobre él.

Lo interesante es que hasta hace unos años esto era un desafío no menor para la visión por computadora:

• Tenemos un objeto que lo más probable es que SAM 2 no haya visto antes
• El objeto es tapado por otros elementos y fácilmente podríamos perder el tracking
• Incluso es capaz de seguir el objeto a pesar que durante el video estamos viendo distintas caras de este

Si eres una persona curiosa como nosotros, puedes jugar en la página de la herramienta SAM 2

Aplicaciones de SAM 2 a la industria

SAM 2 es un modelo potente y pensado para liderar en distintas áreas: edición de video, medicina, investigación marina o realidad mixta. Relacionado a lo que nos compete a nosotros, hay varias aplicaciones interesantes para la industria.

Seguridad e higiene en el trabajo

Una de las principales preocupaciones de los gerentes de operación es que no hayan accidentes. Con cámaras y modelos como SAM 2 se podrían desarrollar un par de soluciones interesantes:

• Alertar al haber transito de personas por zonas de operación de maquinaria o restringidas
• Notificar y registrar el no uso de EPP por parte de algún trabajador
• Detección de objetos en vías de escape
• Gestión e inventariado de elementos de seguridad y su estado

Gestión de bodega y stock de inventario

Conocer el stock y las materias primas con precisión puede ser la diferencia entre el éxito o fracaso de muchas empresas. SAM 2 permitirá a muchas empresas a implementar metodologías de gestión de inventario complejas solo con un par de cámaras.

• Saber dónde está cada ítem en una bodega
• Registrar cada vez que entra o sale algún producto, materia prima, herramienta o maquinaria de una bodega
• Informar cuando se libere algún espacio o informar cuando ya no quede ningún lugar libre
• Alertar para la reposición de stock de algún producto en góndolas o materias primas en bodegas

Control de calidad

El modelo SAM 2, al estar enfocado en la segmentación, nos permite encontrar elementos diferentes en grandes grupos de productos. En ese sentido, su efectividad se vería limitada para productos que no son uniformes y en lotes a pedido.

• Identificar elementos que no cumplen con el estándar deseado: frutas podridas, huevos rotos, maderas destrozadas, etc.
• Detectar partes defectuosas o dañadas

Mirando al futuro

Esto es solo un paso más en la carrera por el liderazgo de los modelos de inteligencia artificial. Los avances publicados por Meta IA son impresionantes y no me extrañaría que solo en un par de meses las funcionalidades y potencia de SAM 2 se ampliaran.

Los avances de los proximos años tendrán impactos nunca antes vistos en las diferentes industrias.