Las pruebas GroundUI Web y ScreenSpot son benchmarks (pruebas de evaluación) utilizados en el campo de la inteligencia artificial para medir la capacidad de los agentes en interactuar con interfaces gráficas de usuario (GUI), especialmente en entornos web.

GroundUI Web

• Es una prueba diseñada para evaluar cómo un agente de IA navega y opera en interfaces gráficas web reales o simuladas.
• El agente debe interpretar lo que ve en la pantalla (botones, menús, formularios) y decidir qué acción tomar (hacer clic, escribir, seleccionar una opción, etc.).
• Evalúa aspectos como: comprensión visual, planeación de acciones, ejecución precisa y resolución de tareas secuenciales.
• Se usa para medir el grado de autonomía y precisión del agente en contextos del mundo real.

ScreenSpot

• Esta prueba se centra más en la capacidad de identificar elementos específicos en una pantalla.
• Por ejemplo: encontrar un botón de “Enviar”, un ícono, un producto específico o un campo de entrada en una interfaz.
• Es útil para evaluar la visión artificial del modelo, especialmente en situaciones con diseño complejo o elementos visuales ambiguos.

¿Por qué son importantes?

Estas pruebas van más allá de responder texto o generar lenguaje. Evalúan si una IA puede ver la interfaz como lo haría un humano y actuar en consecuencia, algo clave para agentes como Nova Act, cuyo propósito es navegar y operar en la web como un asistente personal autónomo.