Antes de comprar más GPUs, descubre por qué los actuales están esperando

Una máquina costosa puede estar ocupada y ser improductiva

La utilización de GPU es una señal útil, pero no es el objetivo de un servicio AI. Una máquina puede estar muy ocupada por reintentos o trabajos que no cumplen con los requisitos de calidad de la aplicación. También puede parecer poco utilizado porque las solicitudes llegan de manera desigual o porque otra parte del sistema las está retrasando.

Nuestra posición es que la primera pregunta sobre la capacidad debería ser cuánto trabajo aceptable completa el servicio. Sólo entonces el equipo debería preguntarse qué limita ese resultado y si otro GPU lo mejorará.

Seguimiento de la solicitud a través del sistema

Mida el tiempo dedicado a recibir datos, preparar entradas, esperar en colas, ejecutar inferencias y completar pasos posteriores. Separe las solicitudes ordinarias de las inusualmente exigentes. Registre fallas y latencia de cola en lugar de depender solo de promedios.

Si el almacenamiento o un servicio CPU es el cuello de botella, los aceleradores adicionales pueden aumentar la capacidad inactiva. Si la memoria limita la simultaneidad, un cambio de programación o una configuración de memoria diferente puede ser más relevante que un cálculo nominal adicional.

NVIDIA La compatibilidad de Dynamo con el enrutamiento contextual y la inferencia distribuida ilustra cómo el software puede cambiar la forma en que se utiliza el hardware. No garantiza una mejora para todas las aplicaciones, pero proporciona una razón para examinar la arquitectura de servicio antes de asumir que la única solución es tener más dispositivos. NVIDIA Dynamo: arquitectura de inferencia distribuida ↗

La utilización debe dejar espacio para el servicio.

Hay un límite para este argumento. Un sistema de cara al cliente puede necesitar capacidad adicional en caso de explosiones, fallas o mantenimiento. Llevar cada acelerador hacia una saturación constante puede dañar los tiempos de respuesta y la resiliencia.

Por lo tanto, el objetivo debe seguir el requisito del servicio. Una cola por lotes fuera de línea a menudo puede tolerar una programación diferente a la de un producto interactivo. Ninguno de los dos debería juzgarse en función de un porcentaje de utilización universal.

Asimismo, la optimización tiene un coste. Dedicar meses de esfuerzos de ingeniería para evitar una adición de hardware asequible puede ser una mala decisión empresarial. La comparación debe incluir el tiempo del personal y el valor de entregar el producto antes.

Compra la restricción que has identificado

Después de la medición, la respuesta puede ser más GPUs. Se trata de un caso de compra más sólido cuando el equipo puede explicar la carga que soportará la nueva capacidad y las condiciones en las que será necesaria.

Mantenga un pronóstico simple con demanda ordinaria, demanda máxima y un escenario de crecimiento. Vuelva a visitarlo después de los cambios de software y modelo, porque esos cambios pueden alterar el perfil del recurso.

Apoyamos la compra de computación sustancial cuando la carga de trabajo lo amerite. También apoyamos arreglar la canalización de datos, ajustar la programación o elegir primero un sistema de mejor tamaño. El objetivo comercial es un servicio que funcione de manera confiable a un costo aceptable, no un estante que simplemente parezca completamente ocupado.