Antes de comprar mais GPUs, descubra porque os atuais estão esperando

Uma máquina cara pode ser ocupada e improdutiva

A utilização de GPU é um sinal útil, mas não é o objetivo de um serviço AI. Uma máquina pode estar muito ocupada com novas tentativas ou trabalhos que não atendem aos requisitos de qualidade da aplicação. Ele também pode parecer pouco usado porque as solicitações chegam de forma irregular ou outra parte do sistema as está atrasando.

Nossa posição é que a primeira questão de capacidade deveria ser quanto trabalho aceitável o serviço realiza. Só então a equipa deverá perguntar quais limites esse resultado e se outro GPU irá melhorá-lo.

Acompanhar a solicitação pelo sistema

Meça o tempo gasto no recebimento de dados, preparação de entradas, espera em filas, execução de inferência e conclusão de etapas posteriores. Separe as solicitações comuns daquelas extraordinariamente exigentes. Registre falhas e latência final em vez de confiar apenas nas médias.

Se o armazenamento ou um serviço CPU for o gargalo, aceleradores adicionais poderão aumentar a capacidade ociosa. Se a memória limitar a simultaneidade, uma alteração de agendamento ou uma configuração de memória diferente poderá ser mais relevante do que a computação nominal adicional.

NVIDIA O suporte do Dynamo para roteamento sensível ao contexto e inferência distribuída ilustra como o software pode mudar a maneira como o hardware é usado. Isso não garante uma melhoria para todos os aplicativos, mas fornece um motivo para examinar a arquitetura de serviço antes de assumir que a única solução são mais dispositivos. NVIDIA Dynamo: arquitetura de inferência distribuída ↗

A utilização deve deixar espaço para o serviço

Há um limite para esse argumento. Um sistema voltado para o cliente pode precisar de capacidade extra para interrupções, falhas ou manutenção. Conduzir cada acelerador para uma saturação constante pode prejudicar os tempos de resposta e a resiliência.

A meta deve, portanto, seguir o requisito do serviço. Muitas vezes, uma fila de lote off-line pode tolerar agendamentos diferentes de um produto interativo. Nenhum dos dois deve ser julgado em relação a uma percentagem de utilização universal.

Da mesma forma, a otimização tem um custo. Gastar meses de esforço de engenharia para evitar uma adição de hardware acessível pode ser uma má decisão de negócios. A comparação deve incluir o tempo da equipa e o valor de entregar o produto mais cedo.

Compre a restrição que você identificou

Após a medição, a resposta pode de fato ser mais GPUs. Esse é um caso de compra mais forte quando a equipa consegue explicar a carga que a nova capacidade suportará e as condições sob as quais ela será necessária.

Mantenha uma previsão simples com demanda normal, pico de demanda e cenário de crescimento. Revisite-o após alterações de software e modelo, pois essas alterações podem alterar o perfil do recurso.

Apoiamos a compra de computação substancial quando a carga de trabalho assim o justifica. Também apoiamos a correção do pipeline de dados, ajustando a programação ou escolhendo primeiro um sistema de melhor tamanho. O objetivo comercial é um serviço que funcione de forma confiável a um custo aceitável, e não um rack que apenas pareça totalmente ocupado.