Contexto longo transforma inferência em um problema de gerenciamento de memória

O mesmo modelo pode criar cargas diferentes

Uma pergunta curta e uma longa análise de documento podem usar o mesmo modelo, ao mesmo tempo em que impõem demandas muito diferentes ao sistema. Mais contexto deve ser processado e o serviço deve manter o estado de funcionamento enquanto gera uma resposta. Múltiplas solicitações simultâneas multiplicam essas demandas.

É por isso que uma demonstração com um prompt é uma base fraca para dimensionar um serviço de produção. O perfil de memória depende da combinação de solicitações e das configurações utilizadas, não apenas da contagem de parâmetros impressa no modelo da placa.

O pré-preenchimento e a decodificação fazem trabalhos diferentes

A inferência geralmente distingue o processamento da entrada, muitas vezes chamado de pré-preenchimento, da geração subsequente de tokens de saída, ou decodificação. Esses estágios podem se beneficiar de diferentes opções de agendamento e recursos. A arquitetura Dynamo de NVIDIA suporta explicitamente inferência desagregada, roteamento que considera o contexto armazenado em cache e gerenciamento de cache entre camadas de memória. NVIDIA Dynamo: arquitetura de inferência distribuída ↗

Isso é evidência de que a pilha de software está resolvendo o problema. Não se pretende que a separação dos estágios melhore cada implantação. A coordenação adicional e a movimentação de dados têm custos, e um serviço pequeno pode não precisar da complexidade de um design distribuído.

O contexto armazenado em cache é útil, mas não é gratuito

A reutilização do estado de cache adequado pode evitar trabalho repetido. Manter esse estado consome recursos, e movê-lo entre locais ou camadas de memória pode introduzir tráfego e latência. O benefício depende de as solicitações realmente reutilizarem contexto suficiente para justificar o acordo.

Um assistente de documentos que faz perguntas repetidas sobre o mesmo material pode se comportar de maneira diferente de um serviço que recebe solicitações não relacionadas. Um benchmark deve representar o padrão de reutilização esperado, em vez de assumir que cada solicitação é um acerto de cache.

Também deve incluir o que acontece quando o cache está frio, cheio ou indisponível. Essas condições são importantes durante reinicializações e picos de demanda, quando um serviço geralmente tem menos capacidade disponível.

Tamanho para distribuição da solicitação

Meça entradas típicas e exigentes, comprimentos de saída esperados e simultaneidade realista. Registre o pico de uso de memória, o tempo até a primeira saída e o desempenho de geração sustentado. Mantenha as configurações de qualidade de saída fixas ao comparar sistemas.

O resultado pode sugerir um acelerador com maior memória, uma estratégia de escalonamento diferente ou um limite de aplicação mais rígido no contexto. Também pode revelar que as alterações de software fornecem capacidade suficiente sem substituição de hardware.

A lição de compra é evitar tratar a memória como um cálculo estático do tamanho do modelo. Um serviço de inferência funcional tem uma população variável de solicitações. A compreensão dessa população fornece uma base muito mais forte para a escolha da memória GPU, dos recursos do host e do software usado para coordená-los.