Splitwise: Inferência Eficiente de LLMs Generativos Usando Divisão de Fases

Índice

• 1. Introdução
• 2. Contexto e Motivação
  • 2.1 Fases da Inferência de LLM
  • 2.2 Limitações de Hardware
• 3. Design do Splitwise
  • 3.1 Visão Geral da Arquitetura
  • 3.2 Gestão de Recursos Específica por Fase
• 4. Implementação Técnica
  • 4.1 Fundamentação Matemática
  • 4.2 Implementação de Código
• 5. Resultados Experimentais
• 6. Análise e Discussão
• 7. Aplicações Futuras
• 8. Referências

1. Introdução

Os grandes modelos de linguagem generativos revolucionaram o processamento de linguagem natural, mas as suas exigências computacionais representam desafios significativos para uma inferência eficiente. A abordagem Splitwise aborda estes desafios ao reconhecer e explorar as características computacionais distintas das duas fases principais na inferência de LLM.

2. Contexto e Motivação

2.1 Fases da Inferência de LLM

A inferência de LLM consiste em duas fases distintas:

• Fase de Computação do Prompt: Processamento paralelo computacionalmente intensivo de todos os tokens de entrada
• Fase de Geração de Tokens: Geração sequencial, intensiva em memória, dos tokens de saída

2.2 Limitações de Hardware

As GPUs modernas mostram uma escalada desproporcional entre o poder computacional e as capacidades de memória, criando ineficiências na inferência de LLM.

3. Design do Splitwise

3.1 Visão Geral da Arquitetura

O Splitwise implementa a computação do prompt e a geração de tokens em máquinas separadas, otimizadas para os requisitos de cada fase.

3.2 Gestão de Recursos Específica por Fase

GPUs de alta capacidade computacional (H100) para a fase do prompt, GPUs de custo-benefício para a fase de geração de tokens.

4. Implementação Técnica

4.1 Fundamentação Matemática

O mecanismo de atenção nos transformers pode ser representado como:

$Attention(Q, K, V) = softmax(\\frac{QK^T}{\\sqrt{d_k}})V$

Onde $Q$, $K$, $V$ representam, respetivamente, as consultas, chaves e valores, e $d_k$ é a dimensão das chaves.

4.2 Implementação de Código

class SplitwiseScheduler:
    def schedule_request(self, request):
        if request.phase == "prompt":
            return self.assign_to_prompt_machine(request)
        else:
            return self.assign_to_token_machine(request)
    
    def transfer_state(self, prompt_output, token_machine):
        # Transferência eficiente de estado usando RDMA
        return token_machine.load_state(prompt_output)

5. Resultados Experimentais

O Splitwise alcança:

• 1,4× maior throughput com custo 20% inferior
• 2,35× mais throughput sob os mesmos orçamentos de energia e custo
• Melhoria na consistência da latência e na utilização de recursos

6. Análise e Discussão

O Splitwise representa um avanço significativo na otimização da inferência de LLM, ao abordar o desajuste fundamental entre os requisitos computacionais e as capacidades de hardware. A abordagem inspira-se nos princípios dos sistemas distribuídos, semelhantes aos utilizados no MapReduce e noutros frameworks de processamento paralelo. Ao reconhecer que a fase de geração de tokens é limitada pela memória e não pela computação, o Splitwise permite uma alocação de recursos mais eficiente, alinhada com as exigências computacionais reais de cada fase de inferência.

Este trabalho baseia-se em princípios estabelecidos na arquitetura de computadores, particularmente no problema da "parede de memória" identificado por Wulf e McKee em 1995, que destacou a disparidade crescente entre a velocidade do processador e o desempenho da memória. O mecanismo de atenção da arquitetura transformer, introduzido pela primeira vez no artigo de Vaswani et al. de 2017 "Attention is All You Need", cria inerentemente estas duas fases computacionais distintas, mas os esforços de otimização anteriores focaram-se principalmente na compressão e quantização do modelo, em vez da separação arquitetural.

Comparado com a implantação monolítica tradicional, a abordagem de separação de fases do Splitwise demonstra como o hardware especializado pode ser utilizado de forma mais eficaz, semelhante à forma como os TPU pods da Google são otimizados para cargas de trabalho específicas de ML. A melhoria de 1,4× no throughput e a redução de 20% nos custos são particularmente significativas, dada a escala massiva das implementações modernas de LLM, onde mesmo pequenas melhorias percentuais se traduzem em poupanças operacionais substanciais.

A metodologia está alinhada com as tendências recentes na computação heterogénea, onde os sistemas combinam diferentes tipos de processadores otimizados para tarefas específicas. À medida que os LLMs continuam a crescer em tamanho e complexidade, abordagens como o Splitwise tornar-se-ão cada vez mais importantes para uma implantação sustentável de IA, abordando tanto as preocupações económicas como ambientais associadas à inferência de modelos em larga escala.

7. Aplicações Futuras

Direções futuras incluem:

• Otimização da inferência de modelos multi-modais
• Implantações em computação de borda
• Alocação de recursos adaptativa em tempo real
• Integração com arquiteturas de hardware emergentes

8. Referências

1. Vaswani, A., et al. "Attention is All You Need." NeurIPS 2017.
2. Brown, T., et al. "Language Models are Few-Shot Learners." NeurIPS 2020.
3. Wulf, W. A., & McKee, S. A. "Hitting the memory wall: implications of the obvious." ACM SIGARCH Computer Architecture News, 1995.
4. NVIDIA Corporation. "NVIDIA H100 Tensor Core GPU Architecture." 2022.
5. Dean, J., & Ghemawat, S. "MapReduce: Simplified data processing on large clusters." OSDI 2004.