Splitwise: Effiziente generative LLM-Inferenz durch Phasentrennung

Inhaltsverzeichnis

• 1. Einleitung
• 2. Hintergrund und Motivation
  • 2.1 LLM-Inferenzphasen
  • 2.2 Hardware-Einschränkungen
• 3. Splitwise-Design
  • 3.1 Architekturüberblick
  • 3.2 Phasenspezifisches Ressourcenmanagement
• 4. Technische Implementierung
  • 4.1 Mathematische Grundlagen
  • 4.2 Code-Implementierung
• 5. Experimentelle Ergebnisse
• 6. Analyse und Diskussion
• 7. Zukünftige Anwendungen
• 8. Referenzen

1. Einleitung

Generative große Sprachmodelle (LLMs) haben die natürliche Sprachverarbeitung revolutioniert, aber ihre Rechenanforderungen stellen erhebliche Herausforderungen für eine effiziente Inferenz dar. Der Splitwise-Ansatz adressiert diese Herausforderungen, indem er die unterschiedlichen Rechencharakteristiken der beiden Hauptphasen in der LLM-Inferenz erkennt und ausnutzt.

2. Hintergrund und Motivation

2.1 LLM-Inferenzphasen

Die LLM-Inferenz besteht aus zwei unterschiedlichen Phasen:

• Prompt-Berechnungsphase: Rechenintensive parallele Verarbeitung aller Eingabe-Tokens
• Token-Generierungsphase: Speicherintensive sequentielle Generierung von Ausgabe-Tokens

2.2 Hardware-Einschränkungen

Moderne GPUs zeigen ein unproportionales Skalierungsverhältnis zwischen Rechenleistung und Speicherfähigkeiten, was zu Ineffizienzen in der LLM-Inferenz führt.

3. Splitwise-Design

3.1 Architekturüberblick

Splitwise setzt die Prompt-Berechnung und Token-Generierung auf separaten Maschinen ein, die für die Anforderungen jeder Phase optimiert sind.

3.2 Phasenspezifisches Ressourcenmanagement

Hochleistungs-GPUs (H100) für die Prompt-Phase, kosteneffiziente GPUs für die Token-Generierungsphase.

4. Technische Implementierung

4.1 Mathematische Grundlagen

Der Attention-Mechanismus in Transformern kann dargestellt werden als:

$Attention(Q, K, V) = softmax(\\frac{QK^T}{\\sqrt{d_k}})V$

Wobei $Q$, $K$, $V$ jeweils Queries, Keys und Values repräsentieren und $d_k$ die Dimension der Keys ist.

4.2 Code-Implementierung

class SplitwiseScheduler:
    def schedule_request(self, request):
        if request.phase == "prompt":
            return self.assign_to_prompt_machine(request)
        else:
            return self.assign_to_token_machine(request)
    
    def transfer_state(self, prompt_output, token_machine):
        # Effizienter Zustandstransfer mit RDMA
        return token_machine.load_state(prompt_output)

5. Experimentelle Ergebnisse

Splitwise erreicht:

• 1,4-fach höheren Durchsatz bei 20 % geringeren Kosten
• 2,35-fach mehr Durchsatz bei gleichem Strom- und Kostenbudget
• Verbesserte Latenzkonsistenz und Ressourcennutzung

6. Analyse und Diskussion

Splitwise stellt einen bedeutenden Fortschritt in der LLM-Inferenzoptimierung dar, indem es die grundlegende Diskrepanz zwischen Rechenanforderungen und Hardware-Fähigkeiten adressiert. Der Ansatz zieht Inspiration aus Prinzipien verteilter Systeme, ähnlich denen, die in MapReduce und anderen Parallelverarbeitungs-Frameworks verwendet werden. Durch die Erkenntnis, dass die Token-Generierungsphase speichergebunden und nicht rechengebunden ist, ermöglicht Splitwise eine effizientere Ressourcenzuweisung, die mit den tatsächlichen Rechenanforderungen jeder Inferenzphase übereinstimmt.

Diese Arbeit baut auf etablierten Prinzipien der Computerarchitektur auf, insbesondere dem von Wulf und McKee 1995 identifizierten Memory-Wall-Problem, das die wachsende Diskrepanz zwischen Prozessorgeschwindigkeit und Speicherleistung hervorhob. Der Attention-Mechanismus der Transformer-Architektur, erstmals in Vaswani et al.s Artikel "Attention is All You Need" von 2017 eingeführt, erzeugt inhärent diese zwei unterschiedlichen Rechenphasen, aber frühere Optimierungsbemühungen konzentrierten sich hauptsächlich auf Modellkompression und Quantisierung anstatt auf architektonische Trennung.

Im Vergleich zur traditionellen monolithischen Bereitstellung zeigt Splitwise's Phasentrennungsansatz, wie spezialisierte Hardware effektiver genutzt werden kann, ähnlich wie Google's TPU-Pods für spezifische ML-Workloads optimiert sind. Die 1,4-fache Durchsatzverbesserung und 20 % Kostenreduktion sind besonders bedeutsam angesichts des massiven Umfangs moderner LLM-Bereitstellungen, wo selbst kleine prozentuale Verbesserungen zu erheblichen betrieblichen Einsparungen führen.

Die Methodik stimmt mit aktuellen Trends im heterogenen Rechnen überein, bei denen Systeme verschiedene Prozessortypen kombinieren, die für spezifische Aufgaben optimiert sind. Da LLMs weiter an Größe und Komplexität zunehmen, werden Ansätze wie Splitwise zunehmend wichtig für eine nachhaltige KI-Bereitstellung, die sowohl wirtschaftliche als auch ökologische Bedenken im Zusammenhang mit großskaliger Modellinferenz adressiert.

7. Zukünftige Anwendungen

Zukünftige Richtungen umfassen:

• Multimodale Modellinferenzoptimierung
• Edge-Computing-Bereitstellungen
• Echtzeit-adaptive Ressourcenzuweisung
• Integration mit neu entstehenden Hardware-Architekturen

8. Referenzen

1. Vaswani, A., et al. "Attention is All You Need." NeurIPS 2017.
2. Brown, T., et al. "Language Models are Few-Shot Learners." NeurIPS 2020.
3. Wulf, W. A., & McKee, S. A. "Hitting the memory wall: implications of the obvious." ACM SIGARCH Computer Architecture News, 1995.
4. NVIDIA Corporation. "NVIDIA H100 Tensor Core GPU Architecture." 2022.
5. Dean, J., & Ghemawat, S. "MapReduce: Simplified data processing on large clusters." OSDI 2004.