von Timothy Imort
Wir alle kennen das: Man tippt eine Frage in ein Chatfenster, kurz blinkt der Cursor, und ein paar Sekunden später kommt eine Antwort. Magie? Nicht wirklich. Irgendwo läuft dafür Hardware heiß, ein Modell rechnet, Tokens wandern durch eine Pipeline. Genau da schauen wir in diesem Vortrag hin.
Es geht um lokale Inferenz also KI-Modelle, die auf eigener Hardware laufen statt in der Cloud eines Anbieters. Ich erkläre, was beim Generieren einer Antwort eigentlich passiert, warum ein Modell mal flüssig läuft und mal zäh wie Kaugummi, und was Begriffe wie Quantisierung, Kontextfenster oder Parameter in der Praxis bedeuten. Ohne Mathe-Marathon, dafür mit Beispielen aus dem echten Betrieb.
Dazu nehme ich euch mit hinter die Kulissen unserer eigenen multimodalen Inference-Infrastruktur. In sechs Monaten sind dort über 700.000 API-Anfragen und knapp 8 Milliarden Tokens durchgelaufen. Ich erzähle, wie aus einem Testaufbau ein Produktivsystem wurde und was wir gelernt haben.
Aber keine Sorge: Ihr müsst kein Rechenzentrum besitzen, um etwas mitzunehmen. Ihr erfahrt, wann sich lokale Inferenz lohnt, wann die Cloud die klügere Wahl bleibt und wie der eigene Einstieg aussehen kann notfalls auf dem Laptop, der gerade herumliegt.
Der Vortrag richtet sich an alle, die sich für KI interessieren, egal ob Tech-Enthusiast oder Neuling. Ihr braucht keine Vorkenntnisse, nur ein bisschen Neugier.