Thema

Open Source LLM

3 Beiträge mit diesem Tag

Groq (Inferenz-Plattform)

Groq liefert LLM-Inferenz auf eigenen LPU-Chips – mit hunderten Token pro Sekunde. Modelle, Geschwindigkeit und Einsatzzwecke im Überblick.

Open Source LLMs lassen sich herunterladen, selbst betreiben und anpassen. Beispiele, Vorteile, Grenzen – und warum die Lizenz entscheidet.

Self-hosted AI heißt: Sprachmodelle laufen auf eigener Hardware. Voraussetzungen, Tools wie Ollama und vLLM, Vorteile und Grenzen im Überblick.