Tools & Regulierung
Groq (Inferenz-Plattform)
Groq liefert LLM-Inferenz auf eigenen LPU-Chips – mit hunderten Token pro Sekunde. Modelle, Geschwindigkeit und Einsatzzwecke im Überblick.
3 Beiträge mit diesem Tag
Groq liefert LLM-Inferenz auf eigenen LPU-Chips – mit hunderten Token pro Sekunde. Modelle, Geschwindigkeit und Einsatzzwecke im Überblick.
Open Source LLMs lassen sich herunterladen, selbst betreiben und anpassen. Beispiele, Vorteile, Grenzen – und warum die Lizenz entscheidet.
Self-hosted AI heißt: Sprachmodelle laufen auf eigener Hardware. Voraussetzungen, Tools wie Ollama und vLLM, Vorteile und Grenzen im Überblick.