Pondhouse Data Blog

Vorschaubild des Artikels

LLM-Routing mit RouteLLM: Kosten sparen mit dem passenden Modell

RouteLLM schickt jeden Prompt an ein günstiges oder starkes LLM. So funktioniert es, so kalibrieren Sie den Schwellenwert und betreiben es als OpenAI-Server.

9 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Dokumente auslesen mit GPT-4o: PDF, Word und Excel per KI parsen

PDF-, Word- und Excel-Dateien mit GPT-4o auslesen: jede Seite als Bild rendern, den Text in Python extrahieren, für etwa 0,32 bis 0,62 Cent pro Seite.

9 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Open WebUI: Was es ist, Installation, Lizenz und Kosten

Open WebUI ist eine kostenlose, selbst gehostete Chat-Oberfläche wie ChatGPT. Wir haben v0.13.0 installiert und RAG, MCP, Websuche und die Lizenz geprüft.

14 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Datenbankabfragen in natürlicher Sprache: Text-to-SQL mit BigQuery

Ein Text-to-SQL-Agent für BigQuery in Python: GPT-4o schreibt das SQL, korrigiert Fehler selbst, und RAG wählt die passenden Spalten aus. Mit Code.

10 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Dokumentenextraktion mit LLMs: Daten aus PDFs per KI auslesen

Text und Tabellen aus komplexen PDFs mit einem Open-Source-Vision-LLM auslesen: Seiten als Bild rendern, MiniCPM-Llama3-V 2.5 prompten. Mit Python-Code.

8 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

LLM-Kosten senken: 11 bewährte Strategien für KI-Anwendungen

Elf Wege, LLM-Kosten zu senken: kürzere Prompts, semantisches Caching, Batch-APIs, Quantisierung, Distillation, RAG und Zusammenfassungen. Womit Sie anfangen.

15 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

LLM selbst hosten: vLLM mit Caddy sicher per HTTPS betreiben

Ein Open-Source-LLM mit dem OpenAI-kompatiblen Docker-Image von vLLM bereitstellen, mit Caddy als Reverse Proxy und automatischem HTTPS über Let's Encrypt.

7 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

RAG-Qualität messen mit Ragas: RAG-Pipelines richtig evaluieren

RAG-Pipelines mit Ragas evaluieren: Testset aus eigenen Dokumenten erzeugen, dann Faithfulness, Answer Relevancy, Context Recall und Precision messen.

8 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Artikel auf EnglischLLM Sampling with FastMCP: Using Client LLMs for Scalable AI Workflows in your MCP

How MCP sampling lets a FastMCP server hand its LLM calls to the client: ctx.sample on the server, a sampling handler on the client, with code.

4 Min. Lesezeit
Artikel lesen
Vorschaubild des Artikels

Artikel auf EnglischBuilding Powerful AI Agents with smolagents: A Minimalist Approach

smolagents is Hugging Face's minimal agent library: code agents that act in Python, sandboxed execution, support for any LLM and tips for better agents.

7 Min. Lesezeit
Artikel lesen