Pondhouse Data Blog
LLM-Routing mit RouteLLM: Kosten sparen mit dem passenden Modell
RouteLLM schickt jeden Prompt an ein günstiges oder starkes LLM. So funktioniert es, so kalibrieren Sie den Schwellenwert und betreiben es als OpenAI-Server.
Dokumente auslesen mit GPT-4o: PDF, Word und Excel per KI parsen
PDF-, Word- und Excel-Dateien mit GPT-4o auslesen: jede Seite als Bild rendern, den Text in Python extrahieren, für etwa 0,32 bis 0,62 Cent pro Seite.
Open WebUI: Was es ist, Installation, Lizenz und Kosten
Open WebUI ist eine kostenlose, selbst gehostete Chat-Oberfläche wie ChatGPT. Wir haben v0.13.0 installiert und RAG, MCP, Websuche und die Lizenz geprüft.
Datenbankabfragen in natürlicher Sprache: Text-to-SQL mit BigQuery
Ein Text-to-SQL-Agent für BigQuery in Python: GPT-4o schreibt das SQL, korrigiert Fehler selbst, und RAG wählt die passenden Spalten aus. Mit Code.
Dokumentenextraktion mit LLMs: Daten aus PDFs per KI auslesen
Text und Tabellen aus komplexen PDFs mit einem Open-Source-Vision-LLM auslesen: Seiten als Bild rendern, MiniCPM-Llama3-V 2.5 prompten. Mit Python-Code.
LLM-Kosten senken: 11 bewährte Strategien für KI-Anwendungen
Elf Wege, LLM-Kosten zu senken: kürzere Prompts, semantisches Caching, Batch-APIs, Quantisierung, Distillation, RAG und Zusammenfassungen. Womit Sie anfangen.
LLM selbst hosten: vLLM mit Caddy sicher per HTTPS betreiben
Ein Open-Source-LLM mit dem OpenAI-kompatiblen Docker-Image von vLLM bereitstellen, mit Caddy als Reverse Proxy und automatischem HTTPS über Let's Encrypt.
RAG-Qualität messen mit Ragas: RAG-Pipelines richtig evaluieren
RAG-Pipelines mit Ragas evaluieren: Testset aus eigenen Dokumenten erzeugen, dann Faithfulness, Answer Relevancy, Context Recall und Precision messen.
Artikel auf EnglischLLM Sampling with FastMCP: Using Client LLMs for Scalable AI Workflows in your MCP
How MCP sampling lets a FastMCP server hand its LLM calls to the client: ctx.sample on the server, a sampling handler on the client, with code.
Artikel auf EnglischBuilding Powerful AI Agents with smolagents: A Minimalist Approach
smolagents is Hugging Face's minimal agent library: code agents that act in Python, sandboxed execution, support for any LLM and tips for better agents.









