Angewandte Generative KI: RAG-Systeme für Unternehmen
Geplante Sessions
Mehr als nur Chatbots: Bewegen Sie sich weg von simplen LLM-Wrappern und entwickeln Sie robuste Generative AI-Anwendungen auf Unternehmensniveau unter Verwendung Ihrer privaten Firmendaten.
Meistern Sie die RAG-Architektur (Retrieval-Augmented Generation). Lernen Sie, wie man komplexe Dokumente verarbeitet, fortschrittliche Chunking-Strategien anwendet und semantische Suche mit Large Language Models verknüpft.
Frameworks & Tooling: Arbeiten Sie hands-on mit branchenüblichen Orchestrierungs-Frameworks wie LangChain und LlamaIndex, um komplexe KI-Pipelines zu erstellen.
Produktionsfokus: ~70% praxisorientierte Labs, die sich nicht nur auf den Aufbau von RAG konzentrieren, sondern auch auf dessen Evaluierung. Lernen Sie, Halluzinationen zu mindern, Precision zu messen (mit RAGAS) und Prompt Injections zu handhaben.
Für wen: Software Engineers, AI Developer und Data Scientists, die zuverlässige Generative AI-Lösungen liefern müssen.
Fähigkeiten, die Sie lernen werden
Curriculum
LLM-Grundlagen & API-Integration
- Verständnis von LLMs: Tokens, Context Windows, Temperature und Generierungslimits
- Interaktion mit LLM-APIs (OpenAI) und lokalen Modellen (Ollama / HuggingFace)
- Erweitertes Prompt Engineering: Few-shot Prompting, Chain-of-Thought (CoT) und Formatierungsanweisungen
- Lab: Aufbau eines strukturierten Datenextraktors mithilfe von Function Calling / JSON-Modus
Die RAG-Architektur & Datenaufnahme (Ingestion)
- Was ist Retrieval-Augmented Generation (RAG) und warum ist es notwendig?
- Document Loaders: Verarbeitung von PDFs, Confluence-Seiten und Markdown-Dateien
- Erweiterte Chunking-Strategien: Recursive Character Splitting, semantisches Chunking und Handhabung von Überlappungen (Overlapping)
- Lab: Aufbau einer automatisierten Datenaufnahme-Pipeline in einen Vector Store
Orchestrierungs-Frameworks: LangChain & LlamaIndex
- Einführung in LangChain: Chains, Prompts und Output Parsers
- LlamaIndex-Grundlagen: Nodes, Indices und Query Engines
- Verbindung von Retrievern mit LLMs: Stuffing, Map-Reduce und Refine-Dokumentenketten
- Lab: Aufbau eines konversationellen QA-Bots über ein technisches Dokumentations-Repository
Evaluierung und Produktion von RAG
- Das Problem der Halluzinationen und wie man sie mindert
- RAG-Evaluierung: Messung von Kontext-Precision, Recall und Relevanz der Antworten (mit RAGAS/TruLens)
- Query-Transformationen: Query Re-writing, Sub-Queries und Hybrid Search
- Lab: Implementierung einer Evaluierungs-Pipeline und Anpassung von Chunk-Größen zur Verbesserung der mAP (Mean Average Precision)
Optionale Module
Optional — Erweiterte Retrieval-Techniken
- Implementierung von Re-ranking (Cross-Encoders) zur Verbesserung der Top-K-Ergebnisse
- Parent-Document Retrieval und Small-to-Big Retrieval Patterns
- Self-RAG: Dem LLM beibringen, seinen eigenen abgerufenen Kontext zu kritisieren
Kursablauf
- Teil 1: 09:00–10:30
- Pause: 10:30–10:45
- Teil 2: 10:45–12:15
- Mittagspause: 12:15–13:15
- Teil 3: 13:15–15:15
- Pause: 15:15–15:30
- Teil 4: 15:30–17:30