Dieser Vortrag beschäftigt sich mit der Frage, wie KI-Chatbots systematisch getestet werden können. Es wird ein speziell entwickeltes Testing-Framework vorgestellt, das eine umfassende Evaluation von Retrieval Augmented Generation (RAG) Systemen ermöglicht. Die Präsentation führt durch alle Schritte des Testprozesses: vom methodischen Zusammenstellen eines geeigneten Fragebogens über die Generierung und Dokumentation von Antworten bis hin zu den verschiedenen Metriken, die zur Analyse der RAG-Architektur eingesetzt werden. Dabei wird besonderes Augenmerk auf die Extraktion von Inhaltspunkten und die Berechnung von Bewertungsmetriken gelegt, die eine gezielte Optimierung des Systems ermöglichen.