Deployment & Monitoring

Abdeckt den vollständigen Deployment-Prozess eines Chatbots (Umgebungen, Channels, Integrationen) und das anschliessende Monitoring via KPIs, Conversation Analytics und Continuous Improvement.

Relevanz: Wichtige KPIs (Containment Rate, Deflection Rate, CSAT, GCR, Fallback Rate, Intent Confidence) kennen und erklären; Unterschied zwischen operativen KPIs und UX-KPIs verstehen; Monitoring-Prozess beschreiben.

• Deployment-Strategien: Unterschiedliche Umgebungen (Development, Production); Bereitstellungsoptionen: Web Widget (JavaScript), direkte Channel-Integrationen (WhatsApp), 3rd-Party-Connectors (FlowBridge, Twilio); Backups für Rollbacks.
• Conversations API: Programmatische Schnittstelle zur Integration des Chatbots in eigene Anwendungen oder Channels; ermöglicht Custom-Implementierungen über die Standard-Kanäle hinaus.
• Monitoring – Operative KPIs: Containment Rate (% der Anfragen ohne menschliche Hilfe gelöst; Benchmark 50–70%) und Deflection Rate (% der vermiedenen Eskalationen; Kostenfokus).
• Monitoring – User Experience KPIs: CSAT (Customer Satisfaction Score; Post-Chat-Bewertung) und Goal Completion Rate / GCR (Hat der Bot das definierte Ziel erreicht?).
• Monitoring – Issue Detection: Fallback Rate (Wie oft antwortet der Bot «Ich verstehe nicht»; zeigt Lücken in Intents/Training) und Intent Confidence (Sicherheit der Intent-Klassifikation).
• Conversation Analytics (Voiceflow): KI-basierte Evaluation mit Standardmetriken (Customer Satisfaction, Deflection Rate, Resolution Rate); filterbar nach Umgebung und Zeitraum; jede Konversation wird aufgezeichnet für Transcript-Analyse und Drop-Off-Erkennung.
• Transcript-Analyse: Review von aufgezeichneten Konversationen; Identifikation von Drop-Offs (Abbruchpunkten), Verwirrungsmomenten und Formulierungsverbesserungen; wöchentliche Praxis empfohlen.
• Continuous Improvement: Iterativer Prozess basierend auf Monitoring-Daten; umfasst Re-Training von Intents, Anpassung von Flows, neue Trainings-Phrases und Architekturanpassungen.
• Custom Reporting via API: API-Calls ermöglichen das Tracking von Custom Events und Nutzerdaten in externen Datenbanken (z.B. Azure Cosmos DB); individuelle KPI-Reports generierbar.

• Containment RateProzentualer Anteil der Nutzeranfragen, die vollständig ohne Eingriff eines menschlichen Agenten durch den Chatbot gelöst werden; Benchmark: 50–70%.
• Deflection RateProzentualer Anteil der durch den Chatbot vermiedenen Eskalationen an menschliche Agenten; primär kostenorientierte Kennzahl.
• CSAT (Customer Satisfaction Score)Kundenzufriedenheitswert, der typischerweise nach einem Chat-Abschluss abgefragt wird.
• GCR (Goal Completion Rate)Misst, ob der Chatbot die definierten Gesprächsziele erfolgreich erreicht hat.
• Fallback RateHäufigkeit, mit der der Bot mit «Ich verstehe nicht» antwortet; Indikator für Lücken im Intent-Training.
• Intent ConfidenceWahrscheinlichkeitswert, den das NLU-Modell für den erkannten Intent ausgibt; niedrige Confidence deutet auf unklare oder nicht abgedeckte Äusserungen hin.
• Drop-OffAbbruchpunkt in einer Konversation, an dem der Nutzer das Gespräch beendet, ohne sein Ziel zu erreichen; wichtiger Indikator für Verbesserungsbedarf.
• RollbackRückkehr zu einer früheren, stabilen Version des Chatbots im Falle von Fehlern nach einem Deployment-Update; durch Backups ermöglicht.
• 3rd-Party ConnectorIntegrations-Middleware (z.B. FlowBridge, Twilio), die den Chatbot mit externen Channels oder Diensten verbindet. ---