• Management & Innovation
  • Fachbeiträge
• Contact & Service Center
  • Fachbeiträge
  • Job & Karriere
• Branchen & Praxis
  • Fachbeiträge
  • Best Practice & Case-Studies
  • Business Guide
• Markt & Produkte
  • Fachbeiträge
  • Marktübersichten

• Termine
• Partner
  • Call Center Verband
  • KVD
• Service
  • Newsletter
  • Glossar

Kundenkommunikation: parlamind performt besser als Google Dialogflow, Rasa und IBM Watson

Von: Redaktion Teletalk am 03.03.2021

KI „Made in Germany“ hat eine höhere Trefferquote als die globalen Big Player

Parlamind, Experte für Kundenkommunikation mittels KI, ist stolz auf das Erreichte: Im Test schneidet ihre KI beim korrekten Erkennen von Kundenanliegen besser ab als die KI, auf der Google Dialogflow ES, Rasa und IBM Watson Assistant basieren. In Zahlen ausgedrückt bedeutet das: Bei einer Accuracy von 0,88 wie bei parlamind können nur 12% der eingehenden Anfragen nicht beantwortet werden, bei IBM Watson sind es 16%, bei Rasa und Google Dialogflow 18% (1).

Dr. Tina Klüwer, geschäftsführende CTO und Gründerin von parlamind überträgt das Ergebnis in die Praxis: „Bei 100.000 Kundenanfragen, die ein Unternehmen via E-Mail oder Chat erreichen, kann unsere KI durchschnittlich ca. 5.000 mehr korrekt bearbeiten als die nächstbesten - Google Dialogflow und Rasa. Diese Anzahl lässt sich auch in Zeit ausdrücken - das ist wertvolle Arbeitszeit, die der Kundenservice spart und zu Gunsten von Anfragen nutzen kann, für die nach wie vor menschliches Verstehen und Einfühlungsvermögen gefordert sind.“

Statistisch präziser sind die Test-Ergebnisse nach F1-Score: Der F1-Score von parlamind ist mit 0,92 der höchste, gefolgt von Google Dialogflow und Rasa mit 0,87 sowie IBM Watson mit 0,78 (1). parlamind ist also nur 0,08 Punkte vom vollständigen Erkennen aller vorliegenden Kontaktgründe entfernt, Google hingegen 0,13 (2).

Testszenario: Wie gut versteht die Künstliche Intelligenz Kundenkommunikation?
Für den Vergleich wurden alle Systeme mit denselben Lernbeispielen und Testdaten trainiert. Ebenso wurden daraufhin dieselben Anfragen an die Systeme geschickt und die Ergebnisse verglichen. Über fünf Jahre Entwicklung und KI-Training zahlen sich schließlich aus: parlamind erreicht eine bessere Trefferquote als die drei weltweit agierenden Unternehmen IBM Watson, Rasa und Google Dialogflow.

„Im Test ging es darum, herauszufinden, wie gut alle Systeme im Test Anfragen von Kunden inhaltlich richtig verstehen und sie einem oder keinem von 10 definierten Kontaktgründen zuordnen“, erläutert Klüwer.

Bei den von parlamind im Test verwendeten Kontaktgründen handelt es sich um jene Anfragen, die der Experte für automatisierte Kundenkommunikation auf Basis seiner jahrelangen Erfahrung als die Top 10 der Anliegen im Kundenservice eruiert hat. Zur Herstellung der Vergleichbarkeit enthielten die getesteten Anfragen dabei immer nur einen oder keinen der 10 Kontaktgründe. parlamind wendet diese Test-Methode seit Jahren zur Verbesserung der eigenen KI an.

Getestete Kontaktgründe
Die folgenden Kontaktgründe wurden getestet:

• Rücksendeschein zusenden
• Bestellung stornieren
• Wie lauten die Bankdaten?
• Bestätigungsmail fehlt
• Wann erfolgt meine Lieferung?
• Rechnung zuschicken
• Rücksendefrist verlängern
• Rechnung fehlt
• Paket nicht erhalten
• Newsletter abbestellen/Keine Kontaktaufnahme

Open Source Modell zur Evaluation entwickelt
Zur Durchführung seiner Testreihe hat parlamind ein eigenes Evaluationsmodell UnifyEval entwickelt, das den Vergleich verschiedener NLP-Pipelines für maschinelles Lernen mit verschiedenen Backends erleichtert. Das leistungsstarke Tool kommt vor allem überall dort zum Einsatz, wo die tatsächliche Leistung einer KI für die Bearbeitung einer bestimmten Aufgabe - sei es eine Textklassifizierung oder eine Sprachmodellierung, schnell und zuverlässig evaluiert werden muss. Auf diese Weise sind Entwickler und Anbieter von KI in der Lage, mit der hohen Dynamik im Bereich Forschung und Entwicklung des Maschinellen Lernens sicher Schritt zu halten.

Die überzeugende Performance von parlamind gegenüber der Konkurrenz hat mehrere Gründe: Zum einen beherrscht parlamind die Sprache Deutsch nachweislich besser als der Wettbewerb und kann dabei auch weniger relevante Informationen wie zum Beispiel Höflichkeitsfloskeln im Zuge der Analyse filtern. Ein weiterer Grund liegt in der natürlichen Beschaffenheit von parlamind als Spezialist im Kundenservice: So verfügt die KI-Lösung bereits über eine Vielzahl häufiger Kontaktgründe in ihrer Wissensdatenbank, die kundenübergreifend zutreffen.

www.parlamind.com

« Zurück