Spracherkennung umfasst die Rechenfähigkeit von Maschinen und Software im Hinblick auf die Erkennung oder Erkennung menschlicher Sprache. Das Gebiet ist eines der faszinierendsten und ehrgeizigsten Gebiete für den Aufbau und die Geburt von Systemen der künstlichen Intelligenz, da es sich nicht nur um Geräusche und Wörter, sondern auch um Kontext und Bedeutung kümmert. Heute werden wir uns mit diesem faszinierenden Thema befassen und etwas über die Geschichte der Technologie zur Spracherkennung, die Mechanismen und Phasen des Prozesses sowie darüber erfahren, wo die Technologie eingesetzt wird und wie man ihre Qualität bewertet.
Wie hat sich die Technologie der Spracherkennung entwickelt?
Einige der Spracherkennungstechnologien stammen aus den 1950er und 60er Jahren. Die Spracherkennungssysteme dieser Zeit erkannten grundsätzlich Zahlen, wobei „Audrey“ von Bell Laboratories Ziffern und „Shoebox“ von IBM in den 60er Jahren 16 englische Wörter erkannte. In den 1970er Jahren waren große Fortschritte zu verzeichnen, maßgeblich beeinflusst durch das im US-Verteidigungsministerium durchgeführte Forschungsprogramm zum Sprachverständnis und ein von den Bell Laboratories entwickeltes System zur polyphonen Interpretation. Das Hidden-Markov-Modell kam in den 80er Jahren auf und schätzte die Wahrscheinlichkeit ab, dass es sich bei den unbekannten Lauten um Wörter handeln könnte. In den 90er Jahren hatten schnellere Prozessoren einen großen Teil des großen Booms ausgelöst und Dragon Dictate und das von BellSouth betriebene Sprachportal in den Vordergrund gerückt. Das Jahr 2010 war geprägt von Apples Siri und neuen Spracherkennungs-Apps, da Verbraucher die Sprachinteraktion angenommen und sich daran gewöhnt haben. Nun konkurrieren führende Technologieunternehmen, darunter Google, um die Perfektionierung der Genauigkeit ihrer Spracherkennung, für die Google mit 4,9 Prozent die geringste Fehlerquote angibt.
Worin besteht die Spracherkennung?
Zu den drei Hauptelementen der Spracherkennung gehören ein akustisches Modell, ein Sprachmodell und ein Decoder. Diese drei integrierten Teile sind miteinander verknüpft, um das Audiosignal so zu verarbeiten, dass die wahrscheinlichste Folge von Wörtern oder Sätzen, die dem gesprochenen Material entspricht, herauskommt. Schauen wir uns jede dieser Komponenten genauer an.
Akustische Modelle
Der nächste Teil eines akustischen Modells wird entwickelt, um die Abhängigkeit zwischen den Schallwellen und den entsprechenden sprachlichen Einheiten zu modellieren - mit anderen Worten, es modelliert die Beziehung zwischen Phonemen, Silben oder Wörtern. Statistische Methoden, die auf akustischen Modellen, versteckten Markov-Modellen oder neuronalen Netzen basieren, lernen Merkmale und deren Kombinationen, um aus großen Mengen von Trainingsdaten Sprachmuster zu bilden. Dabei werden auch Variationen in der Sprache aufgrund von Akzent, Geräuschen, Emotionen usw. in das Modell einbezogen.
Sprachmodelle
Das Sprachmodell sagt die wahrscheinlichste Folge von Wörtern oder Sätzen voraus, die dem Audiosignal entsprechen. Das Sprachmodell wird anhand eines umfangreichen Textes erstellt, der verschiedene Regeln und Strukturen eines Textes in einer bestimmten Sprache enthält. Das Sprachmodell verwendet probabilistische Methoden wie n-Gramme oder neuronale Netze, um die Regeln und die Struktur einer Sprache zu Text aus einer großen Menge von Textdaten zu lernen. Das natürliche Sprachmodell ist auch empfindlich gegenüber dem Kontext und der Bedeutung der Sprache, wie Grammatik, Syntax, Semantik und Pragmatik.
Dekoder
Die Aufgabe des Decoders besteht darin, die beste Kombination aus dem akustischen Modell und dem Sprachmodell zu finden, um eine Übereinstimmung zwischen dem Audiosignal und dem Text zu erzielen. Die Hauptaufgabe des Decoders besteht darin, mögliche Kandidaten für die automatische Transkription durch Algorithmen wie Viterbi oder Beam Search zu vergleichen.
Wie funktioniert das?
Der Hauptprozess der Spracherkennungsmethode ist die Umwandlung einer Audioaufnahme oder eines Sprachsignals in eine digitale Form mit Hilfe einer Transkriptionssoftware. Dies kann mit Hilfe eines Analog-Digital-Wandlers (ADC) geschehen, der ein analoges Signal in die erforderliche digitale Form umwandelt.
Extraktion von Sprachmerkmalen
Nach dem Schritt der Digitalisierung werden die Sprachsignale schließlich dem Prozess der Texterkennung zugeführt, der Merkmale der Sprache wie Frequenz, Dauer, Amplitude usw. als Input für die weitere Analyse und Erkennung enthält.
Modellierung von Sprache und Sprechen
Für die Sprachdiktat sind Sprach- und Sprachmodelle erforderlich. Das Sprachmodell versucht zu definieren, inwieweit eine bestimmte Abfolge von Wörtern in einer Sprache möglich ist, während das Sprachmodell versucht, die grundsätzlich mögliche Wahrscheinlichkeit des Auftretens von Lautfolgen in dieser Sprache zu definieren. Diese Modelle werden für den Abgleich und die Erkennung von Sprache verwendet.
Abgleich und Erkennung
Für den Abgleich und die Erkennung von Sprache ist ein Vergleich der Merkmale der Eingabesprache mit denen der Sprach- und Sprachmodelle erforderlich. Es werden HMM (Hidden Markov Models) verwendet, aber auch andere Algorithmen wie neuronale Netze usw. Die Merkmale der Sprache werden mit Hilfe der Algorithmen analysiert und verglichen, um ein am wahrscheinlichsten erkanntes Wort oder eine Phrase zu ermitteln.
Nachbearbeitung und Fehlerkorrektur
Nach dieser Phase ist das System in der Lage, eine Nachbearbeitung zur Fehlerkorrektur durchzuführen und die Erkennungsgenauigkeit zu erhöhen, indem es statistische Methoden, Kontextinformationen und andere verwendet, um den bereits erkannten Text zu verfeinern."
Welche Algorithmen und Methoden verwendet die Spracherkennung?
Von Hidden-Markov-Modellen (HMM) über rekurrenten neuronalen Netzen (RNN) und Convolutional Neural Networks (CNNs) bis hin zu Transformatoren bieten diese Techniken jeweils spezifische Ansätze zur Verarbeitung gesprochener Sprache. Jeder Ansatz hat seine eigenen Stärken und Herausforderungen, die es zu berücksichtigen gilt, um eine effektive Spracherkennungsleistung zu erreichen.
Das Hidden-Markov-Modell (HMM) gehört zu einer Familie statistischer Modelle, die davon ausgehen, dass die aus den Phonemen resultierende Folge akustischer Samples eine Zustandsabhängigkeit beibehält, die der Beobachtung verborgen bleibt. Im Wesentlichen berechnen HMMs die Wahrscheinlichkeiten, mit denen ein bestimmtes Phonem einem bestimmten Laut zugeordnet wird, die Übergangswahrscheinlichkeit von einem Zustand in den anderen und so weiter. HMMs erfordern große Mengen an Trainingsdaten und komplexe Berechnungen, sind aber sehr genau und robust gegenüber Rauschen.
Unter rekurrenten neuronalen Netzen (RNN) versteht man künstliche neuronale Netze, bei denen das Feedback die Kontext- und Zeitabhängigkeit von Daten berücksichtigt. RNN mit unterschiedlicher Länge kann Eingabesequenzen verarbeiten und Ausgabeergebnisse gleicher oder unterschiedlicher Länge erhalten. RNN hat eine weitreichende Anwendung im Bereich der Spracherkennung, Sprachsynthese und anderen Aufgaben der Verarbeitung natürlicher Sprache. RNN ist sehr flexibel und anpassungsfähig, leidet jedoch während des Trainings unter einem Problem, das als Gradientenfading oder Gradientenexplosion bezeichnet wird.
CNNs (Convolutional Neural Networks) sind eine Art künstliches neuronales Netzwerk, dessen Faltungsschicht zur Ableitung von Merkmalen aus lokalen Empfangsfeldern von Eingabedaten verwendet wird. CNNs sind eine spezielle Art von KNN, die für die Verarbeitung von Bildern, Video- und Audiosignalen entwickelt wurde. Sie sind sogar in der Lage, räumliche und zeitliche Korrelationen von Daten zu erfassen. CNNs wurden auch bei der Klassifizierung von Klangfragmenten wie Phonemen oder Wörtern und der Erzeugung von Audiosignalen aus einem bestimmten Textstück eingesetzt. CNNs sind sehr effizient und parallelisierbar, erfordern jedoch eine große Anzahl an Parametern und Ressourcen.
Transformatoren stellen eine neue Architektur in der Klasse der künstlichen neuronalen Netze dar und funktionieren auf der Grundlage des Aufmerksamkeits Mechanismus, wodurch sie es ermöglichen, jedes Element der Eingabe- und Ausgabesequenzen miteinander zu verknüpfen. Es besteht aus zwei Teilen: einem Encoder, der Eingabesequenzen aufnimmt und sie in eine versteckte Darstellung umwandelt, und einem Decoder, der bei gegebener versteckter Darstellung der Eingabesequenz und des Kontextes eine Eingabesequenz generiert. Transformatoren können nicht nur zur Spracherkennung und Sprachsynthese, sondern auch für eine Reihe anderer Aufgaben der Verarbeitung natürlicher Sprache verwendet werden. Alle Transformatormodelle erben die Eigenschaften schnell und hochwertig, diese sind jedoch recht anspruchsvoll und datenintensiv.
Metriken zur Bewertung der mündlichen Spracherkennung
Zur Bewertung der Qualität der Spracherkennung werden häufig zwei verwandte Messgrößen verwendet:
WER
WER (word error rate) gibt den Anteil der Wörter an, die das Modell tatsächlich erkannt hat, und WER gibt den Anteil der Wörter an, die es hätte erkennen können, dies aber nicht getan hat. Beide Indikatoren basieren auf der für die Referenz- und die Kandidatentranskription berechneten Levenshtein-Distanz, d. h. der Mindestanzahl von Wörtern, die ersetzt, gelöscht und eingefügt werden müssen, um eine Zeile in eine andere zu ändern.
CER
Die Gegenmetrik auf Zeichenebene ist die Zeichenfehlerrate oder CER (character error rate), für die die Anzahl der erkannten Zeichen - richtig und falsch erkannt - addiert werden muss.
RTF
Eine weitere Kennzahl, die die Erkennungsgeschwindigkeit angibt, ist der Echtzeitfaktor (RTF oder Real-Time Factor), der eine Schätzung darüber liefert, wie schnell die Spracherkennung abläuft; er ist definiert als die Anzahl der Male, die sie in normaler Echtzeit eine Sekunde des Audiosignals erkennen muss.
Neben WER und CER gibt es aber noch weitere Metriken, die unterschiedliche Gewichtungen pro Operation oder im Falle des Abstands zwischen Wörtern und Buchstaben unterschiedliche Gewichtungen berücksichtigen. Diese werden z. B. bei der Bewertung von maschinellen Übersetzungssystemen verwendet.
Wo werden Spracherkennungssysteme eingesetzt?
Sprachassistenten
Nun, wahrscheinlich ist eine der größten und bekanntesten Anwendungen der KI-Spracherkennung in Sprachassistenten wie Siri, Alexa und Google Assistant und anderen implementiert. Sie helfen dabei, unsere Geräte zu verwalten, Fragen zu beantworten, zu informieren, zu spielen und viele andere Dinge zu tun, und all dies geschieht per Sprachbefehl. Die Sprachassistenten nutzen KI, um die Sprache des Benutzers zu analysieren und zu verstehen und die richtige Antwort zu geben.
Sprachübersetzung
Spracherkennungssysteme sind bei der Arbeit von Maschinendolmetschern weit verbreitet. Diese Technologie ermöglicht es Ihnen, ein Gespräch in einer Fremdsprache in Echtzeit zu führen, ohne die Unterbrechung durch die manuelle Eingabe von Text zur Übersetzung. Dies kann sehr nützlich sein, wenn man auf Reisen ist oder Geschäftsgespräche mit ausländischen Partnern führt. Lingvanex ist sogar noch einen Schritt weiter gegangen und hat eine App entwickelt, die auf dieser Technologie basiert und Telefonanrufe übersetzt. Diese App übersetzt die Sprache Ihres Gesprächspartners und Sie die Ihres Gesprächspartners. Es ist erstaunlich, was die Technologie heutzutage alles kann.
Medizin und Strafverfolgung
Zu den wichtigsten Anwendungsbereichen der KI-Spracherkennung gehören die Transkription online von Sprache und die detaillierte Analyse von Sprachen in verschiedenen Bereichen wie Medizin, Strafverfolgung usw. In der Medizin kann die Spracherkennung Ärzten und Krankenschwestern helfen, medizinische Informationen über Patienten schnell und genau zu erfassen und über die Sprachaufnahme in Text umwandeln auf relevante Daten zuzugreifen. Im Bereich der Strafverfolgung hat die Spracherkennung weitreichende Auswirkungen auf die Untersuchung von Verbrechen, indem sie die aufgezeichneten Gespräche von Verdächtigen, Zeugen oder Opfern in Dokumente umwandelt. Außerdem können Richter diese Dokumente übersetzen und analysieren, um die Schlüsselwörter und -sätze im Zusammenhang mit den Verbrechen zu erkennen. Verbesserung der Arbeitsqualität und -effizienz durch den Einsatz von Spracherkennung in diesen Bereichen, wodurch Fehler und Auslassungen reduziert werden.
Hilfe für Menschen mit Behinderungen
Für Menschen mit Seh-, Hör-, Sprach- oder motorischen Beeinträchtigungen kann die Audio-zu-Text-Umwandlung ein nützliches Werkzeug für Kommunikation, Lernen, Arbeit und Entwicklung sein. Ein weiteres Hilfsmittel wie die Software Text Help Read and Write kann verwendet werden, um Legasthenikern das Lesen von Texten, das Anhören von Audiodateien und das laute Sprechen zu ermöglichen, neben anderen Funktionen. Die Spracherkennung ermöglicht eine gleichberechtigte Gesellschaft für Menschen mit Behinderungen.
Unternehmen
Schließlich wird die KI-Spracherkennung auch dazu beitragen, eine Vielzahl von Geschäftsabläufen in der Industrie zu automatisieren und weiter zu rationalisieren. So kann beispielsweise die Bearbeitung von Kundenbeschwerden und -anfragen durch den Einsatz von Spracherkennung das Serviceniveau des Unternehmens und die Erfahrung der Verbraucher verbessern. Sprachroboter sind in der Lage, die gängigsten Fragen zu beantworten, Bestellungen entgegenzunehmen, Informationen zu geben und Probleme zu lösen. Die Technologie könnte Unternehmen auch dabei helfen, ihre Produktivität und Effizienz zu steigern, indem sie beispielsweise sprachgesteuerte Lager, Logistik, Fertigung und andere Prozesse ermöglicht. In Anbetracht dessen kann die automatische Spracherkennung Unternehmen bei der Kostensenkung und Rentabilitätssteigerung helfen.
Beschränkungen
Einer der wichtigsten Faktoren, der die Qualität des Transkriptionsprogramm beeinflusst, ist die Erkennungsgenauigkeit. Die Erkennungsgenauigkeit wird verwendet, um die Funktionalität des Systems in Bezug auf die Interpretation des Gesprochenen zu beschreiben, so dass es ohne jegliche Form von Verzerrung oder Fehlern in Text übertragen wird. Die Erkennungsgenauigkeit kann geringer sein, wenn Geräusche und Akzente in der Sprache vorhanden sind, z. B. wenn ein Sprecher Geräusche oder einen Akzent hat. Geräusche sind alle Geräusche, die das Verstehen von Sprache behindern, z. B. Musik, Verkehr und Wind.
Vorhandensein von Geräuschen oder Akzenten in der Sprache
Ein Akzent ist die Art und Weise, in der Wörter gesprochen werden, meist aufgrund der Region, des Landes oder der Sprache. Geräusche und Akzente können unter bestimmten Bedingungen zu Schwierigkeiten bei der Erkennung von Sprache beitragen, da die Sprachsignale dazu neigen, die akustischen Signale zu verwischen und sich von den Standardmustern zu entfernen.
Der Bedarf an großen Datenmengen zum Trainieren von Modellen
Das Training von Modellen erfordert eine überwältigende Menge an Daten, und die Erkennungsgenauigkeit muss durch Algorithmen und Modelle von Transkriptionstools verbessert werden, wofür große Datenmengen mit Beispielen von Audiosignalen und entsprechendem Text erforderlich sind. Diese Daten werden als Trainingsdaten bezeichnet. Die Beschaffung großer Mengen von Trainingsdaten stellt jedoch eine weitere Schwierigkeit für Transkriptionstools dar. Die Trainingsdaten sollten dagegen repräsentativ für diversifizierte und qualitativ hochwertige Trainingsdaten sein, die ein breites Spektrum von Situationen abdecken, in denen ein Spracherkennungssystem eingesetzt werden kann. So benötigt zum Beispiel ein für den medizinischen Bereich entwickeltes Spracherkennungssystem Trainingsdaten in Form von Sprachproben von Ärzten und Patienten, die in allen möglichen Sprachen und Dialekten abgefasst sind und die entsprechende Terminologie enthalten. Das Sammeln und Verarbeiten solcher Daten erfordert viel Zeit, Ressourcen und Fachwissen.
Fragen des Datenschutzes und der Datensicherheit
Darüber hinaus kann der Umfang der Trainingsdaten einige Probleme im Zusammenhang mit der Datensicherheit und dem Datenschutz aufwerfen. Darüber hinaus können die Schulungsdaten weitere Herausforderungen in Bezug auf Datenschutz und -sicherheit mit sich bringen, wobei es beim Datenschutz um die Sicherheit von Daten vor dem Zugriff durch Unbefugte oder deren Verwendung, Offenlegung und Vernichtung geht. Die Trainingsdaten können persönliche oder sensible Informationen über die teilnehmenden Personen enthalten, wie Name, Adresse, Telefonnummer usw., medizinische Diagnosen usw. Es heißt, dass diese Informationen in missbräuchliche Hände wie Identitätsdiebstahl, Erpressung, Diskriminierung oder Verletzung der Menschenrechte fallen könnten. Das Datenschutzniveau muss daher in der Phase der Erhebung, Speicherung, Übermittlung und Verarbeitung ausreichend sicher sein.
Zum Schluß
Die Spracherkennung hat von den 1950er Jahren bis heute einen langen Weg zurückgelegt und wird heute in fast allen Bereichen unseres Lebens eingesetzt - von Sprachassistenten und Übersetzern bis hin zu Hilfsmitteln in der Medizin und der Strafverfolgung. Die Technologie nutzt Algorithmen wie HMMs, RNNs, CNNs und Transformatoren. Und um die Leistung eines Spracherkennungswerkzeugs zu bewerten, kann man auf Metriken wie WRR und CER zurückgreifen. Wir sollten jedoch nicht vergessen, dass es immer noch Faktoren gibt, die eine korrekte Erkennung verhindern - Akzente, Hintergrundgeräusche und prosodische Merkmale. Die Verbesserung von Deep-Learning-Algorithmen, die Entwicklung von Cloud-basierten Lösungen und die Integration mit anderen Technologien versprechen jedoch, diese Probleme in naher Zukunft zu lösen.
