Bessere Sprachkommunikation durch physikalisch inspirierte Künstliche Intelligenz

Ob in hybriden Meetings, in Fahrzeugen, an öffentlichen Orten oder bei der Nutzung mobiler Assistenzsysteme: Eine klare und zuverlässige Sprachkommunikation ist heute unverzichtbar. Hintergrundgeräusche, Raumhall, akustische Echos und wechselnde Umgebungsbedingungen beeinträchtigen jedoch häufig die Verständlichkeit und Natürlichkeit des übertragenen Sprachsignals.

Das Forschungsprojekt PINNSPECS (06/2026-05/2029) entwickelt innovative Lösungen, mit denen Sprachkommunikationssysteme auch unter schwierigen Bedingungen deutlich leistungsfähiger werden sollen. Im Mittelpunkt stehen sogenannte physikalisch inspirierte neuronale Netze. Sie verbinden das Wissen über akustische und elektroakustische Vorgänge mit den Möglichkeiten des maschinellen Lernens.

Das Projekt wird in Kooperation zwischen dem mittelständischen Unternehmen voice INTER connect GmbH und den Forschungsgruppen des Insituts für Kommunikationsakustik an der Ruhr Universität Bochum und der Abteilung Sprachtechnologie und Hörgeräte an der Carl von Ossietzky Universität Oldenburg durchgeführt. Durch die Verbindung von wissenschaftlicher Expertise und industrieller Anwendungskompetenz sollen neue Erkenntnisse schneller in zukunftsfähige Technologien überführt werden.

Klassische Verfahren der Audiosignalverarbeitung arbeiten besonders effizient und zuverlässig, stoßen bei komplexen, nichtlinearen oder schnell wechselnden Störungen jedoch an ihre Grenzen. Rein datenbasierte KI-Modelle können solche Situationen teilweise besser erfassen, benötigen häufig aber große Datenmengen, eine hohe Rechenleistung und viel Energie.

Das Projekt verfolgt deshalb einen neuen Ansatz: Physikalische Modelle der Raumakustik, von Lautsprechern, Mikrofonen und Geräuschquellen werden gezielt in lernfähige neuronale Strukturen übersetzt. So sollen kompakte und erklärbare Algorithmen entstehen, die sich an unterschiedliche Einsatzbedingungen anpassen und gleichzeitig ressourcenschonend arbeiten können.

Ein besonderer Schwerpunkt liegt auf zwei zentralen Herausforderungen moderner Sprachkommunikation:

Akustische Echokompensation:
Bei Freisprechsystemen können Lautsprechersignale erneut vom Mikrofon aufgenommen und an die Gesprächspartner zurückübertragen werden. Das Projekt erforscht neue Verfahren, die auch komplexe und nichtlineare Echos zuverlässig reduzieren sollen.

Reduktion wechselnder Umgebungsgeräusche:
Verkehr, Gespräche im Hintergrund, Maschinen oder andere unregelmäßige Geräusche erschweren die Sprachverständlichkeit. Die entwickelten Algorithmen sollen solche Störungen gezielter erkennen und verringern, ohne die Sprache unnatürlich klingen zu lassen.

Die Forschung ist insbesondere auf Anwendungen mit begrenzter Rechen- und Speicherkapazität ausgerichtet. Dazu gehören unter anderem:

• Hearables und intelligente Kopfhörer,
• Wearables und mobile Kommunikationsgeräte,
• Freisprechsysteme in Fahrzeugen,
• technische Assistenzsysteme,
• eingebettete Audio- und Kommunikationsplattformen.

Die Verarbeitung soll möglichst direkt auf dem jeweiligen Gerät erfolgen. Dadurch können der Energiebedarf und die benötigte Übertragungsbandbreite reduziert werden. Gleichzeitig bietet die lokale Signalverarbeitung Vorteile für den Schutz sensibler Sprachdaten, da Audiosignale nicht zwingend über eine Cloud verarbeitet werden müssen.

Im Projekt werden neue physikalisch motivierte neuronale Strukturen zur Modellierung von Raumakustik, elektroakustischen Wandlern und Geräuschquellen entwickelt. Darüber hinaus untersuchen die Projektpartner verbesserte Trainingsverfahren und die Frage, wie vortrainierte Modelle sinnvoll mit Algorithmen kombiniert werden können, die sich während des Einsatzes selbstständig an veränderte Bedingungen anpassen.

Weitere Schwerpunkte sind die Optimierung des Energieverbrauchs, die Entwicklung eines gemeinsamen Software- und Daten-Frameworks sowie die praktische Evaluation der Forschungsergebnisse. Abschließend sollen die entwickelten Verfahren demonstriert und mit dem aktuellen Stand der Technik verglichen werden.

Neben einer verbesserten Sprachqualität steht auch die Nachvollziehbarkeit der entwickelten Systeme im Fokus. Die Projektpartner wollen genauer verstehen, wie physikalische Modelle, neuronale Architekturen und Trainingsverfahren zusammenwirken.

Diese Erklärbarkeit ist eine wichtige Voraussetzung für zuverlässige, sichere und breit einsetzbare KI-Lösungen. Sie kann dazu beitragen, das Verhalten der Algorithmen auch in bisher unbekannten Situationen besser vorherzusagen und mögliche Fehlfunktionen frühzeitig zu erkennen und gegenzusteuern.