Neuronales Netzwerk-IP für SoCs, die komplexe Sprache verarbeiten
Ressourcen reichen für die Fernerkennungserkennung aus, wenn der Benutzer Meter vom Mikrofon entfernt ist. Sprachgesteuerte digitale Heimassistenten und Automobilinfotainment sind vorgesehene Anwendungen.
Warum sollte die Sprache auf der lokalen Leiterplatte verarbeitet werden?
"Neuronale, netzwerkbasierte Spracherkennungsalgorithmen erledigen aufgrund von Bedenken hinsichtlich Latenz, Datenschutz und Netzwerkverfügbarkeit lokal mehr Aufgaben als in der Cloud", sagte Cadence.
Genanntes HiFi 5hat die doppelte Audioverarbeitungskapazität und das Vierfache der neuronalen Netzwerkverarbeitung (NN) des früheren HiFi 4 DSP.
"Unser Ziel ist es, einen großen Vokabeltreiber zur Verfügung zu stellen, der in der Lage ist, natürliche Sprache zu verarbeiten", sagte Gerad Andrews, Marketingdirektor von Cadence, gegenüber Electronics Weekly. „Wir haben neuronale Netze zur Spracherkennung von Open Source untersucht und HiFi 5 für diese Arten von Netzwerken entwickelt.
Zu den Verarbeitungselementen gehören:
- Architektur mit fünf sehr langen Befehlsworten (VLIW) -Slots, die zwei 128-Bit-Lasten pro Zyklus ausgeben kann
- DSP-Multiplizierer-Akkus:
Unterstützung für 8 32x32bit MAC / Zyklus oder 16 16x16bit MAC / Zyklus
Optional acht Gleitkomma-MACs mit einfacher Genauigkeit pro Zyklus - Neuronale Netzwerkvervielfacher:
32 16 × 8 MAC / Zyklus oder 16 × 4 MAC / Zyklus
Optional 16 Gleitkomma-MACs mit halber Genauigkeit pro Zyklus
Die DSP-MACs umfassen laut Andrews beispielsweise die Unterstützung der Sättigung, während die neuronalen Netzwerk-MACs für das Multiplizieren eines Vektorwerts mit einer Matrix optimiert sind. "In so vielen neuronalen Netzwerken verbringt man am Ende sehr viel Zeit damit, einen Vektor mit einer Matrix zu multiplizieren", fügte er hinzu und fügte hinzu: Die Wahl, wie viele MACs einzuschließen sind und welche Datentypen und Gewichtslängen zu unterstützen sind, war basierend auf der Arbeit mit HiFi 4-Kunden.
Fließkomma-Mathematik wurde für zwei Anwendungsfälle integriert - einfache Genauigkeit für das Vocal-Front-End zur Strahlformung und Echounterdrückung und halbe Genauigkeit für einige neuronale Netzwerke. "Floating-Punkte ermöglichen eine schnelle Markteinführung", sagte Andrews. "Wenn Sie beispielsweise in MatLab Fließkommazahlen entwickeln, ist das Konvertieren in Festkommazahlen sehr zeitaufwändig."
Der Multiplikator unterstützt 8-Bit-Gewichte, weil „der große Trend darin besteht, für Spracherkennung auf 8-Bit-Gewichte zu quantisieren, die nicht zu sehr an Genauigkeit abnehmen müssen. Sie sehen Papiere, in denen die Leute versuchen, auf 4 Bit zu gehen “, sagte Andrews. "Wir gehen davon aus, dass die meisten Algorithmen unseren 16x8-Bit-Multiplikator nutzen werden: 16 Bit für Daten vom Mikrofon und 8 Bit für die Gewichte."
Für andere Gewichtungsschemata stehen 4bit, 2bit und 1bit sowie 8bit zur Verfügung.
Ambiq Micro, Hersteller von Mikrocontrollern, die zur Energieeinsparung auf „Unterschwellen-Silizium“ -Prozessen aufbauen, war der erste HiFi-5-Kunde.
„Um die äußerst schwierige Herausforderung zu bewältigen, rechenintensive Geräte auf der Basis von neuronalen Netzen, die auf Fernfeldverarbeitung und Spracherkennung basieren, für energiesensitive Geräte zu verwenden, hat Ambiq Micro den ersten Silizium-Lizenznehmer des HiFi 5-DSP von Cadence ausgewählt“, so Ambiq vp vom Marketing Aaron Grassian. „Durch die Portierung des HiFi 5-DSP auf die leistungsoptimierte Sub-Threshold-Plattform von Ambiq Micro können Produktdesigner, ODMs und OEMs die Technologie der führenden Hersteller von Audiosoftware wie DSP Concepts und Sensory optimal nutzen Konversations-UIs für tragbare, mobile Produkte ohne Einbußen bei der Qualität oder Akkulaufzeit. “
Zur Unterstützung des geistigen Eigentums gibt es eine Bibliothek optimierter Bibliotheksfunktionen, die üblicherweise in der Verarbeitung neuronaler Netzwerke verwendet werden - insbesondere für die Sprachverarbeitung. Diese Funktionen zielen auf die Integration in gängige Machine Learning-Frameworks ab.
HiFi 5 ist auch kompatibel mit der Bibliothek der vorhandenen Audio- und Sprachcodecs sowie Audio-Verbesserungssoftwarepaketen, die für frühere Versionen der HiFi-Produktpalette des Unternehmens optimiert wurden.