Prosodic and temporal features for language modeling for dialog

If we can model the cognitive and communicative processes underlying speech, we should be able to better predict what a speaker will do. With this idea as inspiration, we examine a number of prosodic and timing features as potential sources of information on what words the speaker is likely to say next. In spontaneous dialog we find that word probabilities do vary with such features. Using perplexity as the metric, the most informative of these included recent speaking rate, volume, and pitch, and time until end of utterance. Using simple combinations of such features to augment trigram language models gave up to a 8.4% perplexity benefit on the Switchboard corpus, and up to a 1.0% relative reduction in word error rate (0.3% absolute) on the Verbmobil II corpus.

Metadaten
Verfasserangaben:	Nigel G. Ward, Alejandro Vega, Timo Baumann
DOI:	https://doi.org/10.1016/j.specom.2011.07.009
ISSN:	0167-6393
Titel des übergeordneten Werks (Englisch):	Speech communication
Verlag:	Elsevier
Verlagsort:	Amsterdam
Publikationstyp:	Wissenschaftlicher Artikel
Sprache:	Englisch
Jahr der Erstveröffentlichung:	2012
Erscheinungsjahr:	2012
Datum der Freischaltung:	26.03.2017
Freies Schlagwort / Tag:	Dialog dynamics; Dialog state; Interlocutor behavior; Perplexity; Prediction; Prosody; Speech recognition; Switchboard corpus; Verbmobil corpus; Word probabilities
Band:	54
Ausgabe:	2
Seitenanzahl:	14
Erste Seite:	161
Letzte Seite:	174
Fördernde Institution:	NSF [IIS-0415150, IIS-0914868]; US Army Research, Development and Engineering Command; USC Institute for Creative Technologies; DFG
Organisationseinheiten:	Humanwissenschaftliche Fakultät / Strukturbereich Kognitionswissenschaften / Department Linguistik
Peer Review:	Referiert
Name der Einrichtung zum Zeitpunkt der Publikation:	Humanwissenschaftliche Fakultät / Institut für Linguistik / Allgemeine Sprachwissenschaft