Using electroencephalography signals to control acoustical processing

Abstract

Current hearing-assistive technology performs poorly in noisy multi-talker conditions. The goal of this thesis was to establish the feasibility of using EEG to guide acoustic processing in such conditions. To attain this goal, this research developed a model via the constructive research method, relying on literature review. Several approaches have revealed improvements in the performance of hearing-assistive devices under multi-talker conditions, namely beamforming spatial filtering, model-based sparse coding shrinkage, and onset enhancement of the speech signal. Prior research has shown that electroencephalography (EEG) signals contain information that concerns whether the person is actively listening, what the listener is listening to, and where the attended sound source is. This thesis constructed a model for using EEG information to control beamforming, model-based sparse coding shrinkage, and onset enhancement of the speech signal. The purpose of this model is to propose a framework for using EEG signals to control sound processing to select a single talker in a noisy environment containing multiple talkers speaking simultaneously. On a theoretical level, the model showed that EEG can control acoustical processing. An analysis of the model identified a requirement for real-time processing and that the model inherits the computationally intensive properties of acoustical processing, although the model itself is low complexity placing a relatively small load on computational resources. A research priority is to develop a prototype that controls hearing-assistive devices with EEG. This thesis concludes highlighting challenges for future research.

Tämänhetkinen kuulolaiteteknologia on suorituskyvyltään heikko meluisessa ympäristössä kuunneltaessa yksittäistä puhujaa useamman puhujan puhuessa samaan aikaan. Työn tavoite on todistaa aivosähkökäyrien käytön mahdollisuus akustisen prosessoinnin ohjaamisessa edellä mainitussa olosuhteissa. Tätä varten raportissa kehitettiin malli aivosähkökäyrien käyttämiseen akustisen prosessoinnin ohjaamisessa. Työssä luotu malli luotiin konstruktiivisen tutkimusmenetelmän mukaan, kirjallisuuskatsaukseen perustuen. Akustisen prosessoinnin metodeina käytettiin: keilanmuodostus tilasuodatusta, mallipohjaista häviöllistä pakkausta ja puheen äänteen alun vahvistusmetodia. Aiempi tutkimus osoittaa, että aivosähkökäyrät sisältävät tiedon siitä, kuunteleeko puhuja aktiivisesti, mitä kuuntelija kuuntelee ja missä suunnassa kuunneltu äänilähde on puhujaan nähden. Luotu malli käyttää tätä tietoa mahdollistamaan käytettyjen akustisen prosessoinnin metodeiden käytön meluisessa ympäristössä kuunneltaessa yksittäistä puhujaa useamman puhujan puhuessa samaa aikaa. Analyysin perusteella mallin havaittiin tarvitsevan tosiaikaista prosessointia ja perivän käytettyjen akustisen prosessoinnin metodeiden laskennallisen raskauden. Luotu malli osoittaa teoriatasolla, että aivosähkökäyrien käyttäminen akustisen prosessoinnin ohjaamisessa on mahdollista. Jotta aivosähkökäyriä voitaisiin hyödyntää kuulolaiteissa, on jatkotutkimus tarpeen. Tämän raportin lopussa esitellään esille tulleet mahdolliset tulevaisuuden tutkimus aiheet.