Ученые СПбГУ научили нейросеть распознавать речь жертв Холокоста
Лингвисты Санкт‑Петербургского государственного университета модифицировали нейросеть Wav2Vec 2.0, научив ее распознавать речь людей, рассказывающих о сильном эмоциональном потрясении, которое они пережили.
Нейросеть была обучена на интервью с жертвами Холокоста, записанными фондом мемориального комплекса истории Холокоста Яд ва‑Шем.
«Мы использовали предобученную на русском языке глубокую нейросеть Wav2Vec 2.0. Идея ее работы заключается в том, чтобы выучить сопоставление каждого звука устной речи человека с соответствующей буквой алфавита. Конкретно данная архитектура нейросети также использует так называемый механизм внимания, чтобы научиться обращать внимание на значимые для определения той или иной буквы по звуку признаки, что значительно повышает качество результата», — рассказал магистрант СПбГУ (кафедра математической лингвистики) Михаил Долгушин.
