РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ РЕКУРРЕНТНО-СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА
Опубликовано в выпуске:
4/2018 (22)
, 31.12.2018
Рубрика: Информационные технологии
В работе рассматриваются стандартные операции свертки и нелинейного вычисления карт признаков, в том числе, с использованием тензоров. На их основе, с использованием динамического программирования, выводится рекуррентно-сверточная модель, применимая для решения задач обработки естественного языка. Также, в качестве улучшений к модели, рассматриваются адаптивное получение значений весов, использующее нейронные фильтры (шлюзы) и max-pooling вместо операции получения среднего значения весов при объединении признаков.