Форма обратной связи
«Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности»
Языковые модели для AGI
- Разработка и исследование моделей машинного обучения для систем обработки естественного языка (DeepLanguage).
Проект DeepLanguage направлен на создание новых языковых моделей, обеспечивающих приближение к качеству и точности понимания естественного языка на уровне человека в различных практических применениях. В рамках проекта проводятся исследования в области модификации языковых моделей на базе архитектуры трансформеров, являющейся основой для построения специализированных моделей обработки естественного языка, разрабатываются модели для выявления лексических, логических и содержательных ошибок в тексте, а также модели ранжирования и классификации для вопросно-ответных задач.
Технологии
В результате выполнения проекта создан набор языковых моделей DeepLaguage, содержащий:
- 2 универсальные модели на основе трансформеров для задач обработки естественного языка (кодировщик-декодировщик с памятью для предсказания следующего слова и слова в контексте и кодировщик-декодировщик с рабочей памятью в декодере для предсказания следующего слова);
- 3 модели машинного обучения для выявления лексических, логических и содержательных ошибок в тексте на основе универсальных языковых моделей;
- 3 гибридные модели для задач разговорного искусственного интеллекта (система для построения целеориентированных диалоговых агентов, система для автоматического построения классификатора намерений на основе примеров и регулярных выражений, система для генерации реплик в диалоге по графу знаний Wikidata);
- а также набор базовых моделей для решения задач AGI.
Достигнутые результаты:
Результаты исследований были представлены в научной публикации «Recurrent Memory Transformer», которая была принята на A* конференцию «Thirty-sixth Conference on Neural Information Processing Systems» (NeurIPS 2022), что говорит о высокой значимости полученных результатов.
Команда проекта заняла 1 место в номинации «Грамматика.Eng» в рамках первого этапа конкурса по разработке системы искусственного интеллекта для выявления смысловых, логических и фактических ошибок в текстах Up Great ПРО//ЧТЕНИЕ.
В 2022 году команда стала победителем второго цикла конкурса Up Great ПРО//ЧТЕНИЕ и получила грант в размере 80 млн. руб. на дальнейшее развитие решения. Команде удалось впервые преодолеть технологический барьер – создать искусственный интеллект, способный на уровне педагога проверять эссе школьников для ЕГЭ. На базе разработанных в проекте DeepLanguage моделей было создано комплексное решение, позволяющее выявлять содержательные, логические, стилистические, включая лексические, грамматические, орфографические, пунктуационные ошибки, а также осуществлять их исправление. Эффективность решения составила 107% по сравнению с результатами проверки реальным учителем, причем обработка одного эссе занимала меньше минуты – 1.5с за 1200 символов.
Команда проекта заняла 1 место в номинации «Грамматика.Eng» в рамках первого этапа конкурса по разработке системы искусственного интеллекта для выявления смысловых, логических и фактических ошибок в текстах Up Great ПРО//ЧТЕНИЕ.
В 2022 году команда стала победителем второго цикла конкурса Up Great ПРО//ЧТЕНИЕ и получила грант в размере 80 млн. руб. на дальнейшее развитие решения. Команде удалось впервые преодолеть технологический барьер – создать искусственный интеллект, способный на уровне педагога проверять эссе школьников для ЕГЭ. На базе разработанных в проекте DeepLanguage моделей было создано комплексное решение, позволяющее выявлять содержательные, логические, стилистические, включая лексические, грамматические, орфографические, пунктуационные ошибки, а также осуществлять их исправление. Эффективность решения составила 107% по сравнению с результатами проверки реальным учителем, причем обработка одного эссе занимала меньше минуты – 1.5с за 1200 символов.
Отрасли применения
Открытые технологии обработки естественного языка, разрабатываемые в проекте, будут доступны всем участникам рынка и внесут непосредственный вклад в цифровизацию и повышение уровня жизни граждан. Разработанные и реализованные модели рекомендуется использовать в качестве вспомогательных систем проверки корректности текста. Например, полученные результаты применимы для повышения качества и скорости выявления ошибок в академических эссе студентов, школьников и иных обучающихся.
Лаборатория нейронных систем и глубокого обучения
ПАО «Сбербанк»
Руководитель проекта
Бурцев Михаил Сергеевич – к.ф.-м.н.