Разделы

Цифровизация ИТ в банках

«Сбер» представил версию нейросети GPT-3, способную генерировать тексты на 61 языке мира

SberDevices представила многоязычную версию нейросети GPT-3: модель под названием mGPT может генерировать тексты на 61 языке мира*, включая языки народов России и стран СНГ. mGPT — это первая в мире генеративная модель, которая поддерживает такое количество языков. Она доступна в двух версиях: базовой, с 1,3 млрд параметров, опубликованной в открытом доступе в облачном хранилище «Сбердиск», и расширенной, с 13 млрд параметров, которая скоро станет доступна на платформе машинного обучения ML Space от Cloud. Об этом CNews сообщили представители «Сбера».

Модель mGPT может использоваться как просто для генерации текста, так и для решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путем дообучения или в составе ансамблей моделей. Модель показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу. Это может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и т. п. Модель может также использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи, генерации сценариев диалоговых систем и т. д.

Денис Филиппов, CEO SberDevices, вице-президент по новым цифровым поверхностям «Салют» Сбербанка: «В 2020 г. мы представили русскоязычную версию нейросети GPT-3, именно она используется в двух виртуальных ассистентах семейства “Салют” от “Сбера” — “Джой” и “Афине”. Мы продолжили развивать наши NLP-технологии и представили модель mGPT, поддерживающую более 60 языков, при этом для многих из них ранее генеративных моделей просто не существовало. Это среди прочего станет нашим вкладом в сохранение и развитие языков народов России: mGPT умеет генерировать тексты, например, на татарском или якутском».

Русскоязычная версия GPT-3, разработанная «Сбером», доступна на платформе SmartMarket.

*Полный перечень языков, доступный в модели mGPT: азербайджанский, английский, арабский, армянский, африкаанс, баскский, башкирский, белорусский, бенгали, бирманский, болгарский, бурятский, венгерский, вьетнамский, голландский, греческий, грузинский, датский, иврит, индонезийский, испанский, итальянский, йоруба, казахский, калмыцкий, киргизский, китайский, корейский, латышский, литовский, малайский, малаялам, маратхи, молдавский, монгольский, немецкий, осетинский, персидский, польский, португальский, румынский, русский, суахили, таджикский, тайский, тамильский, татарский, телугу, тувинский, турецкий, туркменский, узбекский, украинский, урду, финский, французский, хинди, чувашский, шведский, якутский, японский.

***

ПАО Сбербанк — один из крупнейших банков в России. На долю Сбербанка приходится около трети активов всего российского банковского сектора. Основным акционером ПАО Сбербанк является Российская Федерация в лице Министерства финансов Российской Федерации, владеющая 50% уставного капитала ПАО Сбербанк плюс 1 голосующая акция. Оставшимися 50% минус 1 голосующая акция от уставного капитала банка владеют российские и международные инвесторы.