Новости компаний
Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5 и расширенной версии нейросети mGPT, способной генерировать тексты на 61 языке
Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).
20.07.2023, 15:16


ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. 

Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка:

«Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами».

*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.

Автор: Nurtdinova
Другие новости рубрики
ВТБ: искусственный интеллект станет частью всех технологий и сервисов
Новости компаний
ВТБ: искусственный интеллект станет частью всех технологий и сервисов
Вчера, 17:03
ВТБ: к 2027 году каждое третье онлайн-совещание будет расшифровываться при помощи ИИ-алгоритмов
Новости компаний
ВТБ: к 2027 году каждое третье онлайн-совещание будет расшифровываться при помощи ИИ-алгоритмов
Вчера, 15:35
ВТБ внедряет машинное обучение для анализа и предоставления кредитов застройщикам по всей стране
Новости компаний
ВТБ внедряет машинное обучение для анализа и предоставления кредитов застройщикам по всей стране
Вчера, 13:18
Новости компаний
В Уфе сотрудница одного из отделений Сбербанка помогла клиенту спасти 2 млн рублей от мошенников.
26.02.2024, 17:05
Новости компаний
ВТБ увеличит число зарплатных клиентов на 40%
26.02.2024, 14:34
Новости компаний
ВТБ: мошенники стали представляться сотрудниками налоговой службы
22.02.2024, 13:10
Сбер: телефонные мошенники начали вербовать своих жертв для преступных схем
Новости компаний
Сбер: телефонные мошенники начали вербовать своих жертв для преступных схем
Сбербанк выявил новую схему мошенничества, связанную с вовлечением жертв социальной инженерии в новые махинации...
21.02.2024, 16:50
Сбер: В 2023 году средний чек в интернет-магазинах оказался выше, чем в рознице
Новости компаний
Сбер: В 2023 году средний чек в интернет-магазинах оказался выше, чем в рознице
20.02.2024, 17:13
Сбербанк изменил условия субсидирования для ряда застройщиков
Новости компаний
Сбербанк изменил условия субсидирования для ряда застройщиков
19.02.2024, 16:05