Финансы | 20.07.2023
Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.
Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.
Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.
Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка:
«Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами».
*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.
Автор: Пётр Зимин
(Нет голосов) |
Регионы ЦЧР |
|
| |
|
Регионы ЦФО
Редакция: Вопрос-ответ.
| |
|
Доктор политических наук, заведующий кафедрой Воронежского филиала Российского экономического университета (РЭУ) им. Г.В. Плеханова |
Еженедельный рейтинг областей ЦФО (02-08 июля 2018 г.)
Воронежская область |
|
Тульская область |
|
Белгородская область |
|
Московская область |
|
Курская область |
|
Орловская область |
|
Тамбовская область |
|
Рязанская область |
|
Калужская область |
|
Брянская область |
|
Тверская область |
|
Владимирская область |
|
Липецкая область |
|
Смоленская область |
|
Ярославская область |
|
Ивановская область |
|
Костромская область |
О рейтинге
В основу еженедельного рейтинга 17 областей ЦФО, проводимого экспертами АНО «Институт политического анализа и стратегий» взяты следующие критерии: |
Свежий номер регионального делового издания
Юрий ТИМОФЕЕВ первый заместитель главы администрации городского округа город Воронеж по стратегическому планированию, экономике и финансам« |
Воронежская область - регион борьбы с фрондой и деструкциями
|
|
Белгородская область - территория успеха и эффективной власти
|
Дмитрий Солонников Директор Института современного государственного развития, политолог |
"За две недели, конечно, серьезные изменения внести уже очень трудно. Здесь важно не сорваться и не опуститься в рейтингах и голосах. Важно не давать поводов странными выступлениями, неподготовленными комментариями, бессмысленно-эмоциональными эскападами".
|
© 2004-2024, Деловой еженедельник «Экономика Черноземья и жизнь регионов» распространяется в Воронежской, Липецкой, Курской, Белгородской, Тамбовской, Орловской областях и в других регионах РФ.