FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
Последние новости:
- Выпуск EasyOS 6.5, самобытного дистрибутива от создателя Puppy Linux 2024-12-04
- Выпуск среды разработки Qt Creator 15 2024-12-04
- Релиз FreeBSD 14.2 2024-12-04
- Седьмая бета-версия OrioleDB, высокопроизводительного движка хранения для PostgreSQL 2024-12-04
- Сторонняя организация пытается зарегистрировать торговую марку PostgreSQL в Европе и США 2021-09-14
