FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
Последние новости:
- Сторонняя организация пытается зарегистрировать торговую марку PostgreSQL в Европе и США 2021-09-14
- Осеннее обновление стартовых наборов ALT p10 2021-09-14
- Новая техника эксплуатации уязвимостей класса Spectre в Chrome 2021-09-14
- Выпуск многопользовательской RPG-игры Veloren 0.11 2021-09-14
- BitTorrent-клиент Transmission переходит с Си на Си++ 2021-09-14