ESP32 запустил большую языковую модель без облака, но с жестким ограничением

ESP32 обычно используют для датчиков, умного дома и небольших устройств, где вычислительные ресурсы сильно ограничены. Проект esp32-ai показывает другой подход: микроконтроллер можно заставить выполнять задачи, которые еще недавно требовали более мощного железа или постоянного соединения с сервером.

Автор проекта запустил на ESP32-S3 языковую модель с 28,9 млн параметров. По опубликованным данным, система работает локально, без отправки запросов в облако, а скорость генерации составляет около 9 токенов в секунду.

Основная проблема таких экспериментов связана не только с производительностью процессора. Большие модели требуют значительного объема памяти, которого у микроконтроллеров нет. В этом проекте используется подход с хранением большей части параметров во флеш-памяти и загрузкой только необходимых данных во время обработки очередного токена.

Это не превращает ESP32 в полноценную замену компьютеру с современными нейросетями. Объем модели остается небольшим по меркам больших языковых систем, а практическое применение пока ограничено задачами, где важна автономная работа без интернета. Сам автор проекта указывает среди возможных направлений локальные команды, текстовые функции и простые специализированные помощники.

Фото: slvDev

Интерес здесь в другом: разработчики постепенно уходят от идеи, что любая функция с искусственным интеллектом должна работать через удаленный сервер. Для микроконтроллеров главным ограничением остается память, и именно работа с ней определяет, какие возможности вообще можно получить от дешевого чипа.

Пока esp32-ai выглядит скорее как техническая демонстрация возможностей ESP32-S3, чем готовая платформа для массовых устройств. Но сам факт запуска языковой модели такого размера на микроконтроллере показывает, что локальный AI постепенно перемещается из области мощных компьютеров в более простую электронику.