ИИ научили управлять iPhone через плату ESP32 за 590 рублей

В основе проекта лежит довольно простой принцип. Искусственный интеллект получает изображение экрана смартфона, определяет нужные элементы интерфейса и управляет ими через виртуальные нажатия. Для этого используется плата Seeed Studio XIAO ESP32S3 стоимостью около 590 рублей (7 долларов).

Фото: onehumanbeing

Первоначальная версия работала через компьютер с macOS или Linux. На нем запускались сервер, система приема изображения по AirPlay и программа управления. В обновленной архитектуре разработчик перенес обработку команд в приложение непосредственно на iPhone.

Теперь ESP32-S3 самостоятельно принимает трансляцию экрана по AirPlay и передает видеопоток приложению через Bluetooth LE. Одновременно плата подключается к USB-порту смартфона, определяясь как стандартная мышь и клавиатура. Функция AssistiveTouch позволяет преобразовывать перемещения указателя и щелчки в действия с интерфейсом iOS.

Фото: onehumanbeing

Но полностью отказаться от компьютера пока нельзя. Для первоначальной прошивки платы и сборки приложения требуется Mac с Xcode. Программа рассчитана на iOS 18 и новее, а для обращения к облачной ИИ-модели необходим мобильный интернет. Само приложение работает с моделями, поддерживающими интерфейс OpenAI и обработку изображений.

Есть и технические ограничения. Из-за пропускной способности Bluetooth изображение передается с разрешением 480×1040 пикселей при частоте до 5 кадров в секунду. Поддерживается ввод только ASCII-символов, а приложения с горизонтальной ориентацией пока не работают корректно. Экран ввода пароля и защищенный видеоконтент агент также не видит.

Фото: onehumanbeing

Проект интересен возможностью автоматизировать действия в обычных приложениях iOS без джейлбрейка. При этом скорость выполнения команд и необходимость самостоятельной сборки пока ограничивают его применение преимущественно экспериментами и разработкой.