DigUp научился искать файлы на Mac по содержимому фотографий, видео и аудио

Разработчик Abdur Rahim опубликовал DigUp, программу локального поиска для macOS на основе мультимодальной модели Google DeepMind EmbeddingGemma 2. В отличие от стандартного поиска по названиям и тексту документов, она анализирует смысловое содержимое фотографий, записей, видеороликов и PDF.

Например, запрос «собака на пляже» позволяет найти подходящую фотографию без предварительного присвоения тегов. Для аудиозаписей программа определяет подходящий фрагмент разговора, а в видео может открыть момент появления нужного объекта. PDF обрабатываются постранично, включая отсканированные документы.

Технически это работает через преобразование содержимого файлов в числовые векторы. DigUp использует модель EmbeddingGemma 2 с 740 млн параметров и сохраняет поисковый индекс в SQLite. При вводе запроса программа сравнивает его смысловое представление с уже обработанными файлами. Дополнительно работает точный поиск по словам, номерам документов и кодам ошибок.

Фото: ARahim3

Особенность DigUp заключается в локальной обработке данных. Разработчик заявляет, что содержимое индексируемых папок не отправляется на серверы, а учетная запись не требуется. Интернет используется для первоначальной загрузки модели объемом около 865 МБ и проверки обновлений.

При этом индексация большой коллекции файлов может занимать продолжительное время. Программа также не загружает автоматически документы, хранящиеся исключительно в iCloud. Поиск исходного кода отключен по умолчанию и требует отдельной настройки.

DigUp распространяется бесплатно с открытым исходным кодом по лицензии MIT. Сейчас поддерживаются компьютеры Mac с процессорами Apple Silicon и macOS 14 или новее. Для владельцев таких компьютеров это способ искать материалы по тому, что они помнят об их содержимом, сохраняя обработку файлов на собственном устройстве.