AI HAT+ 2 — это решение, ориентированное на запуск генеративного искусственного интеллекта прямо на устройстве. Первая версия AI HAT+ хорошо справлялась с распознаванием объектов, поз и сегментацией сцен, но не поддерживала LLM. AI HAT+ 2 решает эту проблему.
В основе AI HAT+ 2 лежит новый нейронный ускоритель Hailo-10H, обеспечивающий до 40 TOPS (INT4) производительности. Все ИИ-вычисления выполняются локально, без подключения к интернету, что снижает задержки, повышает надёжность и избавляет от зависимости от «облачных» сервисов.
Ключевое отличие от предыдущего поколения — 8 Гбайт оперативной памяти на самой плате. Это позволяет запускать значительно более крупные модели и делает возможной работу с:
- большими языковыми моделями (LLM)
- моделями VLM
Какие модели можно запустить?
На старте для установки доступны несколько компактных LLM, оптимизированных под edge-устройства:
- DeepSeek-R1-Distill (1,5 млрд параметров)
- Llama 3.2 (1 млрд)
- Qwen 2 и Qwen 2.5 (варианты Instruct и Coder, по 1,5 млрд)
Все они работают локально на Raspberry Pi 5 с AI HAT+ 2, используя веб-интерфейс Open WebUI. Более крупные модели обещают добавить в следующих обновлениях.
Плата Raspberry Pi AI HAT+ 2 уже поступила в продажу по цене 130$. Производитель также предоставляет документацию, примеры и инструменты в GitHub-репозитории Hailo и в Developer Zone.