Искусственный интеллект на устройстве для iOS и macOS

В этом руководстве по Swift вы узнаете, как запустить большую языковую модель (LLM) непосредственно на устройстве пользователя: ни сервера, ни ключа API не требуется. Мы начнем с нуля с простого обмена сообщениями в чате и постепенно представим более продвинутые функции: мультимодальный ввод, преобразование речи в текст, преобразование текста в речь, обнаружение голосовой активности, вызов инструментов и RAG. Каждая концепция объясняется перед кодом, поэтому вы можете следить за ним, даже если вы новичок в искусственном интеллекте на устройстве. Зачем запускать AI на устройстве? Большинство функций ИИ полагаются на облачный API: вы отправляете запрос на удаленный сервер, он запускает модель и отправляет ответ обратно. Это хорошо работает, но требует компромиссов. Запуск модели непосредственно на устройстве позволяет избежать всех из них: Работает в автономном режиме — подключение к Интернету не требуется. Конфиденциальность по замыслу — пользовательские данные никогда не покидают устройство Низкая задержка — отсутствие двустороннего обмена по сети Никаких затрат на облако — вывод бесплатен Компромисс — это грубые возможности: модели на устройстве меньше и менее мощны, чем передовые облачные модели. Но для многих случаев использования, таких как обобщение, чат-боты или локальный поиск, они более чем достаточно хороши. О НиктоКто В этом уроке мы будем использовать библиотеку NothingWho. Он оборачивает llama.cpp в Rust и раскрывает