Проблема с облачным ИИ Каждый токен стоит денег. Каждый вызов API суммируется. И ваши данные попадают на их серверы. заварить установку олламы оллама тянуть ламу3.2 оллама подавать Теперь у вас есть модель уровня GPT-4, работающая на вашем MacBook. Бесплатно. Частный....
Проблема с облачным ИИ
Каждый токен стоит денег. Каждый вызов API суммируется. И ваши данные попадают на их серверы.
Местная альтернатива
заварить установку олламы
оллама тянуть ламу3.2
оллама подавать
Теперь у вас есть модель уровня GPT-4, работающая на вашем MacBook. Бесплатно. Частный. Быстрый.
Пример реального кода
запросы на импорт
защита Ask_local_ai (вопрос):
г = запросы.пост(
"http://localhost:11434/api/generate",
json = {"модель": "llama3.2", "подсказка": вопрос, "поток": ложь}
)
вернуть r.json()["ответ"]
# Работает сразу, ключ API не требуется
ответ = Ask_local_ai("Объясните Docker в одном абзаце")
распечатать (ответ)
Доступные модели
Модель
Размер
Лучшее для
лама3.2
2 ГБ
Общее использование
коделлама
4 ГБ
Кодовые задачи
мистраль
4,4 ГБ
Быстрое рассуждение
фи3
2,2 ГБ
Легкие задачи
гемма2
5,4 ГБ
Сложные рассуждения
Что вы можете построить
RAG-системы для ваших документов
Голосовые помощники, работающие оффлайн
Рецензенты кода на каждом коммите git
Генераторы контента без затрат
Персональный ИИ, который помнит вас
Моя установка
Используя этот стек, я создал 45 инструментов. Все бесплатно. Все местное. Все с открытым исходным кодом.
github.com/amrendramishra/ai-tools
Вице-президент JPMorgan Chase. Создание инструментов искусственного интеллекта на amrendranmishra.dev