Что такое Оллама:

Ollama — это инструмент обслуживания крупномасштабных языковых моделей с открытым исходным кодом, который помогает пользователям быстро запускать большие модели локально. С помощью простых инструкций по установке пользователи могут выполнить команду для локального запуска крупномасштабных языковых моделей с открытым исходным кодом, таких как Llama2. Эта платформа упрощает процесс развертывания и управления LLM в контейнерах Docker, позволяя пользователям быстро запускать большие языковые модели локально.

Оллама объединяет веса модели, конфигурацию и данные в пакет, определяемый как файл модели. Он оптимизирует детали настройки и конфигурации, включая использование графического процессора.

Преимущества Олламы：

①Простота в использовании: Ollama предоставляет простой API, поэтому даже неопытные пользователи могут легко его использовать. Кроме того, он также предоставляет интерфейс чата, аналогичный ChatGPT, позволяющий пользователям общаться в чате и напрямую взаимодействовать с моделью без разработки.

②Легкость: код Олламы краток и ясен и занимает мало ресурсов во время выполнения. Это позволяет ему эффективно работать локально и не требует обширных вычислительных ресурсов.

③Расширяемость: Ollama поддерживает несколько архитектур моделей и может быть расширена для поддержки новых моделей. Он также поддерживает горячую загрузку файлов моделей и может переключаться между различными моделями без перезапуска, что делает его очень гибким и универсальным.

④Предварительно созданная библиотека моделей: Ollama предоставляет предварительно созданную библиотеку моделей, которую можно использовать для различных задач, таких как генерация текста, перевод, вопросы и ответы и т. д. Это делает локальное выполнение больших языковых моделей намного проще и удобнее.

Начинайте быстро

1. Загрузите установочный файл Ollama.

Посетите https://ollama.com/download, выберите Windows и нажмите «Загрузить для Windows (предварительная версия)», чтобы загрузить.

2. Установите Олламу

Дважды щелкните загруженный файл «OllamaSetup.exe», чтобы установить его.

3. Переменные среды

Модель, скачанная Олламой, по умолчанию сохраняется на диске C.

Настоятельно рекомендуется изменить путь по умолчанию, который можно изменить, создав новую переменную среды OLLAMA_MODELS.

OLLAMA_MODELS E:\OllamaCache

После успешной настройки перезагрузите компьютер, чтобы изменения вступили в силу.

4. Использование Олламы

Посетите https://ollama.com/library и найдите модель, которую вам нужно использовать, основную модель.

Не забудьте сначала запустить Ollma и убедиться, что Ollma находится на панели задач.

Давайте возьмем в качестве примера qwen-7b и выберем для запуска модель 7b.

Скопируйте команду из красного поля выше и запустите ее в cmd или PowerShell (рекомендуется cmd).

ollama run qwen:7b

Подождите, пока модель загрузится и загрузится. В настоящее время первая скорость загрузки 95% высокая, а скорость от 99% до 100% медленнее. Когда появится сообщение «Отправить сообщение», вы можете начать использовать модель.

рендеринг qwen-7b:

ollama run qwen:7b

рендеры orion14b-q4:

ollama run orionstar/orion14b-q4

llama2-китайские рендеры:

ollama run llama2-chinese

Вопросы и ответы собраны в Интернете:

5. Используйте снова

Убедившись, что Оллама работает правильно, Введите рабочий код в cmd и можете использовать его напрямую, без скачивания и установки (модель успешно установлена ​​на шаге 4) нравиться:

ollama run llama2-chinese

Я использую 8 ГБ-2070super, 16 ГБ памяти, i7-10700K. Работает qwen-7b и llama2-chinese довольно гладко.

Наденьте оболочку

Если вы чувствуете, что использовать командную строку непросто, у Ollama есть ряд периферийных инструментов, включая веб-страницы, рабочие столы, терминалы и другие интерактивные интерфейсы, а также множество плагинов и расширений.

Причина, по которой Ollama может быстро сформировать такую ​​богатую экосистему, заключается в том, что с самого начала проекта у нее есть четкая позиция: позволить большему количеству людей запускать большие модели локально самым простым и быстрым способом. Таким образом, Ollama не просто инкапсулирует llama.cpp, но одновременно упаковывает множество параметров и соответствующих моделей; таким образом, Ollama примерно соответствует краткому инструменту командной строки и стабильному серверному API. Это обеспечивает большое удобство для последующих приложений и расширения.

Что касается графического интерфейса Ollama, существует множество вариантов в зависимости от предпочтений:

Веб-версия: Ollama WebUI имеет интерфейс, наиболее близкий к ChatGPT, и богатейшие функциональные возможности, его необходимо развертывать с помощью Docker;

Терминал TUI Версия: отерм Обеспечивает полные функции и поддержку сочетаний клавиш, используйте brew или pip Установить;

Raycast Плагин: т.е. Raycast Оллама, лично я этим пользуюсь чаще всего Ollama внешний интерфейс Пользовательский интерфейс, который наследует Raycast Преимущество из заключается в том, что вы можете напрямую вызвать команду после выбора оператора или скопировать для удобства работы. И как значение ок. 8 долларов США/месяц Raycast AI Альтернатива Рейкасту Ollama Осуществленный Raycast AI большинство функций и с Ollama и итерация моделей с открытым исходным кодом, которые также будут поддерживать мультимодальность и т. д. Raycast AI Неподдерживаемые функции имеют неограниченный потенциал.

Кроме того, есть еще интересные приложения, такие как Ollamac — нативное приложение для macOS, написанное на Swift, и Obsidian Ollama, похожее на Notion AI, и его можно выбирать по мере необходимости.