Обзор

LLaMA-3 (Large Language Model Meta AI 3) — это крупномасштабная модель генеративного искусственного интеллекта с открытым исходным кодом, разработанная компанией Meta Company. Никаких серьезных изменений в конструкции модели по сравнению с предыдущим поколением LLaMA-2 не имеет.

Модель LLaMA-3 разделена на версии разного масштаба, включая малую, среднюю и большую, в зависимости от потребностей различных приложений и вычислительных ресурсов. Размер параметра маленькой модели составляет 8 Б, размер параметра средней модели – 70 Б, а большой модели – 400 Б. Цель состоит в том, чтобы добиться мультимодальных и многоязычных функций и эффекта. ожидается, что он будет сопоставим с GPT 4/GPT 4V.

Установить Олламу

Ollama — это инструмент обслуживания больших языковых моделей (LLM) с открытым исходным кодом, который позволяет пользователям запускать и развертывать большие языковые модели на своем локальном компьютере. Ollama разработан как платформа для упрощения процесса развертывания и управления большими языковыми моделями в контейнерах Docker, что делает этот процесс быстрым и простым. Пользователи могут быстро запускать крупномасштабные языковые модели с открытым исходным кодом, такие как Llama 3, локально с помощью простых операций командной строки.

Официальный адрес сайта: https://ollama.com/download

Ollama поддерживает несколько платформ, включая Mac и Linux, и предоставляет образы Docker для упрощения процесса установки. Пользователи могут импортировать и настраивать больше моделей, написав Modelfile, который аналогичен роли Dockerfile. Ollama также имеет REST API для запуска моделей и управления ими, а также набор инструментов командной строки для взаимодействия с моделями.

Журнал запуска службы Ollama

Управление моделями

Скачать модель

ollama pull llama3:8b

Загрузка по умолчаниюllama3:8b。Двоеточие здесь означает Модельимя,Что идет после двоеточия, представляетtag,Вы можете просмотреть все теги llama3 здесь

Тестирование модели

Примечание. Если вы хотите, чтобы Модель ответила на китайском языке.,Пожалуйста, введите сначала：Привет! Пожалуйста, ответьте на китайском

НастройкаOpen-WebUI

Запустить под процессором

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

доступ

Введите адрес http://127.0.0.1:3000 руководитьдоступ

Для первого доступа необходима регистрация,Я регистрирую аккаунт здесь,Регистрация завершена и вход успешен

Переключить китайский язык

скачатьllama3:8bМодель

llama3:8b

Загрузка завершена

использовать

Выберите модель

использовать Модель

Примечание. Если вы хотите, чтобы Модель ответила на китайском языке.,Пожалуйста, введите сначала：Привет! Пожалуйста, ответьте на китайском

Память