Предисловие

В последнее время в работе и жизни часто используют искусственный интеллект для повышения эффективности. Самое полезное — написать некоторые инструменты. Даже если написание неудовлетворительное, его можно быстро поддержать небольшой корректировкой и некоторыми командами, иногда они есть. будут забыты, если они не будут использоваться в течение длительного времени. Иногда кажется, что очень эффективно иметь модель искусственного интеллекта для предоставления подсказок;

Подготовка

Собственные параметры

Параметры беговой машины

оллама скачать

Адрес загрузки: https://ollama.com/

оллама скачать

После загрузки просто выполните следующий шаг, не раздумывая. После завершения посетите http://localhost:11434/.

Видеть эту картинку означает успех

Если вы успешно получили доступ и видите работу, это означает, что операция прошла успешно.

загрузка рабочего стола докера

Адрес загрузки: https://www.docker.com/products/docker-desktop/.

Загрузка Docker автоматически определит вашу систему

После завершения загрузки запустите операцию и вы увидите следующий интерфейс

рабочий стол докера

Найдите в строке поиска тег open-webui: просто найдите версию ollama, просто следуйте безмозглым шагам на моей картинке.

После установки open-webui интерфейс станет более дружелюбным.

После установки образа можно запустить контейнер

Запуск контейнера Интерфейс можно указать самостоятельно Здесь я указываю порт 8080 контейнера на локальный порт 3000.

Другие параметры я не изменял. Я просто сопоставил порт во время запуска. После успешного запуска контейнера вы можете получить доступ к указанному порту 3000: http://localhost:3000/.

отображение интерфейса open-webui

На данный момент Подготовка практически завершила большую часть работы.,Но это место по-прежнему всего лишь пустая оболочка,Вы не можете начать вопросы и ответы без модели

Загрузка модели

ollama предоставляет много Загрузка моделей

Загрузка моделиадрес

Вы можете найти много полезных моделей, нажав здесь

Вы можете найти нужную модель теста, но новая llama3 не очень хорошо поддерживает китайский язык, поэтому вы можете искать напрямую.

llama3-8b-chinese-chat-ollama-q8

Эта модель представляет собой китайскую доработанную модель llama3, относительно дружелюбную к китайцам.

Вставьте сюда название модели и нажмите «Загрузить». Прежде чем начать общение, дождитесь завершения загрузки.

Как правило, для небольших моделей требуется несколько гигабайт, и загрузка займет некоторое время. После завершения загрузки вы можете начать использовать его на домашней странице webui;

Использование локальной модели

Проверьте загруженную модель

Вы можете видеть, что в раскрывающемся списке на главной странице вы можете выбрать загруженную нами модель.

написать пузырь

Запустите локальное тестирование модели, и вы сможете использовать ее в автономном режиме после отключения от Интернета. Не нужно беспокоиться об утечке информации. Однако, как правило, ее можно запускать только на персональных компьютерах, а скорость относительно низкая. любопытство. Надо еще запустить в производство. Нужна хорошая машина. Также можно скачать несколько мини-моделей с более высокой скоростью отклика для тестирования.

Как использовать вызовы интерфейса

Выше показан пример совместного использования open-webui и Ollama;

Ollama также предоставляет прямой вызов интерфейса для облегчения вторичной разработки:

curl http://localhost:11434/api/generate -d '{
  "model": "phi3",
  "prompt":"Здравствуйте, напишите пузырь"
}'

Подвести итог

Построение локальной модели может в основном удовлетворить ваши повседневные рабочие потребности, но скорость относительно медленная, но преимущество в том, что ее можно использовать бесплатно. Если у компании есть потребности в интерфейсе, ее можно расширить и использовать.