С быстрым ростом популярности ChatGPT и открытой Sora эра больших языковых моделей открыла новую главу в области искусственного интеллекта. Широко используются большие языковые модели, включая чат-роботов, интеллектуальную службу поддержки клиентов, автоматический перевод, помощников по написанию сообщений и т. д. Они могут генерировать соответствующие ответы на основе введенного пользователем текста и предоставлять персонализированные предложения и услуги. В настоящее время большинство продуктов с большими языковыми моделями основаны на Интернете. Если мы хотим развернуть нашу собственную большую языковую модель локально, как работать? Вот большая языковая модель Llama 2, которую можно развернуть и запустить локально.

Llama 2 — это модель большого языка с открытым исходным кодом. Данные обучения достигли уровня 7B. Она хорошо работает в одно- и многораундовых диалогах с длиной контекста 4 КБ. Для развертывания и запуска Llama 2 необходимо использовать платформу. Оллама.

Ollama — это мощная платформа, предназначенная для развертывания больших языковых моделей (LLM) в контейнерах Docker. Его основная функция — упростить процесс развертывания и управления LLM внутри контейнеров Docker. Ollama позволяет пользователям легко запускать большие языковые модели с открытым исходным кодом локально, предоставляя простые инструкции по установке.

Большую языковую модель Llama2 можно легко запустить с помощью фреймворка Ollama. При этом для облегчения взаимодействия с моделью необходимо развернуть интерактивный веб-интерфейс Chatbot-Ollama.

Chatbot-Ollama — это интерфейсное приложение для чат-бота, основанное на платформе Ollama. Он использует интерфейсы и функции, предоставляемые платформой Ollama, для интеграции больших языковых моделей (LLM) в чат-ботов, что позволяет им взаимодействовать с пользователями и предоставлять различные услуги чат-ботов.

Chatbot-Ollama подключен к большой языковой модели Llama2, работающей в локальной среде Ollama, что позволяет нам легко создавать чат-боты локально. Chatbot-Ollama также развертывается локально на основе докера. Локальное развертывание может быть ограничено только локальным доступом и не может быть выполнено. обеспечить удаленный доступ другим, нам также необходимо установить инструмент проникновения в интранет cpolar, чтобы к локальному чат-роботу можно было получить удаленный доступ.

Cpolar — это мощное программное обеспечение для проникновения в интрасеть, которое может бесперебойно работать в нескольких операционных системах, включая Windows, MacOS и Linux. Поэтому независимо от того, какую операционную систему вы используете, вы можете легко проникнуть через HTTP локального сервера интрасети, HTTPS и TCP. порты протоколов сопоставляются с портами адресов общедоступной сети, что позволяет пользователям общедоступной сети легко получать доступ к вашим службам интрасети без развертывания на сервере общедоступной сети.

Ниже мы используем Synology Docker, чтобы продемонстрировать, как объединить представленные выше технологии для запуска локального чат-бота и публикации его в общедоступной сети для доступа. Локальное развертывание требует более высокой конфигурации оборудования. серверное оборудование.

1. Извлеките соответствующий образ Docker.

Для запуска Llama 2 требуется образ Ollama, а для взаимодействия с языковой моделью требуется внешний интерфейс Chatbot-Ollama, поэтому нам нужно получить эти два образа Docker. В этом примере версию Synology невозможно найти и загрузить напрямую. в интерфейсе Docker панели управления Synology, поэтому используйте командную строку для загрузки образа. Сначала откройте ssh-соединение Synology, затем используйте инструменты для подключения к Synology через ssh и выполните следующие команды Docker, чтобы получить их.

* Команда «Вытащить изображение Олламы»

sudo docker  pull ollama/ollama:latest

*Потяните команду зеркала Chatbot-Ollama.

sudo docker  pull ghcr.io/ivanfioravanti/chatbot-ollama:main

После успешного извлечения мы увидим два извлеченных изображения в интерфейсе Docker. Давайте начнем запускать два изображения. Сначала запустите ollam.

2. Запустите образ Олламы

Выберите изображение, нажмите «Выполнить», чтобы войти в интерфейс конфигурации, имя задавать не нужно, достаточно имени по умолчанию, а затем нажмите «Далее».

Введите порт для внешнего доступа, который соответствует внутреннему порту контейнера. Просто введите 11434 и нажмите «Далее».

Затем нажмите «Готово», чтобы запустить ollama.

После запуска откройте интерфейс контейнера, и вы увидите работающую службу. Затем начните загрузку и запуск модели Llama 2, щелкните, чтобы выбрать контейнер ollamа, и нажмите «Операция».

Затем откройте терминал и войдите в командный интерфейс терминала.

Затем выберите добавить командный интерфейс bash слева.

Затем в командном интерфейсе bash,осуществлятьollama run llama2Заказ,Затем дождитесь загрузки,Наконец-то появляется успех, значит скачать Беги Лама 2. Модель прошла успешно. После завершения загрузки можно закрыть окно оллама. Контейнер запускается и запускает Llama Модель 2 успешна. Теперь запустите образ чат-бота и настройте внешний интерактивный интерфейс.

3. Запустите образ чат-бота Ollama.

Выберите скачанный нами образ и нажмите «Выполнить», чтобы начать настройку.

Имя может быть задано по умолчанию, просто нажмите «Далее».

Установите внешний порт. В этом примере установите 3001. Вы можете настроить его самостоятельно. Этот порт также является портом для веб-доступа в нашем браузере.

Затем установите переменную среды,Эта переменная представляет собой адрес подключения к нашему фреймворку Беги Оллама, указанному выше.,Устанавливаем локальный адрес:http://Synology IP-адрес локальной сети: 11434Вот и все,После завершения настройки нажмите Далее,Затем просто нажмите Готово,chatbot Образ Ollama успешно запущен. Далее мы получаем к нему доступ локально.

4. Локальный доступ

Выше мы запускаем и устанавливаем внешний порт чат-бота ollamа на 3001 (конкретный порт зависит от ваших собственных настроек). Затем мы получаем доступ к порту 3001 Synology в браузере и видим наше веб-взаимодействие. Интерфейс, в то же время используемая модель llama2, показан выше. Введите текст ниже, чтобы начать разговор. Таким образом, локально развернутый робот будет завершен. Скорость ответа зависит от конфигурации устройства. используйте сервер с высокой конфигурацией для запуска развертывания. Локально. После завершения мы настраиваем удаленный доступ. Далее устанавливаем инструмент cpolar, чтобы к нашему интерфейсу чат-робота можно было получить удаленный доступ без публичного IP-адреса!

5. Установите Cpolar на Synology.

Щелкните адрес загрузки Cpolar Synology Suite ниже, чтобы загрузить соответствующую версию Synology Cpolar Suite.

https://www.cpolar.com/synology-cpolar-suite,

Открыть SynologyЦентр пакетов,Нажмите на правый верхний уголРучная установкакнопка。

Выберите установочный пакет пакета cpolar, который мы скачали локально, и нажмите «Далее».

Нажмитесоглашатьсякнопка,Затем нажмите «Далее»

Наконец нажмите «Готово».

После завершения установки,во внешнем браузере,мы проходимIP-адрес Synology в локальной сетидобавлять9200Доступ к портуCpolarизWebИнтерфейс управления,Затем введите свою учетную запись электронной почты и пароль Cpolar для входа в систему. Если у вас нет учетной записи, вы можете перейти на официальный сайт для регистрации:

cpolarОфициальный адрес сайта：https://www.cpolar.com/

6. Настройте адрес общедоступной сети.

Нажмите «Управление туннелем» — «Создать туннель» на левой панели управления, чтобы создать туннель общедоступного адреса чат-бота!

• Имя туннеля: имя можно настроить. Будьте осторожны, чтобы не дублировать существующее имя туннеля.
• Протокол: выберите http
• Локальный адрес: 3001 (порт для локального доступа)
• доменное nameType: Свободный выбор случайного доменного имени имя
• Регион: Выберите Китай

Нажмитесоздавать

После успешного создания туннеля щелкните статус слева — Список онлайн-туннелей, чтобы просмотреть сгенерированный адрес доступа к общедоступной сети. Существует два метода доступа: http и https. Ниже мы используем сгенерированный http-адрес для доступа.

7. Доступ к общедоступной сети

Используйте http-адрес, сгенерированный cpolar выше, и получите к нему доступ в браузере. Вы также можете увидеть основной интерфейс чат-робота. Доступ к общедоступному сетевому адресу не требуется. Для публикации нашего локального чат-робота не требуется общедоступный IP-адрес или облачный сервер. общественная сеть для доступа!

краткое содержание

Для лучшей демонстрации мы использовали туннель, сгенерированный cpolar в вышеупомянутом процессе, а его общедоступный сетевой адрес был сгенерирован случайным образом.

Преимущество этого случайного адреса в том, что он устанавливается быстро и может быть немедленно использован. Однако его недостатком является то, что URL-адрес генерируется случайными символами и его нелегко запомнить (например: 3ad5da5.r10.cpolar.top). Кроме того, этот адрес будет меняться случайным образом в течение 24 часов, что делает его более подходящим для временного использования.

Обычно я использую фиксированное имя субдомена второго уровня, поскольку надеюсь, что когда я отправлю URL-адрес коллегам или клиентам, это будет фиксированный и легко запоминающийся публичный адрес (например:chatbot.cpolar.cn), что позволяет это более формально и удобно. Общайтесь и сотрудничайте.

8. Фиксированный адрес общедоступной сети.

Поскольку туннель, созданный с помощью Cpolar выше, использует случайный адрес общедоступной сети, он будет меняться случайным образом в течение 24 часов, что не способствует долгосрочному удаленному доступу. Поэтому мы можем настроить для него имя субдомена второго уровня. Этот адрес является фиксированным и не будет меняться случайным образом [ps: cpolar.cn был сохранен].

Обратите внимание, что вам необходимо обновить пакет cpolar до базового пакета или выше, а пропускная способность, соответствующая каждому пакету, различна. [cpolar.cn зарегистрирован]

Войдите на официальный сайт cpolar.,Нажмите «Зарезервировать» слева.,Выберите сохранение дочернего доменного имени второго уровня., установить вторичное дочернее доменное имя имя имя, нажмите для сохранения, после успешного резервирования поддочернее доменное второго уровня сохранится. имяимя

После успешного резервирования скопируйте имя субдомена второго уровня, которое было успешно зарезервировано.

Вернитесь в интерфейс управления веб-интерфейсом Cpolar, нажмите «Управление туннелями» — «Список туннелей» на левой панели управления, найдите туннель, который вы хотите настроить, и нажмите «Изменить» справа.

Измените информацию о туннеле и настройте в туннеле успешно зарезервированное имя поддомена второго уровня.

• доменное nameType: выберите дополнительный подтип доменное. имя
• Sub Домен: укажите дочерний домен второго уровня, который был успешно сохранен. имя

Нажмитевозобновлять(Уведомление,Просто нажмите один раз, чтобы обновить,Повторно отправлять не нужно)

После завершения обновления откройте список онлайн-туннелей. В это время вы можете видеть, что адрес общедоступной сети изменился, а имя адреса также стало фиксированным именем поддомена второго уровня.

Наконец, мы используем фиксированный http-адрес общедоступной сети для доступа и видим, что тот же доступ является успешным. Таким образом, устанавливается фиксированный и постоянный адрес общедоступной сети!