Используйте Orange Pie AIpro для развертывания больших моделей и установки пагод для создания частной портативной среды веб-разработки.

Shortcuts

Calendar Appointments

Invoice App Manage Accounts

User App Manage Users

Role Management Permission

Dashboard Analytics

Setting Account Settings

FAQs FAQs & Articles

Modals Useful Popups
- Notification
  8 New
- - Congratulation Lettie 🎉
    Won the monthly best seller gold badge
    
    1h ago
  - CF
    
    Charles Franklin
    Accepted your connection
    
    12hr ago
  - New Message ✉️
    You have new message from Natalie
    
    1h ago
  - Whoo! You have new order 🛒
    ACME Inc. made new order $1,154
    
    1 day ago
  - Application has been approved 🚀
    Your ABC project application has been approved.
    
    2 days ago
  - Monthly report is generated
    July monthly financial report is generated
    
    3 days ago
  - Send connection request
    Peter sent you connection request
    
    4 days ago
  - New message from Jane
    Your have new message from Jane
    
    5 days ago
  - CPU is running high
    CPU Utilization Percent is currently at 88.63%,
    
    5 days ago
- View all notifications

Используйте Orange Pie AIpro для развертывания больших моделей и установки пагод для создания частной портативной среды веб-разработки.

Что такое апельсиновый пирог

Плата разработки Orange Pi AI Pro — это высокопроизводительная плата разработки AI, тщательно созданная Orange Pi и Huawei. Она оснащена процессором Ascend AI и может обеспечить вычислительную мощность 8TOPS INT8. Память доступна в версиях объемом 8 ГБ и 16 ГБ. Он может выполнять различные анализы данных и вычисления, такие как изображения и видео, и может широко использоваться в образовании, роботах, дронах и других сценариях.

Если бы у вас был кусок Orange Pie AIpro, что бы вы с ним сделали?

Сегодня я познакомлю вас с тем, что я буду использовать в этом апельсиновом пироге AIpro.

1.Orange Pai AIpro внедряет большую языковую модель

2. Используйте Orange Pie AIpro для установки LNMP (Pagoda Panel) для создания частной веб-системы блога WordPress.

Базовая конфигурация

Апельсиновый пирог AIpro

Процессор: дорожная карта технологии Shengteng AI (от друзей я слышал, что это A55)

Память: 8 ГБ/16 ГБ LPDDR4X (у меня версия 8G)

Выход HDMI 2.0 2

Гигабитный сетевой порт: 1

USB3.0, есть 2

USB Тип-C 3.0, 1

Wi-Fi5+Блютуз 4.2

Слот M.2 с поддержкой твердотельного накопителя SATA/NVMe 2280

Можно подключить к модулю eMMC емкостью 32/64/128/256 ГБ.

Тип-C источник питания

Подробную информацию см.: http://www.orangepi.cn/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-AIpro.html

оболочка

Материнская плата и блок питания

передняя картинка

вид сзади

Система Ubuntu с фиксированным IP-адресом

Подключите блок питания Orange Pie AIpro, подключите монитор, клавиатуру, мышь и сетевой кабель. Звук вентилятора при включении довольно громкий, но после входа в систему звук вентилятора становится тише.

$ ifconfig Посмотреть IP
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.245  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::9f02:c0dd:c615:4468  prefixlen 64  scopeid 0x20<link>
        ether c0:74:2b:fe:29:42  txqueuelen 1000  (Ethernet)
        RX packets 453623  bytes 66206481 (66.2 MB)
        RX errors 0  dropped 1595  overruns 0  frame 0
        TX packets 4999  bytes 957506 (957.5 KB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
wlan0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        ether 7c:88:99:ff:79:ec  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Я вижу, что есть две сетевые карты, одна проводная и одна беспроводная.

Система Ubuntu с фиксированным IP-адресом:

Я исправил здесь IP-адрес Orange Pie на 192.168.1.22, чтобы избежать перезапуска или занятия IP-адреса локальной сетью.

$ sudo -i
# cd /etc/netplan
#ls -l
total 20
-rw-r--r--   1 root root   164 Jan 30 12:19 01-netcfg.yaml

Резервный файл:
# cp 01-netcfg.yaml 01-netcfg.yaml-bak
# vim 01-netcfg.yaml

Заполните шаблон конфигурации сети

Ubuntu22.04 ссылается на следующий шаблон конфигурации следующим образом:

network:
  ethernets:
    eth0: # Имя сетевой карты
      dhcp4: no #Отключить динамическое выделение IP-адресов ipv4
      dhcp6: no #Отключить динамическое выделение IP-адресов ipv6
      addresses: 
          - 192.168.1.22/24  # Установите IP-адрес подсети и маску подсети, 192.168.1.22 представляет IP-адрес. /24 представляет маску 255.255.255.0.
      routes:
          - to : default 
            via: 192.168.1.1   # шлюз
      nameservers:
          addresses:  # DNS-сервер
             - 114.114.114.114
             - 8.8.8.8
  version: 2
  renderer: networkd

Загрузите конфигурацию и перезапустите сеть.

После изменения файла конфигурации сетевой карты выполните следующую команду, чтобы изменения вступили в силу.
# netplan apply

Повторная сеть
# systemctl restart systemd-networkd

Удаленное соединение SSH

Ubuntu 22.04.3 LTS

Загрузите программное обеспечение SSH, например: MobaXterm или Putty.

Я привык использовать SecureCRT

Введите IP-адрес, порт, пользователя и пароль, как показано на рисунке. Не обращайте внимания на этот IP-адрес, если он не менялся ранее.

Введите удаленный

Удаленное подключение VNC

В официальном образе по умолчанию установлен VNC. Здесь я использую программное обеспечение vncviewer.

Вы можете использовать vnc для удаленного управления Orange Pie

Подключить жесткий диск

Я добавил SSD 1T за плату и смонтировал его в каталоге /www.

(base) HwHiAiUser@orangepiaipro:~$ sudo -i
[sudo] password for HwHiAiUser: 
Введите пароль и переключитесь на пользователя root

Проверьте жесткий диск:
# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/root        29G   17G   12G  60% /
tmpfs           3.7G  4.0K  3.7G   1% /dev/shm
tmpfs           1.5G   15M  1.5G   1% /run
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           4.0M     0  4.0M   0% /sys/fs/cgroup
tmpfs           128M  772K  128M   1% /var/log
/dev/mmcblk1p3   50M  2.0K   50M   1% /exchange
tmpfs           755M   76K  755M   1% /run/user/0
tmpfs           755M   80K  755M   1% /run/user/1000

Проверьте жесткий диск:
fdisk -l
Disk /dev/nvme0n1: 953.87 GiB, 1024209543168 bytes, 2000409264 sectors
Disk model: Predator SSD GM7000 1TB                 
.....
Device          Start        End    Sectors  Size Type
/dev/nvme0n1p1   4096     618495     614400  300M EFI System
/dev/nvme0n1p2 618496 1999204351 1998585856  953G Microsoft basic data
.....

Вы можете увидеть, что есть 1ТизSSD, а затем Подключить жесткий диск

mkdir /www
mount /dev/nvme0n1p2 /www  # Можно монтировать напрямую

Вы также можете сначала отформатировать, а затем смонтировать:
mkfs.ext4 /dev/nvme0n1p2
mount /dev/nvme0n1p2 /www

df -h|grep www
/dev/nvme0n1p2  953G  528M  953G   1% /www

vim /etc/fstab
Увеличивать:
/dev/nvme0n1p2  /www ext4 defaults 0 0

Теперь, когда подготовительная работа завершена, давайте познакомимся с тем, как использовать Orange Pie AIpro для построения локальной модели.

Orange Pai AIpro внедряет большую языковую модель

Ollama управляет большими моделями, такими как llama3 и qwen. Хотя некоторые маленькие автомобили тянут за собой большие машины, я все же хочу попробовать свои силы.

Установить Олламу

Способ 1. Загрузка и установка через командную строку (занимает много времени)

Команда установки:

$ sudo apt  install curl

$ curl -fsSL https://ollama.com/install.sh | sh

Недостатки: Ожидание в домашней сети занимает много времени.

Способ 2. Ручная загрузка и установка (рекомендуется)

1. Загрузка вручную https://ollama.com/install.sh этот файл

# mkdir /www/ollama
cd /www/ollama
# wget https://ollama.com/install.sh

2. Закомментируйте часть загрузки. Curl xxxx Загрузите ollama-linux-{ARCH} вручную.

# vim install.sh

Измените файл:
status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

Апельсиновый пирог ЦП AIpro основан на архитектуре ARM, поэтому {ARCH} = arm64

Загрузка браузера: https://ollama.com/download/ollama-linux-arm64

Если процессор Intel или AMD, то: {ARCH} = amd64,https://ollama.com/download/ollama-linux-amd64

Конечно, скорость научного Интернета выше. Поместите его в тот же каталог, что и install.sh.

3. Комментарий #$SUDO install -o0 -g0 -m755 $TEMP_DIR /install $BINDIR /install

Перейдите на следующую строку:

# vim install.sh

Измените файл:
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-arm64  $BINDIR/ollama

4. Запустите install.sh для установки.

(base) root@orangepiaipro:/www/ollama# ll
total 285868
drwxr-xr-x 2 root root      4096 May 23 10:20 ./
drwxr-xr-x 4 root root      4096 May 23 10:04 ../
-rw-r--r-- 1 root root     10158 May 23 10:20 install.sh
-rw-r--r-- 1 root root 292706744 May 23 10:17 ollama-linux-arm64

# sh  ./install.sh

Перезагрузить компьютер

Измените путь, по которому хранится модель

Из-за ограниченного пространства на системном диске, если место хранения модели не изменено, по умолчанию оно будет находиться в каталоге /usr/share/ollama/.ollama/models или /root/.ollama/models/.

# mkdir /www/ollama/ollama_models

# cd /etc/systemd/system/
# vim /etc/systemd/system/ollama.service
существовать Добавьте в среду переменную среды OLLAMA_MODELS, разделенную точкой с запятой.

OLLAMA_MODELS=/www/ollama/ollama_models;
Как показано ниже

Загрузите конфигурацию и перезапустите ollam, чтобы изменения вступили в силу.

source ollama.service
systemctl daemon-reload
systemctl restart ollama

Запустить службу оллама

# ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

намекать

star@star-ai:~$ ollama serve
Couldn't find '/home/star/.ollama/id_ed25519'. Generating new private key.
Your new public key is: 

ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIPmYsSi6aIsyhC4EHEsCdBtSOqnfKmNVSf0Ofz9sVzyB

Error: listen tcp 127.0.0.1:11434: bind: address already in use

Описание запущено

Перезагрузите конфигурацию и перезапустите олламу.

systemctl daemon-reload

systemctl restart ollama

ollama serve

Закрыть сервис
systemctl stop ollama
Запустить службу
systemctl start ollama

Запустить большую модель qwen

ollama run  qwen

При использовании ollama для запуска qwen загрузка ЦП составляет 300%, а памяти — 40%. В основном ответ на вопрос занимает много времени.

ollamaчиновникиз См. репозиторий модели здесь.：https://ollama.com/library

Alibaba из большой модели:
ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b Указывает, что модель содержит 1100 миллиардов (110 миллиардов) параметров


Большая модель Facebook:
ollama run llama2
ollama run llama3
ollama run llama3:8b

Google из большой модели:
ollama run gemma

Microsoft из большой модели
ollama run phi3

Удалить модель

Показать все модели
# список олламы

Удалить модель
# ollama rm llama3:последние

Вывод: вы можете установить ollama и использовать большие модели, но она не может работать бесперебойно.

Установите модель Tiny_Llama с ручным сбросом

Tiny_Llama ManualReset из гитеский адрес: https://gitee.com/wan-zutao/tiny-llama-manual-reset

1. Клонировать репозиторий

1. Используйте пользователя root для входа в среду и клонирования текущего хранилища в свободный каталог.

$ sudo -i
# git clone https://gitee.com/wan-zutao/tiny-llama-manual-reset.git tiny_llama
# cd tiny_llama/inference

2. Запустите download.sh

Загрузите файлы модели и токенизатора.

# bash download.sh

3. Запустите программу

python3 main.py

Доступ через браузер: IP+порт http://127.0.0.1:5000

Задайте вопрос:

В журнале будет ответ из журнала:

Затем используйте top, чтобы проверить загрузку. ЦП занимает 10% памяти и 9,5%, и в принципе он еще может работать.

Установите панель пагоды

BT Panel — это программное обеспечение для управления серверами, поддерживающее системы Linux. Оно позволяет легко управлять серверами через Интернет и повышать эффективность эксплуатации и обслуживания. Он объединяет создание, эксплуатацию и обслуживание веб-сайтов, безопасность и другие функции, которые могут помочь пользователям легко управлять серверами и снизить сложность эксплуатации и обслуживания.

Постройте панель пагоды

Войдите на официальный сайт пагоды https://www.bt.cn/new/download.html

Выберите подходящий системный скрипт

Запустите скрипт установки

# wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh ed8484bec
После установки
Command may disrupt existing ssh connections. Proceed with operation (y|n)? Firewall is active and enabled on system startup
Default incoming policy changed to 'deny'
(be sure to update your rules accordingly)
Firewall reloaded
==================================================================
Congratulations! Installed successfully!
======================= Информация для входа в учетную запись панели ===================== ====

 Адрес внешней сетевой панели: https://14.155.32.234:33161/f91c950f
 Адрес панели интранета: https://192.168.1.22:33161/f91c950f
 username: XXX
 password: XXX

Открыть в браузере

После согласия с соглашением установите Pagoda Kit.

Установка завершена

Пагода из командной строки

(base) root@orangepiaipro:~# bt
================================ Командная строка панели Пагода ============ =======================
(1) Перезапустить службу панели                  (8) Изменить порт панели                                   |
(2) Остановить обслуживание панели                  (9) Очистить кеш панели                                 |
(3) Запустить службу панели                  (10) Очистить ограничения входа                                |
(4) Сервис панели перегрузки                  (11) Установите, включать ли IP + Проверка пользовательского агента             |
(5) Изменить пароль панели                  (12) Отменить ограничения на привязку доменного имени                            |
(6) Изменить имя пользователя панели                (13) Снимите ограничения доступа по IP                              |
(7) Принудительно изменить пароль MySQL             (14) Просмотр информации о панели по умолчанию                            |
(22) Журнал ошибок панели дисплея             (15) Очистка системного мусора                                |
(23) Отключить аутентификацию BasicAuth            (16) Исправить панель (проверить наличие ошибок и обновить файлы панели до последней версии)    |
(24) Отключить аутентификацию по динамическому паролю             (17) Установите, сжимается ли резка бревен                        |
(25) Установите, сохранять ли копию истории файлов     (18) Установите, выполнять ли автоматическое резервное копирование панели.                        |
(26) закрыть панель SSL                  (19) Отключить ограничения региона входа в панель                        |
(28) Изменить входную панель безопасности             (29) Отменить проверку устройства доступа                            |
(0) Отмена                                                                           |
====================================================================================
Пожалуйста, введите номер команды:

Установить сайт WordPress

Чтобы войти в пагоду, нажмите на программу обеспечениемагазин--->Развертывание в один клик

Я выбираю здесь WordPress

использовать www.wp.com Настройте, это доменное имя можно привязать к хостам в тестовой среде.

Нажатие «Отправить» сообщит об ошибке.

Устраните ошибку неопределенного символа: lua_getexdata

Он должен быть скомпилирован nginx Lua Версия неarmиз

/www/server/nginx/sbin/nginx: symbol lookup error: /www/server/nginx/sbin/nginx: undefined symbol: lua_getexdata

Переключить версию nginx

нажмите на веб-сайт--->nginx --->Переключить версию

Меняем установку из 1.24изnginx на 1.23

nginx -t
nginx: [emerg] unknown directive "lua_package_path" in /www/server/nginx/conf/nginx.conf:28
nginx: configuration file /www/server/nginx/conf/nginx.conf test failed

Изменить конфигурацию

снова Установить сайт WordPress

Привязать доступ к хостам

192.168.1.22 www.testwp.com

использовать доступ через браузер и установить систему WordPress

Введите базу данных, имя пользователя и пароль базы данных и т. д.

Заполните информацию о сайте:

Установка завершена, и вы можете использовать инструмент Pagoda для создания различных веб-сайтов.

Конечно, вы также можете использовать графический интерфейс Docker пагоды для создания различных сервисов, что также очень удобно для тех, кто не умеет программировать.

Заключение

В этой статье описывается только использование Orange Pai AIpro, включающего большую языковую модель установки пагоды для создания веб-среды.

апельсиновый пирогAIpro Поддержка Ubuntu、Операционные системы, такие как openEuler, также можно использовать в качестве мощного инструмента для изучения Linux. Он также может удовлетворить потребности в проверке прототипов большинства алгоритмов ИИ.、Обоснование требований к разработке приложений.

Его также можно использовать для контроля и управления устройствами «умного дома» и т. д. Апельсиновый пирог AIpro также предлагает множество способов игры.

Что бы вы сделали, если бы у вас был такой гаджет?

Рекомендация

Категории

ИИ апельсиновый пирог

Новые посты

Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.

Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).

Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)

Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.

Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!

Идеальная интеграция Cursor и DeepSeek API

DeepSeek V3 снижает затраты на обучение больших моделей

Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).

DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».

Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.

Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле

Congratulation Lettie 🎉

Charles Franklin

New Message ✉️

Whoo! You have new order 🛒

Application has been approved 🚀

Monthly report is generated

Send connection request

New message from Jane

CPU is running high

Используйте Orange Pie AIpro для развертывания больших моделей и установки пагод для создания частной портативной среды веб-разработки.