О загрузке модели Huggingface:

Загрузка вручную (время тестирования 20240328):

suno/bark · Hugging Face

https://hf-mirror.com/suno/bark

Зеркало Цинхуа: https://mirrors.tuna.tsinghua.edu.cn/

Способ первый:

Способ использования зеркала с обнимающим лицом: HF_ENDPOINT=https://hf-mirror.com python yourmodel.py

Загрузка кода:

import llama

#MODEL = '/home/guo/llama_test/llama_model'

MODEL = 'decapoda-research/llama-7b-hf'

# MODEL = 'decapoda-research/llama-13b-hf'

# MODEL = 'decapoda-research/llama-30b-hf'

# MODEL = 'decapoda-research/llama-65b-hf'

#Рекомендуется использовать тунец и бфсу

tokenizer = llama.LLaMATokenizer.from_pretrained(MODEL,mirror='tuna')

model = llama.LLaMAForCausalLM.from_pretrained(MODEL, mirror='tuna',low_cpu_mem_usage = True)

model.to('cpu')

batch = tokenizer("Yo mama", return_tensors = "pt")

print(tokenizer.decode(model.generate(batch["input_ids"], max_length=100)[0]))

Способ 2. Загрузка файлов модели вручную (навязчивый)

wget https://hf-mirror.com/hfd/hfd.sh

chmod a+x hfd.sh

export HF_ENDPOINT=https://hf-mirror.com/hfd.sh openai-community/gpt2

--tool aria2c -x 4 Соответствующий путь к загруженной библиотеке моделей: openai-community/gpt2 · HF Mirror

О загрузке зеркального склада github

В настоящее время в Китае доступны следующие зеркальные веб-сайты:

# Сервер расположен в Гонконге

https://github.com.cnpmjs.org

# Сервер расположен в Ханчжоу.

https://gitclone.com

# Сервер расположен в Гонконге

https://doc.fastgit.org

Например, при клонировании определенного кода используется следующая команда:

git clone https://github.com/XXXXX

Выберите один из приведенных выше адресов зеркальных веб-сайтов, например, выберите https://doc.fastgit.org (Лично часто используется), измените команду на:

git clone https://hub.fastgit.org/XXXXX

Обратите внимание: не входите на указанный выше веб-сайт. Пожалуйста, войдите на веб-сайт, чтобы проверить соответствующую команду замены, прежде чем выполнять замену. На разных веб-сайтах используются разные методы замены.

Или используйте глобальные параметры для изменения параметров git.

git config --global url."https://hub.fastgit.org/".insteadOf "https://github.com/"

После изменения глобальных параметров используйте vim ~/.gitconfig Вы можете просмотреть текущий файл конфигурации, выполнив команду, и увидеть следующую конфигурацию.

[url "https://url you choose"] insteadOf = https://github.com/

Об источнике pypi:

Linux входит в ~/.pip/pip.conf

[global]

index-url=http://mirrors.aliyun.com/pypi/simple

trusted-host=mirrors.aliyun.com

Окно входит в ~/pip/pip.conf

[global]

index-url=http://mirrors.aliyun.com/pypi/simple

trusted-host=mirrors.aliyun.com

Что касается источника conda (срок действия всех отечественных источников истек, рекомендуется напрямую использовать зарубежный источник по умолчанию, скорость в порядке):

Измените источник conda в ~/.condarc:

channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/

show_channel_urls: true

ssl_verify: false