Ядром llama2.c должен быть run.c, который является механизмом вывода. Обучение относительно простое. Давайте сначала его проанализируем.

1. run train on cpu

Запуск кода — это быстрый способ обучения и исследования. Хотя рекомендуемая конфигурация llama2.c — запуск четырех DDP A100 в течение нескольких часов, изменение параметров обучения (снизив их до самых низких) для запуска — это мой первый шаг. . Работа. (centos, gcc-9), вам необходимо сначала переключиться на среду bash gcc 9

scl enabledevtoolset-9 bash
python train.py --device=cpu --batch_size=8 --eval_iters=5

Рисунок 1. Запуск train.py.

Рисунок 2. Использование ресурсов обучения

2. Config

2.1 config items

Соответствующие настраиваемые параметры и классификации приведены ниже, но некоторые настройки параметров DDP (параллельное распространение данных) не были проверены, поскольку у бедных людей нет возможности их установить.

Рисунок 3 – Настраиваемые параметры

2.2 custom config

Рисунок 4 – Настройка параметров обучения

train.py начинается с установки параметров по умолчанию. Параметры командной строки поддерживаются через configurator.py. Вы можете ввести конфигурацию файла py, чтобы перезаписать ее. Он также поддерживает перезапись предыдущих настроек через --key=value. Конечно, проще всего запускать их все, используя словарь параметров.

3.train loop

Общий цикл поезда относительно прост и может быть резюмирован следующим образом:

картина5-поездный рабочий процесс

Рисунок 6 – петля поезда