Серия LLM «Обучение больших моделей, которую необходимо знать» (11): Теория и практика автоматической оценки больших моделей и подробное объяснение структуры оценки больших моделей

0.Предисловие

Оценка модели большого языка (LLM) является ключевым звеном в разработке и применении LLM. Современные методы оценки можно разделить на ручную оценку и автоматическую оценку. По сравнению с ручной оценкой, технология автоматической оценки обладает характеристиками высокой эффективности, хорошей последовательности, воспроизводимости и хорошей надежности и постепенно стала центром отраслевых исследований.

Технологию автоматической оценки моделей можно разделить на две категории: на основе правил и на основе моделей:

• Метод, основанный на правилах:
  • Тест в основном фокусируется на объективных вопросах, таких как вопросы с несколькими вариантами ответов. Тестируемый LLM определяет лучший ответ, понимая контекст/вопрос.
  • Разберите ответ LLM и сравните его со стандартным ответом.
  • Вычисление показателей (точность, румяна, синева и т. д.)
• Модельный метод:
  • модель рефери（e.g. GPT-4、Claude、Expert Models/Reward models）
  • LLM Peer-examination

Как оценить LLM

• Какие размеры?
  • Семантическое понимание (Понимание)
  • Рассуждение
  • Профессиональные способности (напр. coding、math）
  • Возможности приложений (MedicalApps, AgentApps, AI-FOR-SCI …）
  • Инструкция, которой необходимо следовать (Инструкция Following）
  • Надежность
  • Предвзятость
  • Галлюцинации
  • Безопасность

Пример: ГПТ-4 vs Сравнительная оценка размеров возможностей LLaMA2-7B

1. Метод автоматической оценки.

Оценка эффективности модели

• Тесты & Metrics）

• Автоматическая оценка на основе правил

Основной процесс

• По мнению Набора данные исходный вопрос для создания подсказки

Пример (несколько кадров)

Пример: малозарядный with CoT

    # Examples in BBH
    
    Evaluate the result of a random Boolean expression.
    
    Q: not ( ( not not True ) ) is
    A: Let's think step by step.
    Remember that (i) expressions inside brackets are always evaluated first and that (ii) the order of operations from highest priority to lowest priority is "not", "and", "or", respectively.
    We first simplify this expression "Z" as follows: "Z = not ( ( not not True ) ) = not ( ( A ) )" where "A = not not True".
    Let's evaluate A: A = not not True = not (not True) = not False = True.
    Plugging in A, we get: Z = not ( ( A ) ) = not ( ( True ) ) = not True = False. So the answer is False.
    
    Q: True and False and not True and True is
    A: Let's think step by step.
    Remember that (i) expressions inside brackets are always evaluated first and that (ii) the order of operations from highest priority to lowest priority is "not", "and", "or", respectively.
    We first simplify this expression "Z" as follows: "Z = True and False and not True and True = A and B" where "A = True and False" and "B = not True and True".
    Let's evaluate A: A = True and False = False.
    Let's evaluate B: B = not True and True = not (True and True) = not (True) = False.
    Plugging in A and B, we get: Z = A and B = False and False = False. So the answer is False.

• Модель Прогноз

Generate

    # Demo -- model_genereate Генерировать ответ напрямую
    
    def model_generate(query: str, infer_cfg: dict) -> str:
    
        inputs = tokenizer.encode(query)
        input_ids = inputs['input_ids']
        ...
    
        # Process infer cfg (do_sample, top_k, top_p, temperature, special_tokens ...)
        generation_config = process_cfg(args)
        ...
      
        # Run inference
        output_ids = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            generation_config=generation_config,
        )
    
        response = tokenizer.decode(output_ids, **decode_kwargs)
        return response

Likelihood

#Demo -- Метод model_call вычисляет логарифмическое правдоподобие
    
    # context + continuation Сращивание, пример:
    # Question： Какая столица Франции?
    # Choices： А.Пекин  Б.Париж  К. Бургер  Д.Нью-Йорк
      # pair-1: (ctx, cont) = (Какая столица Франции?,А.Пекин)
      # pair-2: (ctx, cont) = (Какая столица Франции?,Б.Париж)
      # pair-3: (ctx, cont) = (Какая столица Франции?,К. Бургер)
      # pair-4: (ctx, cont) = (Какая столица Франции?,Д.Нью-Йорк)
    # Logits --> 
    
    def loglikelihood(self, inputs: list, infer_cfg: dict = None) -> list:
        # To predict one doc
        doc_ele_pred = []
        for ctx, continuation in inputs:
    
            # ctx_enc shape: [context_tok_len]  cont_enc shape: [continuation_tok_len]
            ctx_enc, cont_enc = self._encode_pair(ctx, continuation)
    
            inputs_tokens = torch.tensor(
                (ctx_enc.tolist() + cont_enc.tolist())[-(self.max_length + 1):][:-1],
                dtype=torch.long,
                device=self.model.device).unsqueeze(0)
    
            logits = self.model(inputs_tokens)[0]
            logits = torch.nn.functional.log_softmax(logits.float(), dim=-1)
    
            logits = logits[:, -len(cont_enc):, :]
            cont_enc = cont_enc.unsqueeze(0).unsqueeze(-1)
            logits = torch.gather(logits.cpu(), 2, cont_enc.cpu()).squeeze(-1)
    
            choice_score = float(logits.sum())
            doc_ele_pred.append(choice_score)
    
        # e.g. [-2.3, 1.1, -12.9, -9.2], length=len(choices)
        return doc_ele_pred

2. Показатели оценки (Метрики)

• WeightedAverageAccuracy Средневзвешенная точность
• Растерянность
• Rouge (Recall-Oriented Understudy for Gisting Evaluation)
• Bleu (Bilingual evaluation understudy)
• ELO Rating System
• PASS@K

2.1 Автоматическая оценка на основе модели

• Централизованная оценка
  • Централизованная В режиме настройки,модель Есть только один рефери, высокая надежность, но простая в получении модель. предвзятое влияние рефери
• идти Централизованная оценка
  • идти Централизованная метод оценки требует коллегиальной экспертизы между Моделью
  • Он характеризуется хорошей справедливостью, но большим объемом вычислений и низкой надежностью.

модель рефери

• GPT-4, Claude, Qwen-Max и т. д. (API продукта)
• PandLM、Auto-J (tuned from LLM, like LLaMA)
• Reward models (Ranking learning)
• Chatbot Arena -Режим арены
  • （Battle count of each combination of models, from LMSYS）

• （Fraction of Model A wins for all non-tied A vs. B battles, from LMSYS）

• LLM командование атакой и защитой
  • вводное обучение (Побуждает Модель выводить целевой ответ, из SuperCLUE)

  

  • Вредная инструктирующая инъекция (Внесите в подсказку реальное вредоносное намерение, from SuperCLUE)

  

2.2 Оценка эффективности модели

model serving performance evaluation

2.3 Проблемы и вызовы

1. Базовый сбой&данные Уступи дорогу

• статический набор данныеи Быстро развивающиеся возможности LLM образуют пробел, приводящий к провалу тестов
• Публичные тесты были переданы в отделы разработки PT, CPT, SFT и другие каналы разработки LLM.

Решение: динамичный Набор данных

1. модель Верхний предел способностей рефери

• модель Рефери имеет очевидные пределы возможностей, и трудно претендовать на оценочную работу с большим количеством сцен и более сильной моделью.
• проблема обобщения
• Проблемы диагностики галлюцинаций LLM

3. Практика оценки LLM

Платформа LLMuses — легкая, комплексная платформа автоматической оценки для больших моделей.

GitHub: https://github.com/modelscope/llmuses

Свойства фрейма

• Предустановленные часто используемые тестовые тесты, в том числе: MMLU, C-Eval, GSM8K, ARC, HellaSwag, TruthfulQA, MATH, HumanEval, BBH, GeneralQA и т. д.
• Внедрение общеиспользуемых показателей оценки (метрик)
• Унифицированный доступ к модели, совместимый с интерфейсами генерации и чата нескольких серий моделей.
• Автоматическая оценка объективных вопросов
• Автоматическая оценка сложных задач с помощью экспертов Модель
• Режим Арены (Арена)
• Формирование и визуализация отчета об оценке
• LLMпроизводительность Обзор（Performance Evaluation）

Установка среды

    # 1. Загрузка кода
    git clone git@github.com:modelscope/llmuses.git
    
    # 2. Установить зависимости
    cd llmuses/
    pip install -r requirements/requirements.txt
    pip install -e .

1. Простой обзор

  python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets ceval --outputs ./outputs/test --limit 10

• –model: ModelScopeМодельid, (https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary) , также может быть локальным путем к Модели
• –datasets: Набор данныхизid
• –limit: (каждая подзадача) максимальное количество оценочных образцов

1. Оценка с параметрами

    python llmuses/run.py --model ZhipuAI/chatglm3-6b --outputs ./outputs/test2 --model-args revision=v1.0.2,precision=torch.float16,device_map=auto --datasets arc --limit 10

• –model-args: Параметры модели, разделенные запятыми, формат ключ=значение.
• –datasets: Набор имя данных, см. «Набор» ниже. глава списка данных
• –mem-cache: Использовать ли кэш памяти. Если он включен, запущенные файлы будут автоматически кэшироваться и сохраняться на локальном диске.
• –limit: Максимальная сумма оценки для каждого подмножества

1. Режим арены – одиночный режим

Одиночный режим с использованием экспертной модели (GPT-4) для оценки тестируемого LLM.

    # Example
    python llmuses/run_arena.py --c registry/config/cfg_single.yaml --dry-run

1. Режим арены – базовый режим

Базовый режим: выберите базовую модель и сравните другие LLM, которые будут протестированы с этой моделью.

    # Example
    python llmuses/run_arena.py --dry-run --c registry/config/cfg_pairwise_baseline.yaml

1. Режим арены – парный режим

Парный режим, тестируемый LLM воспроизводится парами.

    python llmuses/run_arena.py -c registry/config/cfg_arena.yaml --dry-run

1. Отчет об оценке эффективности

Храните данные в заранее определенном формате и используйтеstreamlit для запуска сервисов визуализации.

    # Usage:
    streamlit run viz.py -- --review-file llmuses/registry/data/qa_browser/battle.jsonl --category-file llmuses/registry/data/qa_browser/category_mapping.yaml

• Визуализация отчета

• Leaderboard: https://modelscope.cn/leaderboard/58/ranking?type=free

1. Оценка производительности модели (Perf Eval)

Пример отчета об оценке эффективности

4. Рамки оценки больших моделей

Ссылка: https://github.com/modelscope/eval-scope

Оценка большой языковой модели (LLM) Оценка) стала важным процессом и средством оценки и улучшения большой Модели. Чтобы лучше поддерживать оценку большой Модели, мы предложили llmusesramka, которая в основном включает в себя следующие части:

• Предустановка нескольких часто используемых тестовых тестов данных,В том числе: MMLU, CMMLU, C-Eval, GSM8K, ARC, HellaSwag, TruthfulQA, MATH, HumanEval и т. д.
• Внедрение общеиспользуемых показателей оценки (метрик)
• Унифицированный доступ к модели, совместимый с интерфейсами генерации и чата нескольких серий моделей.
• Автоматическая оценка (оценщик):
  • Автоматическая оценка объективных вопросов
  • Автоматическая оценка сложных задач с помощью экспертов Модель
• Создание отчета об оценке
• Режим Арены (Арена)
• Инструменты визуализации
• Модельпроизводительность Оценивать
• Функции
• Легкий, минимизируйте ненужную абстракцию и настройку.
• Легко настроить
  • Вам нужно реализовать только один класс для доступа к новому Набору. данных
  • Модель Может быть размещен наModelScopeначальство,Просто нужноmodel Вы можете начать проверку одним щелчком мыши, используя свой идентификатор.
  • Поддержка локального уровня. Модель может быть развернута локально.
  • Оценивать Визуализация отчетапоказывать
• Богатые индикаторы оценки
• Процесс автоматической оценки на основе модели поддерживает несколько режимов оценки.
  • Одиночный режим: Экспертная модель оценивает одну модель.
  • Pairwise-baseline mode: и baseline Модельконтраст
  • Pairwise (all) mode: Все модели попарное сравнение

4.1 Подготовка окружающей среды

Мы рекомендуем использовать conda для управления средой и pip для установки зависимостей:

1. Создать среду Конды

conda create -n eval-scope python=3.10
conda activate eval-scope

1. Установить зависимости

pip install llmuses

• Установить из исходного кода

1. Скачать исходный код

git clone https://github.com/modelscope/eval-scope.git

1. Установить зависимости

cd eval-scope/
pip install -e .

4.2 Быстрый старт

• Простая оценка В указанном количестве Набор Чтобы оценить определенную Модель по данным, процесс выглядит следующим образом: Если он установлен с помощью git, его можно выполнить по любому пути:

python -m llmuses.run --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --limit 100

Если вы используете исходный код для установки, выполните по пути eval-scope:

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets mmlu ceval --limit 10

Среди них параметр –model указывает ModelScope модели. model id,Модель Связь：ZhipuAI/chatglm3-6b

• С оценкой параметров

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --model-args revision=v1.0.2,precision=torch.float16,device_map=auto --datasets mmlu ceval --use-cache true --limit 10

python llmuses/run.py --model qwen/Qwen-1_8B --generation-config do_sample=false,temperature=0.0 --datasets ceval --dataset-args '{"ceval": {"few_shot_num": 0, "few_shot_random": false}}' --limit 10

параметриллюстрировать：

• –model-args: Параметры модели, разделенные запятыми, формат ключ=значение.
• –datasets: Набор имя данных, поддерживает ввод нескольких наборов данных,Используйте пробелы для разделения,См. нижеНабор данных列表章节
• --use-cache: использовать ли локальный кеш,По умолчаниюfalse;если дляtrue,тогда комбинация данных Модели Набора, которая уже была оценена, не будет оцениваться снова,Чтение непосредственно из локального кеша
• –dataset-args: Набор данныхизevaluation настройки, передаются в формате json, ключ — Набор имя данных, значение — это параметр. Обратите внимание, что оно должно соответствовать значению параметра –datasets.
  • –few_shot_num: количество нескольких выстрелов
  • –few_shot_random: следует ли случайным образом выбирать несколько кадров,Если не установлено,По умолчанию верно
• –limit: Максимальная сумма оценки для каждого подмножества
• –template-type: Этот параметр необходимо указать вручную, чтобы eval-scope мог правильно определить тип Модели и использовать его для установки модели. generation config。

О --template-type,Подробную информацию см.：Список типов моделей Вы можете использовать следующий метод для просмотра шаблона модели. type list：

from llmuses.models.template import TemplateType
print(TemplateType.get_template_name_list())

4.3 Использование локальных наборов данных

Набор данных По умолчанию размещается по адресуModelScopeначальство,Для загрузки требуется подключение к Интернету. Если нет сетевого окружения,Вы можете использовать локальный Набор данных, процесс выглядит следующим образом:

• Загрузить Набор данных на локальный компьютер

#Если текущий локальный рабочий путь — /path/to/workdir
wget https://modelscope.oss-cn-beijing.alyuncs.com/open_data/benchmark/data.zip
разархивировать data.zip

Затем распакованный Набор Путь к данным:/path/to/workdir/data каталог, который будет передан в качестве значения параметра –dataset-dir на последующих шагах.

• Создание задач оценки с использованием локального набора данных.

python llmuses/run.py --model ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10

#параметриллюстрировать
#--dataset-hub: Набор источник данных, значение перечисления: `ModelScope`, `Local`, `HuggingFace` (TO-DO)  По умолчанию — ModelScope.
#-dataset-dir: Когда --dataset-hub имеет значение «Локальный», этот параметр относится к локальному набору данныхпуть; если --dataset-hub Установите значение ModelScope. or `HuggingFace`, значение этого параметра — Набор путь к кэшу данных.

• (Необязательно) Загрузить обзоры Модели в автономной среде. Файлы моделей, размещенные на ModelScope Для загрузки сторона концентратора должна быть подключена к Интернету. Если вам необходимо создать оценочную задачу в автономной среде, выполните следующие действия:

#1. Подготовьте локальную папку модели. Структура папки относится к ссылке Chatglm3-6b: https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files.
#Например, загрузите всю папку Модель по локальному пути /path/to/ZhipuAI/chatglm3-6b

#2. Выполнять задачи автономной оценки
python llmuses/run.py --model /path/to/ZhipuAI/chatglm3-6b --template-type chatglm3 --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10

4.4. Используйте функцию run_task для отправки задач оценки.

• Задачи настройки

import torch
from llmuses.constants import DEFAULT_ROOT_CACHE_DIR

#пример
your_task_cfg = {
        'model_args': {'revision': None, 'precision': torch.float16, 'device_map': 'auto'},
        'generation_config': {'do_sample': False, 'repetition_penalty': 1.0, 'max_new_tokens': 512},
        'dataset_args': {},
        'dry_run': False,
        'model': 'ZhipuAI/chatglm3-6b',
        'datasets': ['arc', 'hellaswag'],
        'work_dir': DEFAULT_ROOT_CACHE_DIR,
        'outputs': DEFAULT_ROOT_CACHE_DIR,
        'mem_cache': False,
        'dataset_hub': 'ModelScope',
        'dataset_dir': DEFAULT_ROOT_CACHE_DIR,
        'stage': 'all',
        'limit': 10,
        'debug': False
    }

• выполнять задачи

from llmuses.run import run_task

run_task(task_cfg=your_task_cfg)

4.4.1 Режим Арены (Арена)

Режим арены позволяет оценивать несколько моделей-кандидатов посредством парных сражений, и вы можете использовать процесс автоматической оценки AI Enhanced Auto-Reviewer (AAR) или ручную оценку, чтобы окончательно получить отчет об оценке. Пример процесса: следует:

• Экологическая подготовка

a. данные Подготовить,questions Ссылка на формат данных: llmuses/registry/data/question.jsonl.
b. Если вам нужно использовать процесс автоматической оценки (AAR), вам необходимо настроить соответствующие переменные среды. Мы используем GPT-4. based Если взять в качестве примера процесс автоматического рецензента, необходимо настроить следующие переменные среды:
> export OPENAI_API_KEY=YOUR_OPENAI_API_KEY

• Конфигурационный файл

Конфигурация процесса оценки арены файлссылка： llmuses/registry/config/cfg_arena.yaml
Полеиллюстрировать：    questions_file: question путь к данным
    answers_gen: Результаты прогнозирования модели-кандидата генерируются с поддержкой нескольких моделей. Вы можете контролировать, следует ли включать модель, с помощью параметра Enable.
    reviews_gen: Результаты оценки генерируются. В настоящее время GPT-4 используется в качестве автоматического рецензента по умолчанию. Вы можете указать, следует ли включать этот шаг, с помощью параметра Enable.
    elo_rating: ELO rating алгоритм,Вы можете контролировать, следует ли включать этот шаг, с помощью параметра Enable.,Обратите внимание, что этот шаг зависит от файла review_file, который должен существовать.

• Выполнить скрипт

#Usage:
cd llmuses

#режим пробного запуска (Модельответ генерируется нормально, но экспертная Модель не запускается, и результаты оценки будут генерироваться случайным образом)
python llmuses/run_arena.py -c registry/config/cfg_arena.yaml --dry-run

#Выполняем процесс оценки
python llmuses/run_arena.py --c registry/config/cfg_arena.yaml

• Визуализация результатов

#Usage:
streamlit run viz.py -- --review-file llmuses/registry/data/qa_browser/battle.jsonl --category-file llmuses/registry/data/qa_browser/category_mapping.yaml

4.4.2 Режим оценки одной модели (одиночный режим)

В этом режиме мы оцениваем выходные данные только одной модели без попарных сравнений.

• Конфигурационный файл

Процесс оценки Конфигурационного файлссылка： llmuses/registry/config/cfg_single.yaml
Полеиллюстрировать：    questions_file: question путь к данным
    answers_gen: Результаты прогнозирования модели-кандидата генерируются с поддержкой нескольких моделей. Вы можете контролировать, следует ли включать модель, с помощью параметра Enable.
    reviews_gen: Результаты оценки генерируются. В настоящее время GPT-4 используется в качестве автоматического рецензента по умолчанию. Вы можете указать, следует ли включать этот шаг, с помощью параметра Enable.
    rating_gen: rating алгоритм,Вы можете контролировать, следует ли включать этот шаг, с помощью параметра Enable.,Обратите внимание, что этот шаг зависит от файла review_file, который должен существовать.

• Выполнить скрипт

#Example:
python llmuses/run_arena.py --c registry/config/cfg_single.yaml

4.4.3 Режим сравнения базовой модели (режим Pairwise-baseline)

В этом режиме мы выбираем базовую модель, сравниваем и оцениваем другие модели с помощью базовой модели. В этом режиме можно легко добавлять новые модели в таблицу лидеров (вам нужно только один раз запустить и оценить новую модель и базовую модель).

• Конфигурационный файл

Процесс оценки Конфигурационного файлссылка： llmuses/registry/config/cfg_pairwise_baseline.yaml
Полеиллюстрировать：    questions_file: question путь к данным
    answers_gen: Результаты прогнозирования модели-кандидата генерируются с поддержкой нескольких моделей. Вы можете контролировать, следует ли включать модель, с помощью параметра Enable.
    reviews_gen: Результаты оценки генерируются. В настоящее время GPT-4 используется в качестве автоматического рецензента по умолчанию. Вы можете указать, следует ли включать этот шаг, с помощью параметра Enable.
    rating_gen: rating алгоритм,Вы можете контролировать, следует ли включать этот шаг, с помощью параметра Enable.,Обратите внимание, что этот шаг зависит от файла review_file, который должен существовать.

• Выполнить скрипт

#Example:
python llmuses/run_arena.py --c llmuses/registry/config/cfg_pairwise_baseline.yaml

4.5 Список наборов данных

4.6 Список лидеров

ModelScope LLM Leaderboard Большая оценка модели Список призван предоставить объективный и всеобъемлющий стандарт оценки и платформу, которая поможет исследователям и разработчикам понять и сравнить производительность при выполнении различных задач в ModelScope.

Leaderboard

4.7 Эксперименты и отчеты

• Target – The official claimed score of the model on the dataset
• Delta – The difference between the WeightedAvg score and the Target score
• Settings: (Split: test, Total num: 13985, 5-shot)

4.8 Инструменты оценки эффективности

Инструмент стресс-тестирования, ориентированный на большой язык Модель,Настраивается для поддержки различных форматов набора данных.,И различные форматы протоколов API.