1. Введение

Под трансформерами здесь подразумевается большая библиотека моделей, разработанная HuggingFace, которая предоставляет прогнозирование, обучение и другие услуги для десятков тысяч предварительно обученных больших моделей на HuggingFace.

🤗 Transformers предоставляет тысячи предварительно обученных моделей, поддерживающих классификацию текста, извлечение информации, ответы на вопросы, обобщение, перевод и генерацию текста на более чем 100 языках. Его цель — сделать новейшие технологии НЛП доступными для каждого. 🤗 Transformers предоставляет API, который легко загрузить и использовать, позволяя применять предварительно обученные модели к заданному тексту, точно настраивать их в своем наборе данных и делиться ими с сообществом через центр моделей. В то же время каждый определенный модуль Python полностью независим, что позволяет легко модифицировать и быстро проводить исследовательские эксперименты. 🤗 Transformers поддерживает три самые популярные библиотеки глубокого обучения: Jax, PyTorch и TensorFlow — и легко интегрируется с ними. Вы можете напрямую обучать свою модель с помощью одной платформы, а затем загружать и делать выводы с помощью другой.

Эта статья посвященаsafetensorsИспользование библиотеки。

два、safetensorsБиблиотека

2.1 Обзор

safetensors是一个Библиотека,Разработан для обеспечения безопасности хранилища и нагрузки машинного обучения Модель,Специально для модели PyTorch. Это повышает безопасность за счет шифрования и проверки модельных данных.,Предотвратите подделку данных.

2.2 Как использовать

2.2.1 Установить защитные датчики

первый,Обязательно установитеsafetensorsБиблиотека。может пройтиpipУстановить：

   pip install safetensors

2.2.2 Сохранение веса модели

использоватьsafetensorsСохранение веса модели,而不是直接использоватьPyTorchиз.save()метод。

   import torch
   from safetensors.torch import save_file

   # Предположим, что модель — это ваш экземпляр Модели.
   model_state_dict = model.state_dict()
   # Сохранить модель в формате защитных датчиков
   save_file(model_state_dict, "model.safetensors")

Соответствующий метод сохранения модели с помощью pytorch

# Сохранить словарь статуса модели
torch.save(model.state_dict(), 'model.pth')

# Загрузить словарь статуса модели
model = YourModelClass()  # Инициализировать экземпляр модели
model.load_state_dict(torch.load('model.pth'))  # Грузовые веса
model.eval()  # Если это модель предварительного обучения, она обычно устанавливается в режим оценки.

2.2.3 Загрузка веса модели

во время загрузки,同样использоватьsafetensorsиз专用函数。

   from safetensors.torch import load_file

   # Загрузка веса модели
   loaded_state_dict = load_file("model.safetensors")
   # Загрузка в модель
   model.load_state_dict(loaded_state_dict)

использоватьsafetensorsчас,Модельиз加载和保存方式与直接использоватьPyTorchиз.ptили.pthФайлы разные,Он обеспечивает дополнительные функции безопасности.,Особенно с точки зрения распространения и совместного использования Модели.

3. Резюме

本篇内容展示了如何использоватьбиблиотека защитных датчиков,Основные функцииРазработан для обеспечения безопасности хранилища и нагрузки машинного обучения Модель,Специально для модели PyTorch. Это повышает безопасность за счет шифрования и проверки модельных данных.,Предотвратите подделку данных.