Spring Boot обращается к примеру Java-кода общей большой модели HuggingFace Transformers
Spring Boot обращается к примеру Java-кода общей большой модели HuggingFace Transformers

Чтобы получить доступ к библиотеке Hugging Face Transformers и использовать общие большие модели (такие как BERT, GPT-3 и т. д.) в проекте Spring Boot, вы можете выполнить следующие шаги для написания кода Java: 1. Добавьте зависимости Сначала добавьте зависимость Java-библиотеки Hugging Face Transformers в файл pom.xml:

Язык кода:txt
копировать

xml
<dependencies>
    <!-- ... Другие зависимости ... -->

    <dependency>
        <groupId>com.huggingface</groupId>
        <artifactId>transformers</artifactId>
        <version>4.9.2</version> <!-- Используйте последнюю версию -->
    </dependency>

    <!-- Если вы планируете использовать ускорение графического процессора, вам также необходимо добавить следующие зависимости -->
    <dependency>
        <groupId>org.tensorflow</groupId>
        <artifactId>tensorflow</artifactId>
        <version>2.½.0</version> <!-- Используйте версию TensorFlow, совместимую с Transformers. -->
    </dependency>
</dependencies>

Обязательно замените последнюю версию библиотеки Transformers и версию TensorFlow, совместимую с ней. Если вы работаете в среде только с процессором, вы можете игнорировать зависимость TensorFlow. 2. Загрузите модель и токенизатор. В службе Spring Boot создайте класс или метод для загрузки необходимой большой модели и соответствующего токенизатора. Например, вот загрузка предварительно обученной модели BERT:

Язык кода:txt
копировать

import com.huggingface.transformers.BertConfig;
import com.huggingface.transformers.BertForSequenceClassification;
import com.huggingface.transformers.BertTokenizer;
import com.huggingface.transformers.PretrainedConfig;
import com.huggingface.transformers.PreTrainedModel;
import com.huggingface.transformers.PreTrainedTokenizer;

public class ModelLoader {

    private static final String MODEL_NAME = "bert-base-uncased";
    private static final String CACHE_DIR = "/path/to/model/cache"; // Укажите локальный каталог кэша или используйте значение по умолчанию (ноль).

    private PreTrainedModel model;
    private PreTrainedTokenizer tokenizer;

    public void loadModel() throws IOException {
        BertConfig config = BertConfig.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR);
        this.model = BertForSequenceClassification.from_pretrained(MODEL_NAME, config, cache_dir=CACHE_DIR);
        this.tokenizer = BertTokenizer.from_pretrained(MODEL_NAME, cache_dir=CACHE_DIR);
    }

    public PreTrainedModel getModel() {
        return model;
    }

    public PreTrainedTokenizer getTokenizer() {
        return tokenizer;
    }
}

В этом примере мы используем BertForSequenceClassification в качестве типа модели и указываем имя модели как bert-base-uncased. В зависимости от реальных потребностей вам может потребоваться загрузить различные типы моделей (например, GPT2LMHeadModel) и имена моделей (например, gpt2). `CACHE_DIR` указывает локальный каталог кэша файла модели. Для него можно установить определенный путь в проекте или оставить значение `null`, чтобы использовать местоположение кэша по умолчанию. 3. Примените модель для прогнозирования В своей бизнес-логике вы можете использовать загруженную модель и токенизатор для обработки и прогнозирования входного текста. Например, вот простая задача классификации текста:

Язык кода:txt
копировать

import java.util.List;
public class TextClassifier {

    private final ModelLoader modelLoader;

    public TextClassifier(ModelLoader modelLoader) {
        this.modelLoader = modelLoader;
    }

    public List<String> classifyText(String text) throws ExecutionException, InterruptedException {
        // Загрузить модель и токенизатор
        PreTrainedModel model = modelLoader.getModel();
        PreTrainedTokenizer tokenizer = modelLoader.getTokenizer();

        // Токенизация входного текста
        List<String> inputs = tokenizer.tokenize(text);
        List<Integer> inputIds = tokenizer.convert_tokens_to_ids(inputs);

        // Подготовьте входной тензор
        Integer[] inputArray = inputIds.stream().toArray(Integer[]::new);
        LongTensor inputTensor = LongTensor.create(inputArray);

        // Делайте прогнозы модели
        Tensor outputTensor = model.forward(inputTensor).toTensor();

        // Анализ меток категорий вывода и возврата.
        // ... Здесь выходной тензор анализируется в соответствии с конкретной структурой Модели и требованиями задачи, такими как взятие индекса категории с максимальной вероятностью и т. д.

        return categoryLabels; // Возвращает список прогнозируемых категорий
    }
}

Обратите внимание, что метод classifyText в приведенном выше коде является лишь примером. В реальных приложениях выходной тензор необходимо правильно проанализировать и получить в соответствии с конкретной структурой вывода и требованиями задачи выбранной модели (например, классификация текста, ответы на вопросы, генерация текста и т. д.) дают окончательный результат прогнозирования. Выполнив описанные выше шаги, вы можете успешно получить доступ к библиотеке Hugging Face Transformers в проекте Spring Boot и использовать в ней общую большую модель для выполнения задач обработки естественного языка. Не забудьте настроить выбор модели, пути загрузки, стратегии кэширования и логику прогнозирования в соответствии с фактическими условиями.

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose