Внедрение промежуточного программного обеспечения универсального сервиса хранения файлов через протокол S3.
Внедрение промежуточного программного обеспечения универсального сервиса хранения файлов через протокол S3.

Внедрение промежуточного программного обеспечения универсального сервиса хранения файлов через протокол S3.


введение

При ежедневной разработке служб, связанных с загрузкой файлов, в качестве системы хранения файлов обычно выбираются службы oss, предоставляемые Tencent Cloud, Alibaba Cloud, Qiniu Cloud и т. д. Если вам нужно создать собственную систему хранения файлов, проекты с открытым исходным кодом. обычно используются такие, как minio.

Но задумывались ли вы когда-нибудь, что клиентские SDK, предоставляемые разными производителями или проектами с открытым исходным кодом, различаются. Если базовую файловую систему необходимо переключить во время разработки проекта, это обычно означает, что нам необходимо полностью заменить соответствующий код загрузки файлов. это проект микросервиса, вам необходимо заменить весь код, который использует микросервис загрузки файлов SDK, что, очевидно, принесет огромную рабочую нагрузку.

Для решения вышеуказанной проблемы у нас есть следующие две идеи:

  • В проекте написан отдельный интерфейс уровня абстракции для загрузки файлов. Для разных базовых систем хранения файлов могут быть предусмотрены соответствующие реализации:

Эту идею легко придумать, используя модель фасада для защиты базовой реализации от вызывающего объекта, но на самом деле существует более краткий метод реализации.

  • В основном все услуги OSS, предоставляемые поставщиками облачных услуг и Открыто. исходный Все проекты OSS кода следуют протоколу S3 и просты. Storage Аббревиатура Service — это простая служба хранения, поэтому мы фактически используем ее здесь для написания общего промежуточного программного обеспечения для файлов. После использования этого промежуточного программного обеспечения клиентский API, который мы написали, может получить доступ к любому сервису oss, реализующему протокол S3.

Используйте демо-версию

Здесь мы используем Minio в качестве демонстрационного примера. Если вы не знаете minio, вы можете узнать о нем в официальной документации minio. Давайте сначала установим minio с помощью docker:

Установить минио

Язык кода:javascript
копировать
docker pull minio/minio

docker run --name minio \
-p 9000:9000 \
-p 9090:9090 \
-d --restart=always \
-e "MINIO_ROOT_USER=admin" \
-e "MINIO_ROOT_PASSWORD=admin123" \
-v /usr/local/minio/data:/data \
-v /usr/local/minio/config:/root/.minio \
minio/minio server /data \
--console-address '0.0.0.0:9090'

Обратите внимание, что консольный порт здесь необходимо задать отдельно, иначе будет выдано сообщение об ошибке и доступ будет недоступен.

В этом методе установки пользовательские ключи доступа и секретные ключи MinIO переопределяют автоматически сгенерированные ключи MinIO.

Вход в клиент(Браузер):Уведомление—>порт здесь,Это консольный порт, который вы установили: 9090.

Логином и паролем здесь являются имя пользователя и пароль, установленные при запуске службы: admin admin123.

Базовая работа minio не будет подробно описываться, она аналогична обычной службе oss.


Билд Стартер

  • адрес склада в гите

https://gitee.com/DaHuYuXiXi/common-oss-service

  • Структура модуля
  • конфигурация помпа
Язык кода:javascript
копировать
<dependencies>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk-s3</artifactId>
        <version>1.12.267</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.24</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-autoconfigure</artifactId>
        <version>2.3.12.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-configuration-processor</artifactId>
        <version>2.7.3</version>
        <optional>true</optional>
    </dependency>
</dependencies>
  • Создайте общий интерфейс службы OSS, соответствующий протоколу S3.
Язык кода:javascript
копировать
package com.oss.client;

import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.model.PutObjectResult;
import com.amazonaws.services.s3.model.S3Object;

import java.io.IOException;
import java.io.InputStream;

/**
 * Oss Основные операции
 * Если вам нужны более сложные операции, вы можете напрямую получить AmazonS3 через AmazonS3. выполнять сложные операции
 * https://docs.aws.amazon.com/zh_cn/sdk-for-java/v1/developer-guide/examples-s3-buckets.html
 */
public interface OssClient{
    /**
     * Создать сегмент
     * @param bucketName
     */
    void createBucket(String bucketName);

    /**
     * Получить URL
     * @param bucketName
     * @param objectName
     * @return
     */
    String getObjectURL(String bucketName, String objectName);


    /**
     * Получить информацию об объекте хранения
     * @param bucketName
     * @param objectName
     * @return
     */
    S3Object getObjectInfo(String bucketName, String objectName);


    /**
     * Загрузить файлы
     * @param bucketName
     * @param objectName
     * @param stream
     * @param size
     * @param contextType
     * @return
     * @throws IOException
     */
    PutObjectResult putObject(String bucketName, String objectName, InputStream stream, long size, String contextType) throws IOException;


    default PutObjectResult putObject(String bucketName, String objectName, InputStream stream) throws IOException{
        return putObject(bucketName,objectName,stream, stream.available(), "application/octet-stream");
    }

    AmazonS3 getS3Client();
}
  • Класс реализации
Язык кода:javascript
копировать
package com.oss.client;


import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.model.ObjectMetadata;
import com.amazonaws.services.s3.model.PutObjectRequest;
import com.amazonaws.services.s3.model.PutObjectResult;
import com.amazonaws.services.s3.model.S3Object;
import lombok.RequiredArgsConstructor;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;

/**
 * s3 это соглашение
 * S3 – это просто Storage Аббревиатура Service, то есть простая служба хранения.
 * @author zdh
 */
@RequiredArgsConstructor
public class S3OssClient implements OssClient {

    private final AmazonS3 amazonS3;


    @Override
    public void createBucket(String bucketName) {
        if (!amazonS3.doesBucketExistV2(bucketName)) {
            amazonS3.createBucket((bucketName));
        }
    }

    @Override
    public String getObjectURL(String bucketName, String objectName) {
        URL url = amazonS3.getUrl(bucketName, objectName);
        return url.toString();
    }

    @Override
    public S3Object getObjectInfo(String bucketName, String objectName) {
        return amazonS3.getObject(bucketName, objectName);
    }

    @Override
    public PutObjectResult putObject(String bucketName, String objectName, InputStream stream, long size, String contextType) throws IOException {
        ObjectMetadata objectMetadata = new ObjectMetadata();
        objectMetadata.setContentLength(size);
        objectMetadata.setContentType(contextType);
        PutObjectRequest putObjectRequest = new PutObjectRequest(bucketName, objectName, stream, objectMetadata);
        putObjectRequest.getRequestClientOptions().setReadLimit(Long.valueOf(size).intValue() + 1);
        return amazonS3.putObject(putObjectRequest);
    }

    @Override
    public AmazonS3 getS3Client() {
        return amazonS3;
    }
}
  • Соответствующий класс конфигурации
Язык кода:javascript
копировать
package com.oss.config;

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;

@ConfigurationProperties(prefix = "oss")
@Data
public class OssProperties {

    private boolean enable = true;

    private String accessKey;

    private String accessSecret;

    /**
     * endpoint Формат конфигурации:
     * При доступе к OSS-сервисам через внешнюю сеть доступные OSS-ресурсы представляются в виде URL-адресов. Подробнее см. в правилах использования доменных имен для OSS-доступа. Структура URL OSS: [$Schema]://[$Bucket].[$Endpoint]/[$Object]
     * . Например, ваш регион — Восточный Китай 1 (Ханчжоу), имя сегмента — examplebucket, а путь доступа к объекту — destfolder/example.txt.
     * Адрес внешнего доступа: https://examplebucket.oss-cn-hangzhou.aliyuncs.com/destfolder/example.txt.
     * https://help.aliyun.com/document_detail/375241.html
     */
    private String endpoint;
    /**
     * refer com.amazonaws.regions.Regions;
     * Облачный регион Alibaba Таблица соответствия
     * https://help.aliyun.com/document_detail/31837.htm?spm=a2c4g.11186623.0.0.695178eb0nD6jp
     */
    private String region;

    private boolean pathStyleAccess = true;
  • Класс автоматической конфигурации
Язык кода:javascript
копировать
package com.oss;

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.AWSStaticCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.client.builder.AwsClientBuilder;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.oss.client.OssClient;
import com.oss.client.S3OssClient;
import com.oss.config.OssProperties;
import org.springframework.boot.autoconfigure.condition.ConditionalOnMissingBean;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;


import java.util.Objects;
import java.util.stream.Stream;

/**
 * OSS-сервис Класс автоматической конфигурации
 * @author zdh
 */
@Configuration
@EnableConfigurationProperties(OssProperties.class)
public class OssAutoConfiguration {

    @Bean
    @ConditionalOnMissingBean(S3OssClient.class)
    public OssClient ossClient(AmazonS3 amazonS3) {
        return new S3OssClient(amazonS3);
    }


    /**
     * Справочная документация
     * https://docs.aws.amazon.com/zh_cn/sdk-for-java/v1/developer-guide/credentials.html
     * Выберите эту область
     * https://docs.aws.amazon.com/zh_cn/sdk-for-java/v1/developer-guide/java-dg-region-selection.html
     * @param ossProperties
     * @return
     */
    @Bean
    @ConditionalOnMissingBean(AmazonS3.class)
    @ConditionalOnProperty(prefix = "oss", name = "enable", havingValue = "true")
    public AmazonS3 amazonS3(OssProperties ossProperties) {
        long nullSize = Stream.<String>builder()
                .add(ossProperties.getEndpoint())
                .add(ossProperties.getAccessSecret())
                .add(ossProperties.getAccessKey())
                .build()
                .filter(s -> Objects.isNull(s))
                .count();
        if (nullSize > 0) {
            throw new RuntimeException("oss Ошибка конфигурации, проверьте");
        }
        AWSCredentials awsCredentials = new BasicAWSCredentials(ossProperties.getAccessKey(),
                ossProperties.getAccessSecret());
        AWSCredentialsProvider awsCredentialsProvider = new AWSStaticCredentialsProvider(awsCredentials);
        return AmazonS3Client.builder()
                .withEndpointConfiguration(new AwsClientBuilder.EndpointConfiguration(ossProperties.getEndpoint(), ossProperties.getRegion()))
                .withCredentials(awsCredentialsProvider)
                .disableChunkedEncoding()
                .withPathStyleAccessEnabled(ossProperties.isPathStyleAccess())
                .build();
    }
}

тест

  • Упакуйте и установите стартер на местный склад.
  • Создайте проект Springboot и импортируйте стартер в проект для модульного теста.

При упаковке вы можете удалить зависимость Lombok в стартовом проекте.

  • Добавить свойства конфигурации
Язык кода:javascript
копировать
#Для minio конфигурация следующая
oss:
  endpoint: http://минио-сервер IP:9000
  access-key: admin
  access-secret: admin123
  enable: true
  • Кодирование
Язык кода:javascript
копировать
    @Test
    public void testCreateBucket(){
        // инструмент быстрого доступа Spring, предоставленный hutool
        OssClient ossClient = SpringUtil.getBean(OssClient.class);
        ossClient.createBucket("sale");
    }
Язык кода:javascript
копировать
    @Test
    public void testUploadImg() throws IOException {
        // инструмент быстрого доступа Spring, предоставленный hutool
        OssClient ossClient = SpringUtil.getBean(OssClient.class);
        ossClient.putObject("sale","dhy.img",new FileInputStream("xpy.png"));
    }
Язык кода:javascript
копировать
    @Test
    public void testgetImgUrl() throws IOException {
        // инструмент быстрого доступа Spring, предоставленный hutool
        OssClient ossClient = SpringUtil.getBean(OssClient.class);
        String objectURL = ossClient.getObjectURL("sale", "dhy.img");
        System.out.println(objectURL);
    }

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose