трогать AI 的同学肯定对HuggingFace Я слышал, что он основан на открытом исходном коде. Transformers Библиотека быстро стала популярной в сообществе машинного обучения, предоставив исследователям и разработчикам большое количество предварительно обученных моделей и став лидером в сообществе машинного обучения. Гитхаб. существовать HuggingFace Мы можем не только размещать модели, но и удобно использовать различные модели. API Тестируйте и проверяйте, а также развертывайте свои собственные модели. API Сервисы, создавайте собственное пространство моделей и делитесь своими моделями. Эта статья познакомит вас HuggingFace рассуждение Как использовать API, конечные точки вывода и пространства вывода.

API вывода HuggingFace

существовать HuggingFace Среди управляемых моделей некоторые модели предоставляют логические выводы после размещения. API, если мы хотим быстро проверить, соответствует ли модель нашим потребностям, мы можем использовать эти API тест,Возьмите эту модель в качестве примера ниже.Salesforce/blip-image-captioning-baseПредставьтесь,Модель может генерировать описания на английском языке из изображений.

Виджет страницы

рассуждение API иметьДва видаИспользование,Один из нихсуществовать Находится в правой части страницы модели.рассуждение API Страница виджета, начальный интерфейс показан ниже:

Мы можем загрузить фотографии на эту страницу,Затем вы можете увидеть модель, работающую рассуждение,Через некоторое время появятся результаты.,Как показано ниже:

рассуждение Результат："a dog wearing a santa hat and a red шарф» (собака в шапке Санты и красном шарфе)

Виджет Как сказать страница HuggingFace Автоматическое создание справочной модели,Для получения конкретной информации, пожалуйста, обратитесь кздесь[2]。

кодовый вызов

Другой способ — использовать код для рассуждения API Позвонить,существоватьправая сторонаDeployВыбрать из менюInference API,Как показано ниже:

Открыв меню, вы можете увидеть несколько типов кодового кода. способы вызова соответственно Python, JavaScript и Curl：

Здесь мы выбираем Curl Чтобы позвонить, мы можем напрямую скопировать Curl команду, обратите внимание, что она содержит нашу API token,Так что не делитесь этим случайно,Затем выполните команду на терминале,Результаты прогноза вы можете увидеть:

$ curl https://api-inference.huggingface.co/models/Salesforce/blip-image-captioning-base \
    -X POST \
    --data-binary '@dogs.jpg' \
    -H "Authorization: Bearer hf_xxxxxxxxxxxxxxxxxxxxxx"

# Вывод результатов
[{"generated_text":"a dog wearing a santa hat and a red scarf"}]%

Конечная точка вывода HuggingFace (Конечная точка)

рассуждение API Хоть и удобно, рассуждение API Обычно используется для тестирования и проверки. Из-за ограничений скорости он официально не рекомендуется для использования в производственных средах, и предоставляются не все модели. API. Если вы хотите существовать в производственной среде, разверните специальное рассуждение. API услуги,которые мы можем использовать HuggingFace рассуждениеконечная точка（Endpoint）。

Развертывание конечной точки рассуждения также относительно просто.,первыйсуществоватьDeployВыбрать из менюInference Endpoints,Как показано ниже:

Открыв меню, вы можете увидеть интерфейс создания новой конечной точки рассуждения.,Как показано ниже:

1. Первый — это выбор сервера. Сначала выберите поставщика облачных услуг. В настоящее время есть только один. AWS и Azure Два вида,Затем выберите узел машинной зоны。
2. Далее идет конфигурация сервера HuggingFace. Модель будет указана по умолчанию.Минимальная конфигурация рассуждения,Если мы хотим более высокую конфигурацию,Можно нажать2Выберите из раскрывающегося списка в。
3. Далее идет уровень безопасности конечной точки рассуждения.,Есть 3 варианта,Они естьProtected、PublicиPrivaate
   • Public:рассуждениеEndpoint runсуществовать public HuggingFace В подсети любой пользователь Интернета может получить к нему доступ без какой-либо аутентификации.
   • Protected：рассуждениеконечная точка运行существоватьобщественный HuggingFace подсеть, любая сеть в Интернете, имеющая подходящую HuggingFace Token Доступ к нему может получить любой желающий.
   • Privacy：рассуждениеконечная точка运行существовать私иметь的 HuggingFace подсеть, недоступная через Интернет, только через ваш AWS или Azure 账户中的一个частное соединениеиспользовать,Может соответствовать самым строгим требованиям соответствия.
4. Последней отображается цена сервера, рассчитанная по часам, и цена будет разной в зависимости от конфигурации. Обнимать Лицо API бесплатно, но HuggingFace За конечную точку рассуждения взимается плата, ведь она принадлежит только вам. API Служить. Поскольку рассуждение о развертывании конечной точки является платным, перед развертыванием требуется существование. HuggginFace Добавьте способ оплаты в России, обычно используйте внутренний. Visa или Master Просто используйте карту.

Убедившись в правильности информации, нажмитеCreate Endpointсоздание кнопкирассуждениеконечная точка,После успешного создания вы можете перейти на страницу сведений о конечной точке рассуждения, чтобы просмотреть следующую информацию:

вEndpoint URLТолько что развернутрассуждениеконечная точка地址,Мы можем следить за рассуждением звонка API Используйте его таким же образом, пример кода выглядит следующим образом:

$ curl https://your-endpoint-url \
    -X POST \
    --data-binary '@dogs.jpg' \
    -H "Authorization: Bearer hf_xxxxxxxxxxxxxxxxxxxxxx"

Пространство модели HuggingFace (Пространство)

HuggingFace рассуждениеEndpoint развернут API сервис, но если мы хотим поделиться нашими собственными моделями, чтобы другие могли напрямую использовать функцию модели в браузере, нам нужно использовать HuggingFace Модельное пространство (Пространство).

Развертывание пространства модели,первыйсуществоватьмодельDeployВыбрать из менюSpaces,Как показано ниже:

После выбора меню вы увидите интерфейс руководства по созданию пространства, как показано на рисунке ниже:

Интерфейс показывает модель запуска Python Скрипт,Затем мы нажимаемCreate new Spaceкнопка для входа на страницу создания пространства,Как показано ниже:

На странице создания модели существования нам необходимо указать следующую информацию:

• Сначала укажите имя пространства, обычно называемого в честь модели.
• Затем выберите пространство SDK,В настоящее время существуютStreamlit、Gradio、DockerиStatic четыре вида。
  • Streamlit：Streamlit Это инструмент, который может помочь нам быстро создавать приложения для обработки данных. Python Библиотека,Вы можете использовать модель прямо в браузере,он сравниваетGradioМожет поддерживать более богатые компоненты страницы.,Интерфейс также стал красивее.
  • Gradio：Gradio Также писатель GUI Интерфейс Python Библиотека,относительноStreamlitДавайте поговорим,его GUI Хотя у него относительно мало функций, его преимуществом является то, что он прост и удобен в использовании и в целом демонстрирует Demo Этого достаточно, чтобы использовать его.
  • Docker：рассуждение空间也可以使用 Docker Контейнеры развернуты, что внутренне поддерживает 10 своего рода шаблон.
  • Статический: статическая страница, насколько я понимаю, она включает в себя Html、Js、Css Подождите, пока внешние ресурсы отобразятся в виде страниц.
• Затем выберите космическое оборудование HuggingFace. Для каждого пространства предусмотрена бесплатная конфигурация: 2 ядерный CPU 16G Память,Развертывание пространства рассуждения с этой конфигурацией бесплатное.,Если вам нужна более высокая конфигурация,Вы также можете выбрать платную конфигурацию.

• Наконец, уровень безопасности,иметьPublicиPrivateДва вида,Public Является общедоступным, любой может получить к нему доступ, но изменять его могут только члены вашей организации, Частный Является конфиденциальным и доступен только членам вашей организации.

После настройки нажмитеCreate Spaceкнопка, чтобы начать создаватьрассуждениекосмос,После завершения создания он автоматически перейдет на страницу пространства.,Как показано ниже:

Если уровень безопасности пространства рассуждения установлен на Публичный, вы можете поставить место URL Доступно для использования другими. Хотите просмотреть HuggingFace Дополнительную информацию о распределении пространства см. https://huggingface.co/docs/hub/models-widgets 。

Если уровень безопасности пространства рассуждения установлен на Публичный, вы можете поставить место URL Доступно для использования другими. Хотите просмотреть HuggingFace Дополнительную информацию о распределении пространства см. https://huggingface.co/docs/hub/spaces 。

Подвести итог

В этой статье представлены HuggingFace рассуждение Как использовать API, рассуждение конечной точки ирассуждение пространства, рассуждение API бесплатно, используйте HuggingFace самодельный API Служить,рассуждениеEndpoint Ваш собственный API услуги, но требуется определенная плата. Рассуждение — это место, где развертывается модель. Web страница,Вы можете использовать функцию модели прямо в браузере,Может использоваться для демонстраций и обмена моделями.,Существует определенная бесплатная квота.