На дворе уже 2024 год, но, похоже, популярность больших моделей ИИ не уменьшилась. Различные генеративные большие модели ИИ, такие как ChatGPT, появляются бесконечным потоком. В результате различные веб-сайты и небольшие программы могут поддерживать большие модели ИИ. , вы когда-нибудь задумывались о том, чтобы создать собственную большую модель ИИ?

Сегодня я поделюсь с вами Как запустить большую модель ИИ локально,После простой установки его можно использовать даже без подключения к Интернету. Суть его заключается в загрузке обученной модели ИИ на локальный сервер.,Затем позвоните через конкретного клиента,Чтобы добиться эффекта от использования больших моделей ИИ локально,Не так много сказать,Начните делиться.

Конечно, сначала нам нужно представить сегодняшнего главного героя.ollama, Это фреймворк, специально используемый для запуска больших языковых моделей. Его также можно назвать инструментом. Его описание на официальном сайте состоит только из одного предложения: «Получить». up and running with largelanguage модели.» (Начните использовать большие языковые модели).

Официальный адрес сайта：https://ollama.com/

GithubСклад с открытым исходным кодом：https://github.com/ollama/ollama

Скачать адрес：https://ollama.com/download

Для локального запуска большой модели необходимо выполнить четыре шага:

• Установить олламу
• Скачать модель
• Запустите модель
• Подключиться к веб-клиенту

Давайте начнем:

(1) Загрузите и установите клиент ollama.

Адрес страницы загрузки:

Установите операционную систему, которую вы сейчас используете, выборочно загрузите ее, а затем установите надежным способом:

(2) Установите подходящие большие модели.

Сначала мы следуем инструкциям по установке модели llama2. Конечно, README в репозитории Github также поддерживает другие модели. Кратко объясняется количество параметров и размер модели.

Ниже приведено объяснение, которое переводится как:

У вас должно быть не менее 8 ГБ памяти для запуска большой модели 7B, 16 ГБ памяти для большой модели 13B и 32 ГБ памяти для большой модели 33B.

(3) Запуск больших моделей

Сначала задаем ему вопрос через терминал: Знаете ли вы язык Go?

Затем он ответит вам в виде потокового вывода. Так называемый потоковый формат на самом деле означает ответ вам медленно и слово за словом, как при разговоре с человеком.

Затем мы попробовали его способность понимать контекст и сказали ему: используйте его для реализации службы Http.

Он напрямую использует язык Go для реализации службы HTTP. Кажется, он обладает естественными возможностями понимания контекста.

(4) Установите веб-клиент

ollama помог нам собрать в сообществе инструменты, которые можно использовать в качестве клиентов. Я не буду их здесь демонстрировать. Вы можете установить документацию, соответствующую каждому складу, чтобы установить и использовать их.

Это здесь, и я дам вам небольшой совет. Локальный запуск больших моделей потребляет много ресурсов процессора и видеокарты. Если конфигурация компьютера относительно плохая, работа может быть не очень хорошей и работать долго. также может иметь определенные последствия для компьютера. Вы можете попробовать умеренно ~.

Я участвую в последнем конкурсе эссе для специального учебного лагеря Tencent Technology Creation 2024. Приходите и разделите со мной приз!