Используйте Curl и DomCrawler, чтобы загрузить ссылки на видео Douyin и сохранить их в указанной папке.
Используйте Curl и DomCrawler, чтобы загрузить ссылки на видео Douyin и сохранить их в указанной папке.

Требования к проекту

Предположим, нам нужно загрузить какие-то конкретные видео с платформы Douyin для анализа, редактирования или других целей. Чтобы достичь этой цели, нам нужно написать программу-сканер, которая получит ссылку на видео Douyin и сохранит ее в локальной папке.

Анализ целей

Прежде чем приступить к написанию сканера, нам необходимо понять целевую структуру видео Douyin. Просматривая веб-страницу Douyin, мы можем обнаружить, что каждое видео имеет уникальную ссылку на видео. Нам необходимо получить эту ссылку для загрузки видео. Кроме того, ссылка на видео Douyin обычно возвращается через интерфейс. это. Формат возврата.

Создайте структуру сканера

Чтобы лучше организовать нашу программу сканирования и управлять ею, мы можем создать простую структуру сканера. Эта платформа может включать в себя некоторые часто используемые функции, такие как отправка HTTP-запросов, анализ HTML, извлечение ссылок на видео и т. д. Мы будем использовать Curl и DomCrawler, два мощных инструмента. Curl — мощный инструмент командной строки и библиотека для создания HTTP-запросов и обработки ответов. DomCrawler — это компонент платформы Symfony, который используется для анализа HTML-документов и управления ими.

Язык кода:javascript
копировать
<?php

// представлять DomCrawler
require 'vendor/autoload.php';

use Symfony\Component\DomCrawler\Crawler;

// Установить информацию о прокси
$proxyHost = "www.16yun.cn";
$proxyPort = "5445";
$proxyUser = "16QMSOML";
$proxyPass = "280651";

// создавать Curl Пример
$curl = curl_init();

// настраивать Curl Параметры
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_PROXY, $proxyHost);
curl_setopt($curl, CURLOPT_PROXYPORT, $proxyPort);
curl_setopt($curl, CURLOPT_PROXYUSERPWD, "$proxyUser:$proxyPass");

// Отправьте запрос и получите ответ
$response = curl_exec($curl);

// закрытие Curl
curl_close($curl);

// создавать DomCrawler Пример
$crawler = new Crawler($response);

// TODO: Напишите здесь код сканера

?>

План сканирования

Чтобы реализовать функцию загрузки ссылок на видео Douyin, мы можем использовать следующие шаги:

  1. Найдите источник данных: мы находим источник данных, для которого требуется видео Douyin, то есть интерфейс, содержащий ссылку на видео.
  2. Найдите интерфейс. Анализируя веб-страницу Douyin или используя инструмент захвата пакетов, мы можем найти URL-адрес видеоинтерфейса Douyin.
  3. Проанализируйте формат возврата: нам нужно проанализировать формат данных, возвращаемый интерфейсом, чтобы мы могли извлечь ссылку на видео.
  4. Проанализируйте механизм предотвращения сканирования: Douyin может принять некоторые меры против сканирования, и нам необходимо понять эти механизмы и разобраться с ними.
  5. Внедрите сбор данных: используйте Curl для отправки HTTP-запросов для получения данных, возвращаемых интерфейсом.
  6. Анализ данных: используйте DomCrawler для анализа данных, возвращаемых интерфейсом, и извлечения ссылки на видео.

Полный случай

Теперь мы готовы приступить к написанию кода сканера. Ниже приведен полный пример кода для сканирования ссылок на видео Douyin и их сохранения в указанной папке:

Язык кода:javascript
копировать
<?php

// представлять DomCrawler
require 'vendor/autoload.php';

use Symfony\Component\DomCrawler\Crawler;

// Установить информацию о прокси
$proxyHost = "www.16yun.cn";
$proxyPort = "5445";
$proxyUser = "16QMSOML";
$proxyPass = "280651";

// создавать Curl Пример
$curl = curl_init();

// настраивать Curl Параметры
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_PROXY, $proxyHost);
curl_setopt($curl, CURLOPT_PROXYPORT, $proxyPort);
curl_setopt($curl, CURLOPT_PROXYUSERPWD, "$proxyUser:$proxyPass");

// Отправьте запрос и получите ответ
$response = curl_exec($curl);

// закрытие Curl
curl_close($curl);

// создавать DomCrawler Пример
$crawler = new Crawler($response);

// Найдите источник данных
$dataSource = $crawler->filter('selector')->attr('data-source');

// найти интерфейс
$apiUrl = "https://api.douyin.com/video/{$dataSource}";

// Отправьте запрос и получите данные, возвращаемые интерфейсом
$curl = curl_init($apiUrl);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_PROXY, $proxyHost);
curl_setopt($curl, CURLOPT_PROXYPORT, $proxyPort);
curl_setopt($curl, CURLOPT_PROXYUSERPWD, "$proxyUser:$proxyPass");
$response = curl_exec($curl);
curl_close($curl);

// Анализ данных, возвращаемых интерфейсом
$data = json_decode($response, true);

// Проанализируйте возвращаемый формат и извлеките ссылку на видео.
$videoLink = $data['video']['download_addr']['url_list'][0];

// Скачать видео
$file = fopen('path/to/save/video.mp4', 'w');
$curl = curl_init($videoLink);
curl_setopt($curl, CURLOPT_FILE, $file);
curl_exec($curl);
curl_close($curl);
fclose($file);

echo «Загрузка видео завершена!»;

?>
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose