Программное обеспечение Douyin для сбора областей комментариев, разработанное на Python и сканирующее комментарии в пакетном режиме (включая уровень 2)
Программное обеспечение Douyin для сбора областей комментариев, разработанное на Python и сканирующее комментарии в пакетном режиме (включая уровень 2)

1. Описание предыстории

Я@Маркопитон сказал,Программист с 10-летним опытом. Я разработчик программного обеспечения.

Основная цель программного обеспечения для сбора — реализовать автоматический сбор данных заметок, включая ключевую информацию, такую ​​как текст заметки, время выпуска, а также пересылку, комментарии и похвалу. Разрабатывая интуитивно понятный интерфейс, мы стремимся облегчить использование этого инструмента даже новичкам в области технологий.

Скриншот интерфейса программного обеспечения: (Программное обеспечение обновлялось несколько раз, ниже приведен скриншот последней версии v2.1)

Снимок экрана с результатами сканирования: (Часть просканированных данных автоматически сохраняется в файлах Excel)

Вот и все.

Демонстрационное видео:

Программное обеспечение, выполняющее демонстрационный процесс:https://cloud.tencent.com/developer/video/79961

Описание программного обеспечения:

Некоторые важные примечания:

Дополнительное примечание: идентификатор пользователя комментатора был добавлен в версию v2.2! !

2. Объяснение кода

Модуль сбора рептилий:

Сначала определите адрес интерфейса как адрес запроса:

Язык кода:python
кодКоличество запусков:0
копировать
# Запросить адрес
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'

Определите заголовок запроса, чтобы подделать браузер:

Язык кода:python
кодКоличество запусков:0
копировать
# Заголовок запроса
h1 = {
	'accept': 'application/json, text/plain, */*',
	'accept-encoding': 'gzip, deflate, br',
	'accept-language': 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7',
	'cookie': «Замените собственным значением файла cookie»,
	'referer': 'https://www.douyin.com/',
	'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
	'sec-ch-ua-mobile': '?0',
	'sec-ch-ua-platform': '"macOS"',
	'sec-fetch-dest': 'empty',
	'sec-fetch-mode': 'cors',
	'sec-fetch-site': 'same-origin',
	'user-agent': ua,
}

Среди них cookie — ключевой параметр, который необходимо заполнить в интерфейсе программного обеспечения. Получить файлы cookie можно следующим образом:

Добавьте параметры запроса, чтобы сообщить программе, каковы ваши условия сканирования:

Язык кода:python
кодКоличество запусков:0
копировать
# Параметры запроса
params = {
	'device_platform': 'webapp',
	'aid': 6383,
	'channel': 'channel_pc_web',
	'aweme_id': video_id,  # идентификатор видео
	'cursor': page * 20,
	'count': 20,
	'item_type': 0,
	'insert_ids': '',
	'rcFT': '',
	'pc_client_type': 1,
	'version_code': '170400',
	'version_name': '17.4.0',
	'cookie_enabled': 'true',
	'screen_width': 1440,
	'screen_height': 900,
	'browser_language': 'zh-CN',
	'browser_platform': 'MacIntel',
	'browser_name': 'Chrome',
	'browser_version': '109.0.0.0',
	'browser_online': 'true',
	'engine_name': 'Blink',
	'engine_version': '109.0.0.0',
	'os_name': 'Mac OS',
	'os_version': '10.15.7',
	'cpu_core_num': 4,
	'device_memory': 8,
	'platform': 'PC',
	'downlink': 1.5,
	'effective_type': '4g',
	'round_trip_time': 150,
	'webid': 7184233910711879229,
	'msToken': 'LZ3nJ12qCwmFPM1NgmgYAz73RHVG_5ytxc_EMHr_3Mnc9CxfayXlm2kbvRaaisoAdLjRVPdLx5UDrc0snb5UDyQVRdGpd3qHgk64gLh6Tb6lR16WG7VHZQ==',
}

Далее происходит отправка запросов и получение данных:

Язык кода:python
кодКоличество запусков:0
копировать
# Запросить адрес
url = 'https://www.douyin.com/aweme/v1/web/comment/list/'
# Отправить запрос
r = requests.get(url, headers=h1, params=params)
# Конвертировать в формат json
json_data = r.json()

Определите несколько пустых списков для хранения анализируемых данных полей:

Язык кода:python
кодКоличество запусков:0
копировать
ip_list = []  # IP-территория
text_list = []  # Содержание комментария
create_time_list = []  # Время комментирования
user_name_list = []  # Ник комментатора
user_url_list = []  # Ссылка на домашнюю страницу комментатора
user_unique_id_list = []  # Аккаунт комментатора Douyin
like_count_list = []  # Количество лайков
cmt_level_list = []  # Уровень комментариев

Цикл для анализа данных поля, взяв в качестве примера «Содержимое комментария»:

Язык кода:python
кодКоличество запусков:0
копировать
# Разбор цикла
for comment in comment_list:
	# Содержание комментария
	text = comment['text']
	text_list.append(text)

То же самое относится и к другим полям и не будет описываться снова.

Наконец, сохраните данные в файл csv:

Язык кода:python
кодКоличество запусков:0
копировать
# Сохранить данные в DF
df = pd.DataFrame(
	{
		«Целевая ссылка»: 'https://www.douyin.com/video/' + str(video_id),
		'номер страницы': page,
		'Ник комментатора': user_name_list,
		«Идентификатор комментатора»: user_unique_id_list,
		'Ссылка на домашнюю страницу комментатора': user_url_list,
		'Время комментирования': create_time_list,
		«Комментарий к территории IP»: ip_list,
		'Комментарий Количество лайков': like_count_list,
		«Уровень комментариев»: cmt_level_list,
		'Содержание комментария': text_list,
	}
)

Полный код также содержит ключевую логику реализации, такую ​​​​как определение условий завершения цикла, преобразование временных меток, сбор вторичных комментариев и вторичных расширенных комментариев, подробности см. в конце статьи.

Программный интерфейсный модуль:

Программный интерфейс разработан с использованием tkinter.

Раздел главного окна:

Язык кода:python
кодКоличество запусков:0
копировать
# Создать каталог журналов
work_path = os.getcwd()
if not os.path.exists(work_path + "/logs"):
	os.makedirs(work_path + "/logs")
# Создать главное окно
root = tk.Tk()
root.title('Программное обеспечение для сбора комментариев TikTok | Марко Питон сказал')
# Установить размер окна
root.minsize(width=850, height=650)

Заполните элементы управления файлами cookie:

Язык кода:python
кодКоличество запусков:0
копировать
# 【Заполните файл cookie】
tk.Label(root, justify='left', шрифт =('Microsoft', 14), text='Личный файл cookie:').place(x=30, y=75)
entry_ck = tk.Text(root, bg='#ffffff', width=110, height=2, )
entry_ck.place(x=30, y=100, anchor='nw')  # Размещение

Заполните элементы управления ссылкой на видео:

Язык кода:python
кодКоличество запусков:0
копировать
# 【Ссылка на видео】
tk.Label(root, justify='left', шрифт =('Microsoft', 14), text='Ссылка на видео:').place(x=30, y=145)
note_ids = tk.StringVar()
note_ids.set('')
entry_nt = tk.Text(root, bg='#ffffff', width=110, height=14, )
entry_nt.place(x=30, y=170, anchor='nw')  # Размещение

Заявление об авторских правах на программное обеспечение внизу:

Язык кода:python
кодКоличество запусков:0
копировать
# Информация об авторских правах
copyright = tk.Label(root,text='@Маркопитон сказал All rights reserved.', font=('имитация династии Сун', 10), fg='grey')
copyright.place(x=290, y=625)

Вот и все.

Модуль журнала:

Файлы журналов — это файлы, в которых регистрируются события и действия, происходящие во время работы системы или приложения. Этими событиями и действиями могут быть системные ошибки, предупреждения, информация, информация об отладке и т. д. В то же время пользователям программного обеспечения также удобно отслеживать историю работы.

Код журнала:

Язык кода:python
кодКоличество запусков:0
копировать
def get_logger(self):
	self.logger = logging.getLogger(__name__)
	# Формат журнала
	formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'
	# Уровень журнала
	self.logger.setLevel(logging.DEBUG)
	# журнал консоли
	sh = logging.StreamHandler()
	log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')
	# имя файла информационного журнала
	info_file_name = time.strftime("%Y-%m-%d") + '.log'
	case_dir = r'./logs/'
	info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,
											when='MIDNIGHT',
											interval=1,
											backupCount=7,
											encoding='utf-8')

Скриншот файла журнала:

3. Заявление о программном обеспечении

Я @Маркоpython сказал, программист с 10-летним опытом.

Вышеупомянутое программное обеспечение разработано мной самостоятельно. Пожалуйста, не открывайте, не перемещайте и не публикуйте его. Нарушители будут нести юридическую ответственность!

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose