• Прежде чем начать статью, я хотел бы порекомендовать несколько хороших статей, написанных другими! Если вам интересно, вы также можете прочитать это!
• Рекомендуемая сегодня статья: Подготовка к работе: пользовательские аннотации для снижения чувствительности данных
• Ссылка на статью: https://cloud.tencent.com/developer/article/2464989
• В этом ресурсе Сяоюй подробно описывает, как использовать пользовательские аннотации Java для снижения чувствительности данных — технологии, которая имеет решающее значение для защиты конфиденциальности пользователей и безопасности корпоративных данных. Стиль написания статьи прост для понимания, ее содержание является глубоким и всеобъемлющим. Она не только предоставляет богатые теоретические знания, но, что более важно, содержит большое количество примеров кода. Эти примеры необходимы для понимания того, как это сделать. для обработки конфиденциальных данных (таких как номера телефонов, идентификационные номера и т. д.) десенсибилизация очень полезна.

MediaCrawler

Адрес проекта:

https://github.com/NanmiCoder/MediaCrawler

• Можно реализовать рептилию Сяохуншу, рептилию Доуинь,быстрый работникрептилия,Bстоятьрептилия, Вейборептилия。
• В настоящее время он может захватывать видео, изображения, комментарии, лайки, репосты и другую информацию от Xiaohongshu, Douyin, Kuaishou, Bilibili и Weibo.
• Принцип: используйте драматург для построения моста, сохраняйте контекстную среду браузера после успешного входа в систему и получайте некоторые параметры шифрования, выполняя выражения JS. Используя этот метод, нет необходимости воспроизводить основной код JS шифрования, а также нет трудностей с обратным ходом. инженерное дело значительно сокращается.
• git скачать или скачать напрямую.
• Введите корневой каталог проекта

cd MediaCrawler

Создайте виртуальную среду

python -m venv venv
# macos & linux Активировать виртуальную среду
source venv/bin/activate
# windows Активировать виртуальную среду
venv\Scripts\activate

• Я открыл его через pycharm, и среда загрузки была автоматически установлена.

Установить зависимые библиотеки

pip install -r requirements.txt
Установить драйвер браузера драматурга
playwright install

• Playwright был разработан Microsoft для автоматизации тестирования и Web Мультибраузерный, кроссплатформенный инструмент с открытым исходным кодом для сканирования.

Изменить конфигурацию

• Откройте браузер для сканирования кода.

• Ограничьте сканирование до 1000 комментариев.
• Почтовый адрес Сяохуншу

Запустить сканер

• python main.py --platform xhs --lt qrcode --type detail
• Параметр --type Detail указывает на сканирование комментариев к указанному сообщению.

• Эффект от бега такой.

Обработка JSON

• Сам MediaCrawler поставляется с облаком слов, которое можно открыть после настройки.
• Здесь я решаю справиться с этим сам
• Мне не хотелось писать это самому, поэтому я попросил Tencent AI написать это:

Читать подробности comments 12 ноября 2024 г. значение содержимого каждого json в массиве списка в json используется в качестве данных облака слов.

• Мы напрямую получаем код обработки облака слов.

• Запустив его, я обнаружил, что там есть самые нерелевантные слова типа «я» и «ты».
• Оптимизируйте, чтобы убрать падение.

import json
import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# Чтение файла JSON
with open('detail_comments_2024-11-12.json', 'r', encoding='utf-8') as file:
    data = json.load(file)

# Извлечь весь контент комментариев
comments = [item['content'] for item in data]

# Объединить все комментарии в одну строку
text = ' '.join(comments)

# Используйте jieba для сегментации китайских слов
words = jieba.cut(text)
# Определите конкретные слова, которые нужно удалить
stopwords = ['Я', 'ты', «Ле», «The», «Да», «Вверх», «Вниз», «Одна секунда». :','одна секунда',':']
# stopwords = []
# Отфильтровать определенные слова
filtered_words = [word for word in words if word not in stopwords]

# Преобразование отфильтрованных результатов сегментации слов в строки
words_str = ' '.join(filtered_words)
# Создайте объект облака слов
wordcloud = WordCloud(font_path='simhei.ttf',  # Установите путь к шрифту для поддержки китайского дисплея.
                      width=1600,
                      height=800,
                      background_color='white').generate(words_str)

# Показать облако слов
plt.figure(figsize=(20, 10))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')  # Не показывать оси
plt.show()

• Регенерировать.

• Видно, что у Ли Синляна больше всего ключевых слов, а остальные — недавние горячие слова.
• В этой статье демонстрируется только демонстрация MediaCrawler и облака слов, а не конкретные события.
• ПРИМЕЧАНИЕ. При использовании этих данных,Всегда соблюдайте законы и правила,Уважайте конфиденциальность пользователей,и обеспечить законное и соответствующее требованиям использование данных. Неправильное манипулирование данными может нарушить закон,Нанести ущерб корпоративной репутации и доверию пользователей. Технология рептилий в этой статье предназначена только для учебных и исследовательских целей.,Его нельзя использовать для крупномасштабного парсинга других платформ или незаконной деятельности.