Облачный агент Yiniu

Selenium — популярный инструмент автоматического тестирования веб-страниц, который может выполнять тестирование веб-сайта, моделируя действия пользователя в браузере Chrome. Однако некоторые веб-сайты определяют, работает ли браузер на Selenium, и, если да, возвращают неверные результаты или запрещают доступ. Чтобы этого избежать, нам нужно скрыть характеристики Selenium, чтобы сайт считал нас обычными пользователями.

Вот три распространенных способа скрыть функции Selenium:

1. Измените флаг navigator.webdriver: navigator.webdriver — это свойство, предоставляемое браузером и указывающее, контролируется ли браузер веб-драйвером. По умолчанию значение этого флага равно true, если браузер работает на Selenium, в противном случае — false. Мы можем выполнить команду Google Chrome DevTools с помощью командыexecute_cdp_cmd, чтобы изменить значение этого флага на false или неопределенное, чтобы скрыть функции Selenium.
2. Изменить пользовательский агент: пользовательский агент — это строка, отправляемая браузером на веб-сайт и представляющая тип и версию браузера. Некоторые веб-сайты определяют устройство и операционную систему пользователя на основе пользовательского агента. Если окажется, что пользовательский агент выходит за пределы нормального диапазона, будет заподозрено, что это браузер на базе Selenium. Мы можем установить параметр Network.setUserAgentOverride с помощью командыexecute_cdp_cmd, чтобы изменить пользовательский агент на любое значение, которое мы хотим скрыть характеристики Selenium.
3. Исключите или отключите некоторые переключатели, связанные с Selenium: Enable-automation и useAutomationExtension — это два распространенных переключателя, связанных с Selenium, которые влияют на поведение и внешний вид браузера, например, сообщение «Chrome управляется автоматическим программным обеспечением», отображаемое в окне браузера. намекать. Мы можем добавить или удалить эти переключатели через параметры Chrome, чтобы браузер выглядел более похожим на обычный браузер и скрыл функции Selenium.

Таким образом, скрытие функций Selenium является ключом к автоматическому тестированию веб-страниц. С помощью трех вышеуказанных методов мы можем сделать браузер более похожим на обычного пользователя и избежать обнаружения веб-сайтом и отказа в доступе. На основе нескольких вышеописанных методов сокрытия функций Selenium, на примере сбора комментариев от Dianping в сочетании с пулом IP-адресов прокси, который необходимо использовать в реальном процессе сбора сканером, предоставляется следующая демонстрация:

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

# IP-адрес прокси расширенной версии Yiniu Cloud Crawler Адрес, номер порта, имя пользователя и пароль
proxy_address = 'www.16yun.cn'
proxy_port = '3100'
proxy_username = '16YUN'
proxy_password = '16IP'

# Установите параметры Chrome, включая скрытие функций Selenium, настройку IP-адреса прокси-сервера, а также исключение или отключение некоторых переключателей, связанных с Selenium.
options = webdriver.ChromeOptions()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('--disable-extensions')
options.add_argument('--disable-gpu')
options.add_argument('--disable-infobars')
options.add_argument('--disable-notifications')
options.add_argument('--disable-popup-blocking')
options.add_argument('--disable-web-security')
options.add_argument('--ignore-certificate-errors')
options.add_argument('--no-sandbox')
options.add_argument('--start-maximized')
options.add_argument('--user-data-dir=/dev/null')
options.add_argument('--proxy-server={}'.format(proxy_address + ':' + proxy_port))
options.add_argument('--proxy-auth={}:{}'.format(proxy_username, proxy_password))
options.add_experimental_option('excludeSwitches', ['enable-automation', 'useAutomationExtension'])

# Инициализируйте браузер Chrome и используйте вышеуказанные параметры.
driver = webdriver.Chrome(options=options)

# Скройте флаг navigator.webdriver и измените его значение на false или неопределенное.
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
})

# Установите пользовательский агент, измените значение пользовательского агента
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
driver.execute_cdp_cmd("Network.setUserAgentOverride", {"userAgent": user_agent})

# Посетите страницу обзора продукта на Dianping.com.
url = 'https://www.dianping.com/shop/1234567/review_all'
driver.get(url)

# Добавьте сюда другой код для выполнения желаемой задачи.

Этот код будет использовать браузер Chrome, и при запуске браузера используйте параметры, чтобы скрыть функции Selenium, установить IP-адрес прокси-сервера для имени пользователя и пароля, а также исключить или отключить некоторые переключатели, связанные с Selenium. Затем используйте командуexecute_cdp_cmd, чтобы выполнить команду в протоколе Google Chrome DevTools, и измените значение флага navigator.webdriver на false или неопределенное. Используйте командуexecute_cdp_cmd, чтобы установить параметр Network.setUserAgentOverride и изменить пользовательский агент на указанную строку пользовательского агента. Наконец, посетите страницу обзора элемента на Dianping и добавьте туда дополнительный код для выполнения желаемых задач.