сканер-агент

Предыстория/Введение

При использовании Selenium для автоматизации веб-страниц или очистки данных,ChromeDriver — незаменимый инструмент. Однако,Иногда мы сталкиваемся с такими ошибками, как «ChromeDriver версии 125 не может найти chromedriver.exe». В этой статье подробно описано, как решить эту проблему.,И предоставьте пример код, показывает, как использовать IP-прокси, настроить User-Agent и Cookie для сканирования данных в Selenium.

текст

1. Подтвердите версию и путь ChromeDriver.

Сначала убедитесь, что загружаемая вами версия ChromeDriver соответствует установленной вами версии Chrome. Это можно проверить, выполнив следующие действия:

1. Откройте браузер Chrome и введите chrome://settings/help Посмотреть номер версии.
2. доступ Официальный сайт ChromeDriver Загрузите соответствующую версию ChromeDriver.

После завершения загрузки,Воляchromedriver.exeПоместите это в простого управляемого каталога,Например C:\chromedriver\。

2. Установите переменные среды

Чтобы система распозналаchromedriver.exe,Каталог, в котором он находится, необходимо добавить в переменную среды:

1. Щелкните правой кнопкой мыши «Этот компьютер» или «Мой компьютер» и выберите «Свойства».
2. Нажмите «Дополнительные настройки системы».
3. В окне «Свойства системы» нажмите «Переменные среды».
4. В разделе «Системные переменные»,оказатьсяPath,и нажмите «Изменить».
5. добавить вC:\chromedriver\в путь。

3. Использование Selenium и ChromeDriver

Убедитесь, что установлены библиотеки Python и Selenium, которые можно установить с помощью следующей команды:

pip install selenium

Ниже приведен пример кода,Показывает, как использовать проксиIP、Установите User-Agent и Cookie для сбора данных.

Пример кода

существовать Пример кодасередина,Мы используем прокси-IP, чтобы повысить вероятность успешного сканирования. При использовании IP-прокси,Необходимо настроить адрес прокси-сервера、порт、Имя пользователя и пароль。В этом примере используетсясканер-агент Метод настройки расширенной версии。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.options import Options

# Установите путь к ChromeDriver
chrome_driver_path = 'C:/chromedriver/chromedriver.exe'

# Настроить IP-прокси
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = 'proxy.example.com:8080'  # Адрес и порт прокси-сервера
proxy.ssl_proxy = 'proxy.example.com:8080'

# Использовать расширенную версию сканера
proxy.http_proxy = «Доменное имя: порт»
proxy.ssl_proxy = «Доменное имя: порт»
proxy.socks_username = 'имя пользователя'
proxy.socks_password = 'пароль'

# Настройте параметры Chrome
chrome_options = Options()
chrome_options.add_argument("--proxy-server=http://имя домена:порт")
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")

# Установить файлы cookie
cookies = {
    'name': 'value',
    'another_cookie': 'another_value'
}

# Запустить ChromeDriver
service = Service(chrome_driver_path)
driver = webdriver.Chrome(service=service, options=chrome_options)

# Открыть целевой веб-сайт
driver.get('http://example.com')

# Добавьте файлы cookie в ваш браузер
for name, value in cookies.items():
    driver.add_cookie({'name': name, 'value': value})

# Обновите страницу, чтобы применить файлы cookie.
driver.refresh()

# Выполнить операцию сканирования
content = driver.page_source
print(content)

# Закрыть браузер
driver.quit()

в заключение

После ознакомления с этой статьей вы сможете решить проблему ChromeDriver. 125 не может обнаружить проблему chromedriver.exe и успешно настроить Selenium для сбора данных. Пример причина Как использовать прокси-IP, установите пользовательский агент и cookie для улучшения сокрытия и успеха. Я надеюсь, что эти методы могут помочь вашим данным сбора элементов.