Автоматизация графического интерфейса рабочего стола Windows-1. Подготовка среды pywinauto.
Автоматизация графического интерфейса рабочего стола Windows-1. Подготовка среды pywinauto.

Предисловие

Pywinauto — это модуль сценария, разработанный на основе Python и используемый для автоматического тестирования. Он в основном работает в стандартном графическом интерфейсе Windows. Он позволяет легко отправлять действия мыши и клавиатуры в диалоговые окна и элементы управления Windows. Официальный адрес сайта https://pywinauto.readthedocs.io/en/latest/index.html. Адрес китайского документа https://www.kancloud.cn/gnefnuy/pywinauto_doc/1193035

Экологическая подготовка

Pywinauto можно установить через командную строку:

Язык кода:javascript
копировать
pip install pywinauto

После завершения установки вы можете выполнить следующий код, чтобы проверить, правильно ли он установлен.

Язык кода:javascript
копировать
from pywinauto.application import Application

# Запустить блокнот
app = Application(backend="uia").start("notepad.exe")

Блокнот можно корректно открыть после выполнения.

Технология доступности (бэкэнд)

Перед запуском прикладной программы нам необходимо определить, какую технологию использовать. доступности (бэкэнд) для приложения. В Windows поддерживаются два типа:

  • Win32 API (backend= «win32»), серверная часть по умолчанию, MFC, VB6, VCL, простые элементы управления WinForms и программы большинства старых устаревших приложений.
  • MS UI Automation (backend=”uia”) , WinForms、WPF、Программа магазина приложений、Qt5、Браузер

Так как же узнать, для какого бэкенда подходит программа? Вы можете использовать инструмент проверки объектов графического пользовательского интерфейса, чтобы определить, для какой серверной части подходит программа. Если вы используете режим проверки uia и есть более видимые элементы управления и свойства, серверная часть может быть uia, в противном случае серверная часть может быть win32.

проверить инструмент позиционирования элемента

Некоторые часто используемые инструменты позиционирования элементов: SPY++ для WIN32 API. Когда SPY++ может отображать все элементы управления, в качестве технологии доступа следует выбрать «win32». Inspect.exe: Если для Inspect.exe установлен режим UIA, который может отображать больше элементов управления, чем SPY++, в качестве технологии доступа следует выбрать «uia». py_inspect: поддерживает технологии доступа win32 и uia и является заменой SWAPY. UISPY: поддерживает технологию доступа uia. SWAPY: поддерживает только технологию доступа Win32.

руководство по проверке https://learn.microsoft.com/zh-cn/windows/win32/winauto/inspect-objects

Inspect.exe — это встроенный инструмент Windows SDK. Сначала вы можете установить Windows SDK. Адрес загрузки — https://developer.microsoft.com/en-us/windows/downloads/windows-sdk/.

После загрузки установите его на свой локальный компьютер. Inspect.exe находится в папке \bin\\ пути установки SDK. Обычно нет необходимости запускать его от имени администратора.

Его можно скопировать отдельно и разместить на рабочем столе для использования.

Окно «Проверка» содержит несколько основных разделов:

Язык кода:javascript
копировать
строка заголовка. показывать" исследовать «Оконная ручка (HWND) 。
Панель меню. Обеспечивает доступ к функциям телефона.
инструмент столбец. Обеспечивает доступ к функциям телефона.
Вид на дерево. Воля UI Иерархия элементов представлена ​​в виде элемента управления древовидным представлением, который можно использовать для навигации между элементами.
Просмотр данных. Показать выбранное UI Все общедоступные свойства элемента.

Команды, доступные в строке меню, также доступны на панели инструментов. На следующем изображении показаны свойства автоматизации пользовательского интерфейса элемента меню «Правка» в блокноте Inspection Query.

некоторые подобные инструменты

Python tools

  • PyAutoGui — популярная кроссплатформенная библиотека (с поиском по изображениям, без текстовых манипуляций с элементами управления).
  • Lackey — чистая альтернатива Sikuli на Python (основанная на сопоставлении шаблонов изображений).
  • AXUI — оболочка для API автоматизации MS UI.
  • winGuiAuto — еще один модуль, использующий Win32 API.

Другие инструменты языка сценариев

  • (Perl) Win32::GuiTest
  • (Ruby) Win32-Autogui — оболочка для Win32 API.
  • (Ruby) RAutomation — Имеет 3 адаптера: Win32 API, UIA, AutoIt.

Другие бесплатные инструменты

  • (C#) Winium.Desktop - Молодой, но хороший по мотивам MS UI Automationизинструмент。
  • (C#) TestStack.White — еще одна хорошая библиотека на основе MS UI Automation с долгой историей.
  • AutoIt - Бесплатный инструмент с собственным языком, похожим на Basic (на базе Win32). API, планов на .NET нет)
  • AutoHotKey - Родной C со своим собственным языком сценариев ++инструмент(.ahk)

бизнес-инструменты

  • WinRunner (http://www.mercury.com/us/products/quality-center/functional-testing/winrunner/)
  • SilkTest (http://www.segue.com/products/functional-regressional-testing/silktest.asp)
  • Many Others (http://www.testingfaqs.org/t-gui.html)
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose