原链接:https://zhuanlan.zhihu.com/p/73001806

在使用PC时与PC交互的主要途径是看屏幕显示、听声音,点击鼠标和敲键盘等等。在自动化办公的趋势下,繁琐的工作可以让程序自动完成。比如自动化测试、自动下单交易等。很多软件除了可以GUI方式操作外还可以用CLI接口操作,不过当一些软件未提供CLI接口时,我们应该怎么办呢?我们还可以用程序控制桌面上的窗口、模拟点击鼠标或按下键盘等动作来释放自己。

pywin32是一个Python库,它为Python提供访问Windows API的扩展,提供了齐全的windows常量、接口、线程以及COM机制等等,安装后会自带一个pythonwin的IDE。接下来主要介绍下如何通过Python去操作windows桌面软件。

1、打开软件或文件 ,比如打开一个谷歌浏览器,或者打开一个word文件,如下所示:

win32api.ShellExecute(1, 'open',
r'C:Program Files (x86)GoogleChromeApplicationchrome.exe',
'', '', 1)
win32api.ShellExecute(1, 'open',
r'C:UsersJayDesktopEnvironment Guider.docx',
'', '', 1)

win32api.ShellExecute()的参数主要包括:

HWND:指定父窗口句柄

Operation:指定动作, 譬如"edit",“explore”,“open”,“find”,“print”,“NULL”

FileName:指定要打开的文件或程序

Parameters:指定打开程序所需参数

Directory:缺省目录

ShowCmd:打开选项,可选值:

  • •SW_HIDE = 0; {隐藏窗口,活动状态给令一个窗口}
  • •SW_SHOWNORMAL = 1; {用最近的大小和位置显示窗口, 同时令其进入活动状态}
  • •SW_NORMAL = 1; {用当前的大小和位置显示一个窗口,不改变活动窗口}
  • •SW_SHOWMINIMIZED = 2; {最小化窗口,并将其激活}
  • •SW_SHOWMAXIMIZED = 3; {最大化窗口,并将其激活}
  • •SW_MAXIMIZE = 3; {同 SW_SHOWMAXIMIZED}
  • •SW_SHOWNOACTIVATE = 4; {用最近的大小和位置显示一个窗口,不改变活动窗口}
  • •SW_SHOW = 5; {用当前的大小和位置显示一个窗口,令其进入活动状态}
  • •SW_MINIMIZE = 6; {最小化窗口, 不激活}
  • •SW_SHOWMINNOACTIVE = 7; {同 SW_MINIMIZE}
  • •SW_SHOWNA = 8; {用当前的大小和位置显示一个窗口,不改变活动窗口}
  • •SW_RESTORE = 9; {同 SW_SHOWNORMAL}
  • •SW_SHOWDEFAULT = 10; {同 SW_SHOWNORMAL}
  • •SW_MAX = 10; {同 SW_SHOWNORMAL}

执行成功会返回应用程序句柄, 如果返回值 <= 32,则表示执行错误。返回值可能的错误有:

0—— {内存不足}

2—— {文件名错误}

3—— {路径名错误}

11—— {EXE 文件无效}

26—— {发生共享错误}

27—— {文件名不完全或无效}

28—— {超时}

29—— {DDE 事务失败}

30—— {正在处理其他 DDE 事务而不能完成该 DDE 事务}

31—— {没有相关联的应用程序}

2、查找窗体的句柄。在win32编程的世界里,包括窗口到文本框的所有控件都是窗体,所有的窗体都有独立的句柄。要操作任意一个窗体,都需要找到这个窗体的句柄。句柄是一个32位整数,在windows中用于标记对象。比如查找Snipping Tool和New Text Document.txt的句柄,如下所示:

para_hld = win32gui.FindWindow(None, "Snipping Tool")# 1836416
para_hld = win32gui.FindWindow(None, "New Text Document.txt - Notepad")# 591410

win32gui.FindWindow()属于win32gui的模块,它自顶层窗口(也就是桌面)开始搜索条件匹配的窗体,并返回这个窗体的句柄。该函数仅能查找主窗口,因此无法搜索子窗口,也不区分大小写,未找到则返回0。

win32gui.FindWindow()的参数主要包括 (lpClassName=None, lpWindowName=None):

•lpClassName:字符型,窗体的类名,可以在Spy++里找到

•lpWindowName:字符型,窗口名,也就是标题栏上能看见的那个标题。

3、查找句柄的类名和标题。比如通过Snipping Tool和New Text Document.txt的句柄查找对应的类名和标题,如下所示:

title = win32gui.GetWindowText(1836416)
classname = win32gui.GetClassName(1836416)
print "windows handler:{0}; title:{1}; classname:{2}".format(1836416, title, classname)

打印显示如下:

windows handler:1836416; title:Snipping Tool; classname:Microsoft-Windows-Tablet-SnipperToolbar
title = win32gui.GetWindowText(591410)
classname = win32gui.GetClassName(591410)
print "windows handler:{0}; title:{1}; classname:{2}".format(591410, title, classname)

打印显示如下:

windows handler:591410; title:New Text Document.txt - Notepad; classname:Notepad

4、调用win32gui.EnumWindows()枚举所有窗口句柄,直到最后一个顶层窗口被枚举则停止枚举过程。如下所示:

hWndList = []
win32gui.EnumWindows(lambda hWnd, param: param.append(hWnd), hWndList)
print hWndList
for hwnd in hWndList:
title = win32gui.GetWindowText(hwnd)
print title

打印显示如下:

[852802L, 65946L, 65928L, 65930L, 65900L, 65920L, 65924L, 65922L, 65944L, 65892L, 65886L, 6817870L, 65960L, 6031410L, …… 66052L, 65734L]
……
New Text Document.txt - Notepad
Snipping Tool
DDE Server Window
OfficePowerManagerWindow
OfficePowerManagerWindow
DDE Server Window
GDI+ Window
Global Internet Access
……

5、win32gui.SetForegroundWindow()函数将指定窗体设置到最顶层,并且激活该窗口。

构造函数为:win32gui.SetWindowPos(HWN hWnd,HWND hWndlnsertAfter, int X,int Y, int cx,int cy, UNIT.Flags)

关于win32gui.SetForegroundWindow(para_hld)报错的问题:

pywintypes.error: (0, ‘SetForegroundWindow’, ‘No error message is available’)

其实调用SetForegroundWindow()会有很多限制,参考官网的说明:https://docs.microsoft.com/en-us/windows/desktop/api/winuser/nf-winuser-setforegroundwindow

因此调用SetForegroundWindow()时需要查看当前运行的条件是否符合上述要求,此处在调用SetForegroundWindow()前事先发送一个键盘event来解决该问题。

例程如下所示:

win32api.keybd_event(13, 0, 0, 0) #
win32gui.SetForegroundWindow(para_hld)

6、win32api.keybd_event()模拟键盘输入。

构造函数如下所示:

win32api.keybd_event (bVk, bScan, dwFlags, dwExtraInfo)

•bVk:虚拟键码(键盘键码对照表见附录);

•bScan:硬件扫描码,一般设置为0即可;

•dwFlags:函数操作的一个标志位,如果值为KEYEVENTF_EXTENDEDKEY则该键被按下,也可设置为0即可,如果值为KEYEVENTF_KEYUP则该按键被释放;

•dwExtraInfo:定义与击键相关的附加的32位值,一般设置为0即可。

按下enter键后抬起的例程如下所示:

win32api.keybd_event(13,0,0,0) # enter
win32api.keybd_event(13,0,win32con.KEYEVENTF_KEYUP,0) #释放按键

7、模拟鼠标输入。直接给出例程,如下所示:

# 获取鼠标当前位置的坐标
print win32api.GetCursorPos()
# 将鼠标移动到坐标处
win32api.SetCursorPos((100, 100))
# 左点击
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 100, 100, 0, 0)
time.sleep(2)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 100, 100, 0, 0)

8、关于鼠标键盘的操作还可以使用PyUserInput库。PyUserInput是一个使用python的跨平台的操作鼠标和键盘的模块,使用非常方便。支持的平台及依赖如下:

•Linux - Xlib

•Mac - Quartz, AppKit

•Windows - pywin32, pyHook

实例化一个鼠标和键盘对象,如下所示:

from pymouse import PyMouse
from pykeyboard import PyKeyboard
m = PyMouse()
k = PyKeyboard()
操作鼠标和键盘,如下所示:
m.click(190,70,1)#移动并且在xy位置点击
time.sleep(2)
m.click(190, 200, 1)#移动并且在xy位置点击
time.sleep(2)
k.tap_key(k.function_keys[5])#–点击功能键F5

Python基础系列讲解-自动控制windows桌面的更多相关文章

  1. Python基础系列讲解——random模块随机数的生成

    随机数参与的应用场景大家一定不会陌生,比如密码加盐时会在原密码上关联一串随机数,蒙特卡洛算法会通过随机数采样等等.Python内置的random模块提供了生成随机数的方法,使用这些方法时需要导入ran ...

  2. Python基础系列讲解——继承派生和组合的概念剖析

    Python作为一门面向对象的语言,它的面向对象体系中主要存在这么两种关系,一个是“类”和“实例”的关系,另一个是“父类”和“子类”的关系. 所谓“类”是从一堆对象中以抽象的方式把相同的特征归类得到的 ...

  3. Python基础系列讲解——TCP协议的socket编程

    前言 我们知道TCP协议(Transmission Control Protocol, 传输控制协议)是一种面向连接的传输层通信协议,它能提供高可靠性通信,像HTTP/HTTPS等网络服务都采用TCP ...

  4. Python基础系列讲解—动态类型语言的特点

    前言 在C语言中变量所分配到的地址是内存空间中一个固定的位置,当我们改变变量值时, 对应内存空间中的值也相应改变.在Python中变量存储的机制是完全不一样的,当给一个变量赋值时首先解释器会给这个值分 ...

  5. Python基础系列讲解——try_except异常处理机制

    在Python编程中不可避免的会出现错误,在调试阶段出现语法之类的错误时,Pycharm会在Debug窗口提示错误,但是程序在运行时由于内部隐含的问题而引起错误,会导致程序终止执行.比如以下例程中,使 ...

  6. Python基础系列讲解——时间模块详解大全之time模块

    Python中提供处理时间日期相关的内置模块有time.datetime和calendar. time模块中大多数函数调用了所在平台C library 的同名函数,因此更依赖于操作系统层面,所以tim ...

  7. python基础系列教程——Python3.x标准模块库目录

    python基础系列教程——Python3.x标准模块库目录 文本 string:通用字符串操作 re:正则表达式操作 difflib:差异计算工具 textwrap:文本填充 unicodedata ...

  8. python基础系列教程——Python的安装与测试:python的IDE工具PyDev和pycharm,anaconda

    ---恢复内容开始--- python基础系列教程——Python的安装与测试:python的IDE工具PyDev和pycharm,anaconda 从头开启python的开发环境搭建.安装比较简单, ...

  9. python基础知识讲解——@classmethod和@staticmethod的作用

    python基础知识讲解——@classmethod和@staticmethod的作用 在类的成员函数中,可以添加@classmethod和@staticmethod修饰符,这两者有一定的差异,简单来 ...

随机推荐

  1. Learning Vector Quantization

    学习矢量量化. k近邻的缺点是你需要维持整个数据集的训练. 学习矢量量化算法(简称LVQ)是一种人工神经网络算法,它允许你选择要挂在多少个训练实例上,并精确地了解这些实例应该是什么样子. LVQ的表示 ...

  2. select类型的input

    在选择类型一般都会用到下拉框  下拉选择类型 下拉框的类型就是在div中加一个select标签  然后在后面追加格式就行了 格式为 <select> <option value=&q ...

  3. 洛谷 P1250 种树 题解

    差分约束系统,维护前缀和,根据式子d[ b ] < = d[ e + 1 ] - t,可以看出要连e和b - 1,但占用了超级源点0,所以要把区间向后移,这样就可以用超级源点0来保持图的连通性( ...

  4. WinDbg常用命令系列---反汇编u*

    u, ub, uu (Unassemble) u*命令显示内存中指定程序代码的汇编转换.不要将此命令与~u(解冻线程)命令混淆. u[u|b] Range u[u|b] Address u[u|b] ...

  5. canvas的基本使用

    一.定义 canvas最早是由Apple引入Webkit的,<canvas>元素包含于HTML5中 HTML5的canvas元素使用JavaScript在网页上绘制图像,画布是一个矩形区域 ...

  6. 47、Spark SQL核心源码深度剖析(DataFrame lazy特性、Optimizer优化策略等)

    一.源码分析 1. ###入口org.apache.spark.sql/SQLContext.scala sql()方法: /** * 使用Spark执行一条SQL查询语句,将结果作为DataFram ...

  7. 【00NOIP普及组】计算器的改良(信息学奥赛一本通 1910)(洛谷 1022)

    [题目描述] NCL是一家专门从事计算器改良与升级的实验室,最近该实验室收到了某公司所委托的一个任务:需要在该公司某型号的计算器上加上解一元一次方程的功能.实验室将这个任务交给了一个刚进入的新手ZL先 ...

  8. java.lang.Thread类的静态方法sleep()和yield()的比较

    [线程让步yield()方法] yield()方法可以让当前正在执行的线程暂停,但它不会阻塞该线程,它只是将该线程从运行状态转入就绪状态. 只是让当前的线程暂停一下,让系统的线程调度器重新调度一次. ...

  9. linux core 性能

    apt-get install lrzsz apt-get install vim apt-get install -y net-tools apt-get install -y procps htt ...

  10. 创建批处理文件.bat文件(删除指定文件夹下的文件及文件夹并循环)

    1.针对仅仅是删除文件夹下的文件的操作:使用del命令,单纯的删除文件操作,如下:del /f /s /q C:\Users\dell\AppData\Local\Temp\*.* 2.删除文件夹操作 ...