前提:和系统威尼斯人平台搭建论坛:haozbbs.com Q1446595067 有关系。有的不少内容,有的少。我是在测试环境下一点问题都没有,结果跑到生产环境就不行了。由于生产环境不能重装系统等因素,所有采用了本文的解决方案。
系统环境:win7 x64
项目介绍:使用pyautogui对pc端应用程序做自动化操作。
项目一开始使用的pyautogui.locateOnScreen("xxx.png")来定位,使用pyautogui.click()来实现点击,使用typewrite("xxx")来实现文本的输入。
本身项目难度不大,但是问题就出在生产环境下locateOnScreen()定位不到弹窗内容,一开始以为是cpu等硬件问题,导致截图延迟造成的(毕竟locateOnScreen的效率还是挺低的,一般全屏识别需要3-6s的时间)。所以就想着先把图片截取下来,然后再用locate本地对比识别。
随后就采用pyautogui.screenshot()来截屏,但是发现还是不行,当时认为是截取的太快了,因为screenshot的还是挺快的,1920*1080的截屏也只需要100ms,担心是tooltip(悬浮提示)还没有出来就截屏了,所以就加了time.sleep(1)来延迟截屏。但是结果还是没有东西,就想到是不是这个函数是异步处理的,不会等待sleep的执行完成,在这里走了一些弯路。
翻看了pyautogui的源码,发现screenshot在win下采用的是PIL的ImageGrab.grab()来实现的截屏。就用PIL模拟了一下screenshot的过程,结果还是截取不到tooltip。随后用了win32api的截图方法,结果还是截取不到。显然用win32api的效率已经是非常高了,当时又加了一些延迟,但是还是不行。
# import time
# import win32gui,win32ui,win32con,win32api
# def window_capture(filename):
# hwnd=0
# hwndDC=win32gui.GetWindowDC(hwnd)
# mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# saveDC=mfcDC.CreateCompatibleDC()
# saveBitMap=win32ui.CreateBitmap()
# MoniterDev=win32api.EnumDisplayMonitors(None,None)
# w=MoniterDev[0][2][2]
# h=MoniterDev[0][2][3]
# saveBitMap.CreateCompatibleBitmap(mfcDC,w,h)
# saveDC.SelectObject(saveBitMap)
# saveDC.BitBlt((0,0),(w,h),mfcDC,(0,0),win32con.SRCCOPY)
# saveBitMap.SaveBitmapFile(saveDC,filename)
# window_capture("2.png")
最后无奈,只好手动测试,到底为什么没有截取到(截至目前,没不知道原因是截取不到,一直还认为可能是延迟、程序异步的问题)。为了方便记录截图的时间,所以就想到了用个小工具显示再屏幕上,找工具太麻烦,就用了win7的小工具--时钟。这个就是问题的突破口。用了这个之后,发现之前的程序都截取不到这个小工具。又经过一系列的测试断定是截图函数的问题。
测试使用prtsc截图快捷键可以。所以才有了最后的方案,同样是采用win32api,但是需要用到快捷键截屏,并且需要用到剪切板来存储截图。
win32api.keybd_event(win32con.VK_SNAPSHOT, 0)
time.sleep(0.5)
im=ImageGrab.grabclipboard()
im.save("screen.png")
问题解决,用时5-6个小时。
原文地址:http://blog.51cto.com/13857162/2137866