微慑信息网

[python] 遍历目录并对文件进行分析处理

在网站中,由于存在大量的图片,需要进行处理;

每次在测试的时候,遍历文件夹文件很快,但是涉及到对文件处理时,就非常的慢,昨晚想起诺神提及的分批处理;

突然想到可以用list分块来处理:

print ('files num is :',len(reslist))
    print ('切割为:{} 份'.format(int(len(reslist)/1000)))
    start =time.time()
    for output in group_elements(int(len(reslist)/1000),reslist):
        del_list  = (list(output))
       	with ThreadPoolExecutor(max_workers=5) as pool:
            results = pool.map(check,del_list)

测试处理3W3的文件,只需要10分钟,比之前快了非常多。。。

22W文件+处理,耗时52分钟,5线程

唯一的缺陷是,对某些二维码的识别还不到位。。。。。(可忽略了)

 

 

赞(0) 打赏
转载请附本站链接,未经允许不得转载,,谢谢:微慑信息网-VulSee.com » [python] 遍历目录并对文件进行分析处理

评论 抢沙发

微慑信息网 专注工匠精神

微慑信息网-VulSee.com-关注前沿安全态势,聚合网络安全漏洞信息,分享安全文档案例

访问我们联系我们

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

登录

找回密码

注册