微慑信息网

[python] 遍历目录并对文件进行分析处理

在网站中,由于存在大量的图片,需要进行处理;

每次在测试的时候,遍历文件夹文件很快,但是涉及到对文件处理时,就非常的慢,昨晚想起诺神提及的分批处理;

突然想到可以用list分块来处理:

print ('files num is :',len(reslist))
    print ('切割为:{} 份'.format(int(len(reslist)/1000)))
    start =time.time()
    for output in group_elements(int(len(reslist)/1000),reslist):
        del_list  = (list(output))
       	with ThreadPoolExecutor(max_workers=5) as pool:
            results = pool.map(check,del_list)

测试处理3W3的文件,只需要10分钟,比之前快了非常多。。。

22W文件+处理,耗时52分钟,5线程

唯一的缺陷是,对某些二维码的识别还不到位。。。。。(可忽略了)

 

 

本文标题:[python] 遍历目录并对文件进行分析处理
本文链接:
(转载请附上本文链接)
https://vulsee.com/archives/vulsee_2022/0224_16164.html
转载请附本站链接,未经允许不得转载,,谢谢:微慑信息网-VulSee.com » [python] 遍历目录并对文件进行分析处理
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

微慑信息网 专注工匠精神

访问我们联系我们