栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

python中使用selenium进行爬虫时,导致(内存已缓存)备用内存占用过大导致崩溃问题,3个解决方案

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

python中使用selenium进行爬虫时,导致(内存已缓存)备用内存占用过大导致崩溃问题,3个解决方案

在使用python进行爬虫的时候,使用selenium进行爬取的时候经常会出现已缓存过大的情况,如果缓存出现过大之后再次执行的话就会计算机拒绝,但是这个时候我们的内存又有很多空间可以使用,一开始我以为是占用文件过多然后点360的那个进行文件整理和清理垃圾,结果效果一样还是无法使用,再买一个内存条的话又不想花钱了,一番检查后发现是这个已缓存占用过大也就是备用内存。

3个解决方案
  • 1.关机重启休眠
  • 2.RamMap
  • 3.lntelligent standby list cleaner


一开始我想到的方案就是selenium里面去释放掉内存,例如driver.quit driver.close drive.fresh 但是效果并不大,或者去整理掉计算机用文件去清理,效果只是处理掉了些没用的文件对我的内存并没有作用,那么如果彻底解决这些我找了一段时间发现去清理掉这个已缓存内存空间就行,但是找又找不到,后面才发现原来人们叫他备用内存。

1.关机重启休眠

这些都可以释放掉备用内存,但是我的爬虫需要一直执行,不可能到了一段时间再关机重启那样有些数据就会找不到,所以这个方案效果不大

2.RamMap

RamMap
这个软件就有点效果了使用也很简单点Empty - Empty Standby List就行,然后就可以一键释放掉备用内存的全部内存


3.lntelligent standby list cleaner

这个软件是一个可以设置定时清理缓存,一到一定的程度就可以自动帮你在后台清理缓存非常好用使用方法也很简单用管理员模式打开软件
点击purge standby list就可以释放掉你的备用内存,
wanted timer resolution 就是指定需要开启的次数
the list size at least就是设置当备用内存到多大的时候开始执行比如你设置8096就是备用内存到8G的时候就执行,
下面那个就是自由内存小于多少的时候开始执行
最后点击start就可以执行,执行后软件就在后台运行
点击stop就关闭执行

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1033483.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号