北大青鸟小游网:值得大家信赖的游戏下载站!
发布时间:2021-06-30 11:26:58来源:北大青鸟手游网作者:北大青鸟手游网
Ubuntu 16.04 Server
Python3.5
1、从Mysql数据库获取任务
2、任务导入列表后开始http请求,将数据以文件形式保存到硬盘
3、开80线程
1、家用路由器频繁死机(一天两三次)
2、爬虫开始时爬取速度很快,但是越来越慢
查看爬虫日志发现路由器死机前,爬虫速度基本都在峰值,看来是路由器是累晕的,爬虫开始时速度快然后越来越慢,说明爬虫本身问题不大,应该是运行后消耗的系统资源越来越多,直到消耗殆尽而导致速度上不去。查看内存和cpu的消耗情况发现,在爬虫速度降低之后内存cpu的占用也有降低,看来问题不在硬件资源,那是不是网络资源内,使用netstat命令查看发现有大量“TIME_WAIT”状态的TCP连接,使用命令
netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’
查看发现TIME_WAIT状态的连接近2w,看来是资源tcp连接过多!此时想是不是爬虫http头部信息中Connection的问题呢,把Keep-Alive改为close并未解决问题!那Ubuntu有没有设置tcp连接控制方面的选项呢?通过搜索得知,tcp连接可以设置回收时间和是否可以复用,命令如下:
echo “1” > /proc/sys/net/ipv4/tcp_tw_reuse #设置TIME_WAIT状态可以重用 echo “1” > /proc/sys/net/ipv4/tcp_tw_recycle #设置TCP连接尽快回收
使用以上命令后问题果然解决!
和平精英通讯塔是什么 和平精英通讯塔玩法详细解析
跑跑卡丁车手游制霸赛场挑战任务全攻略
神雕侠侣2手游氪金玩家消费指南
王牌战士幽灵实战技巧讲解
王者荣耀王者模拟战即将上线 王者模拟战玩法介绍
王牌战士团战如何切入详细讲解
第五人格先知天赋怎么加点
崩坏3精英工坊新加入了什么武器圣痕 精英工坊新武器圣痕一览
古今江湖童姥牌组搭配使用技巧攻略
坠落星界
其它游戏
炽姬无双
角色扮演
王者荣耀
角色扮演
和平精英
枪战射击
邪恶疯人院
休闲益智
神雕侠侣2
角色扮演
一刀传世
角色扮演
九州天空城3D
角色扮演
斗罗大陆手游
角色扮演