带宽与多线程下载的疑问
发表于 : 2018-05-09 13:09
准备搭建本地yum仓库做实验,
第一想到的就是把阿里云的repo源全部弄下来,不知道多大,就先拿腾讯云服务器当实验yum.遇到几个问题
环境: 1核1G内存 带宽1M 系统:centos 6.9
第一次试探的尝试脚本一个一个下载,因为不知道多大,发现一共6706个包,用时约31分钟 大小5.6G
--------------------------------------
sum=6706
real 30m57.105s
user 0m11.973s
sys 0m36.484s
[root@bbs packet2]# du -sh
5.6G
第二次下载50次并发 用时15分30秒左右
--------------------------------------
sum=6706
real 15m29.854s
user 0m17.168s
sys 0m36.886s
[root@bbs packet2]#
第三次100次并发 用时14分3秒左右
--------------------------------------
sum=6706
real 14m2.561s
user 0m15.493s
sys 0m31.249s
rpm安装包 大多集中在20k左右
[root@bbs packet2]# ls -sh|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
321 20K
319 16K
293 24K
252 28K
240 12K
216 32K
173 40K
168 36K
137 8.0K
128 44K
[root@bbs packet2]#
结果挺让人激动的
但是发现 我明明只有1M带宽 以第三次结果来计算 大小5.6G=5.6 * 1024M=5734.4M 用时14分3秒=14*60+3=843s 速率:5734.4M / 843s =6.8M/s 6.8M/s??? 真正的速率是6.8/8 0.85 还是6.8*8 54.4?
问题
1.下载网速和带宽是什么关系?
2.我看100次并发下载时,cpu占用和内存也很低,到底可以后台并发多少?影响瓶颈是什?么网络带宽还是IO?好像内存和cpu并没什么影响啊
第一想到的就是把阿里云的repo源全部弄下来,不知道多大,就先拿腾讯云服务器当实验yum.遇到几个问题
环境: 1核1G内存 带宽1M 系统:centos 6.9
第一次试探的尝试脚本一个一个下载,因为不知道多大,发现一共6706个包,用时约31分钟 大小5.6G
--------------------------------------
sum=6706
real 30m57.105s
user 0m11.973s
sys 0m36.484s
[root@bbs packet2]# du -sh
5.6G
第二次下载50次并发 用时15分30秒左右
--------------------------------------
sum=6706
real 15m29.854s
user 0m17.168s
sys 0m36.886s
[root@bbs packet2]#
第三次100次并发 用时14分3秒左右
--------------------------------------
sum=6706
real 14m2.561s
user 0m15.493s
sys 0m31.249s
rpm安装包 大多集中在20k左右
[root@bbs packet2]# ls -sh|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
321 20K
319 16K
293 24K
252 28K
240 12K
216 32K
173 40K
168 36K
137 8.0K
128 44K
[root@bbs packet2]#
结果挺让人激动的
但是发现 我明明只有1M带宽 以第三次结果来计算 大小5.6G=5.6 * 1024M=5734.4M 用时14分3秒=14*60+3=843s 速率:5734.4M / 843s =6.8M/s 6.8M/s??? 真正的速率是6.8/8 0.85 还是6.8*8 54.4?
问题
1.下载网速和带宽是什么关系?
2.我看100次并发下载时,cpu占用和内存也很低,到底可以后台并发多少?影响瓶颈是什?么网络带宽还是IO?好像内存和cpu并没什么影响啊