当前时区为 UTC + 8 小时



发表新帖 回复这个主题  [ 10 篇帖子 ] 
作者 内容
1 楼 
 文章标题 : 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 13:09 

注册: 2017-09-21 14:46
帖子: 28
系统: ubuntu16.04
送出感谢: 5
接收感谢: 0 次
准备搭建本地yum仓库做实验,
第一想到的就是把阿里云的repo源全部弄下来,不知道多大,就先拿腾讯云服务器当实验yum.遇到几个问题

环境: 1核1G内存 带宽1M 系统:centos 6.9

第一次试探的尝试脚本一个一个下载,因为不知道多大,发现一共6706个包,用时约31分钟 大小5.6G
--------------------------------------
sum=6706

real 30m57.105s
user 0m11.973s
sys 0m36.484s

[root@bbs packet2]# du -sh
5.6G

第二次下载50次并发 用时15分30秒左右
--------------------------------------
sum=6706

real 15m29.854s
user 0m17.168s
sys 0m36.886s
[root@bbs packet2]#

第三次100次并发 用时14分3秒左右
--------------------------------------
sum=6706

real 14m2.561s
user 0m15.493s
sys 0m31.249s

rpm安装包 大多集中在20k左右
[root@bbs packet2]# ls -sh|awk '{print $1}'|sort|uniq -c|sort -nr|head -10
321 20K
319 16K
293 24K
252 28K
240 12K
216 32K
173 40K
168 36K
137 8.0K
128 44K
[root@bbs packet2]#

结果挺让人激动的
但是发现 我明明只有1M带宽 以第三次结果来计算 大小5.6G=5.6 * 1024M=5734.4M 用时14分3秒=14*60+3=843s 速率:5734.4M / 843s =6.8M/s 6.8M/s??? 真正的速率是6.8/8 0.85 还是6.8*8 54.4?

问题
1.下载网速和带宽是什么关系?
2.我看100次并发下载时,cpu占用和内存也很低,到底可以后台并发多少?影响瓶颈是什?么网络带宽还是IO?好像内存和cpu并没什么影响啊


页首
 用户资料  
 
2 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 13:54 
头像

注册: 2009-04-11 23:46
帖子: 4164
系统: Arch Linux
送出感谢: 11
接收感谢: 127
1. 下载速率 < 带宽
2. 网络带宽

给你的带宽应该是100M吧?或者是限速逻辑有问题?


_________________
我的博客 https://blog.lilydjwg.me/
提问的智慧 害人的 X-Y 问题
Arch Linux 中文论坛

我的vimrc: https://git.io/vimrc


页首
 用户资料  
 
3 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 15:20 
头像

注册: 2010-04-02 16:44
帖子: 540
系统: openSUSE 13.2 x64
送出感谢: 2
接收感谢: 11
内存和cpu有影响但是影响不大。按照现在的cpu处理能力,把一个核沾满所需要的吞吐是在GB级别的(E5-2667 v3 @ 3.20 GHz)
再考虑到带宽和磁盘的限制,实际肯定达不到这么多,所以cpu和内存的影响基本可以忽略


_________________
正在建设中的个人博客


页首
 用户资料  
 
4 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 18:13 

注册: 2017-09-21 14:46
帖子: 28
系统: ubuntu16.04
送出感谢: 5
接收感谢: 0 次
lilydjwg 写道:
1. 下载速率 < 带宽
2. 网络带宽

给你的带宽应该是100M吧?或者是限速逻辑有问题?


理论上是下载速度<带宽 但是我不知道我算的对不对

云服务器上最低配置 带宽就是1m 至少他们是这么写的
机器配置
操作系统 CentOS 6.8 64位
CPU 1核
内存 1GB
系统盘 50 GB(本地硬盘)
公网带宽 1Mbps

真是奇怪


页首
 用户资料  
 
5 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 18:22 

注册: 2017-09-21 14:46
帖子: 28
系统: ubuntu16.04
送出感谢: 5
接收感谢: 0 次
qgymib 写道:
内存和cpu有影响但是影响不大。按照现在的cpu处理能力,把一个核沾满所需要的吞吐是在GB级别的(E5-2667 v3 @ 3.20 GHz)
再考虑到带宽和磁盘的限制,实际肯定达不到这么多,所以cpu和内存的影响基本可以忽略


是的 我分别使用阿里云和腾讯运 和笔记本虚拟机分别下载实验 cpu和内存基本很低很低.
值得说明的是 虚拟机不算宿主系统,开5个虚拟机.用其中一个虚拟机(1cpu1核心1g内存)也跑一样的并发,cpu和内存也使用不多.很感人.就是笔记本温度很高.

我在想阻碍并发的瓶颈和硬盘io 和网卡\网络带宽.和系统ulimit等参数. cpu和内存真的没压力

我弄不清楚 移动cpu和台式cpu和服务器常用cpu 怎么比较 怎么测试
还有就是这神奇带宽和下载的关系 怎么算都超出云服务器外网带宽


页首
 用户资料  
 
6 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 18:33 
头像

注册: 2009-04-11 23:46
帖子: 4164
系统: Arch Linux
送出感谢: 11
接收感谢: 127
还有个可能:你的下载有问题。你并不是计算的实际下载数据量,而是假设它们是一样的。有可能你的并发下载逻辑有问题,有可能因为并发导致服务器报错,结果下载的数据量远少于预期。

对了,有个工具可以很方便地看实时使用带宽(以及其它数据,比如磁盘I/O使用): dstat。


_________________
我的博客 https://blog.lilydjwg.me/
提问的智慧 害人的 X-Y 问题
Arch Linux 中文论坛

我的vimrc: https://git.io/vimrc


页首
 用户资料  
 
7 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 20:04 
头像

注册: 2008-09-18 13:11
帖子: 2951
送出感谢: 1
接收感谢: 495
为什么都不去读一下文档呢?
根据腾讯云的官方文档 https://cloud.tencent.com/document/product/213/12523
它所标称的公网带宽,实际是出网方向的带宽,而实际分配的入网方向带宽至少有10M。所以这个数据并没有什么奇怪的


页首
 用户资料  
 
8 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-09 22:28 
头像

注册: 2009-04-11 23:46
帖子: 4164
系统: Arch Linux
送出感谢: 11
接收感谢: 127
astolia 写道:
为什么都不去读一下文档呢?
根据腾讯云的官方文档 https://cloud.tencent.com/document/product/213/12523
它所标称的公网带宽,实际是出网方向的带宽,而实际分配的入网方向带宽至少有10M。所以这个数据并没有什么奇怪的


因为我不是腾讯云的用户,也不是他们的客服。我也没想到专业领域的东西标称也是如此不严谨(或者是提问者提供信息不全?)。也被我说中了,是限速逻辑的事情。


_________________
我的博客 https://blog.lilydjwg.me/
提问的智慧 害人的 X-Y 问题
Arch Linux 中文论坛

我的vimrc: https://git.io/vimrc


页首
 用户资料  
 
9 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-10 9:33 
头像

注册: 2011-02-16 1:17
帖子: 372
送出感谢: 0 次
接收感谢: 6
有可能小包过多导致限速可能没跟上-。-
我用腾讯云1M带宽下大文件到是定死了100多k,坑


_________________
My blog : OOXX


页首
 用户资料  
 
10 楼 
 文章标题 : Re: 带宽与多线程下载的疑问
帖子发表于 : 2018-05-10 16:42 

注册: 2017-09-21 14:46
帖子: 28
系统: ubuntu16.04
送出感谢: 5
接收感谢: 0 次
astolia 写道:
为什么都不去读一下文档呢?
根据腾讯云的官方文档 https://cloud.tencent.com/document/product/213/12523
它所标称的公网带宽,实际是出网方向的带宽,而实际分配的入网方向带宽至少有10M。所以这个数据并没有什么奇怪的


原来如此 白激动了 那怎么能充分利用带宽?有思路没


页首
 用户资料  
 
显示帖子 :  排序  
发表新帖 回复这个主题  [ 10 篇帖子 ] 

当前时区为 UTC + 8 小时


在线用户

正在浏览此版面的用户:没有注册用户 和 5 位游客


不能 在这个版面发表主题
不能 在这个版面回复主题
不能 在这个版面编辑帖子
不能 在这个版面删除帖子
不能 在这个版面提交附件

前往 :  
本站点为公益性站点,用于推广开源自由软件,由 DiaHosting VPSBudgetVM VPS 提供服务。
我们认为:软件应可免费取得,软件工具在各种语言环境下皆可使用,且不会有任何功能上的差异;
人们应有定制和修改软件的自由,且方式不受限制,只要他们自认为合适。

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
简体中文语系由 王笑宇 翻译