[讨论]Linux文件系统无碎片且性能优异?我不相信。拿证据出来。

不同视角、不同观点、深度探讨,禁止人品和道德攻击
回复
头像
fallleaf
帖子: 694
注册时间: 2006-12-29 20:13

#46

帖子 fallleaf » 2008-08-18 10:50

感觉lz的测试有片面之嫌
但强烈支持lz的实验精神 :lol:
在学习linux的道路上自在而行。
头像
hyy_m
帖子: 140
注册时间: 2008-02-18 16:25

#47

帖子 hyy_m » 2008-08-18 16:49

……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
vvvli
帖子: 441
注册时间: 2006-10-26 7:02

#48

帖子 vvvli » 2008-08-18 23:32

看了一堆回复,基本没有愿意研究的。 不是好现象。
billbear
帖子: 3681
注册时间: 2008-05-03 23:42

#49

帖子 billbear » 2008-08-18 23:50

不够严谨,要交代很多细节。比如,下载完以后是否关闭了bt? 不会是一边继续bt下载/上传 ,一边来测试拷贝速度吧?
这都要写清楚。
还有,至少重启一次再来测试,也许 bt 吃了很多资源,这时候正在写 swap 呢?
wgn
帖子: 164
注册时间: 2006-04-29 15:54
来自: CUGB

#50

帖子 wgn » 2008-08-19 0:42

lz用的啥硬盘啊?
莫非是当年的酷鱼20G!?

再有,你是如何测试的?更多细节你都没有说

lz是牛人,最好到国外的牛mail list上发一下
不是骂声一片(90%)就是轰动全球(10%)
头像
pentie
帖子: 228
注册时间: 2007-08-27 22:03
来自: http://apt-blog.co.cc/

#51

帖子 pentie » 2008-08-19 0:49

lz的出发点不错,不过实验方法和数据都不够严禁。

至少不应该加载了x,那样太多不可预测的干扰了。你从recover mode的root shell用cp命令试试,时间自己掐秒表。

虽然不能说这样就绝对严谨,但这样的还可以让我相信“BT后文件传输速度降低”的命题。

但是一点事实是,win下使用QQ接收回来的群图片、聊天记录文件会产生大量磁盘碎片,往往开着QQ就把整台机都拖得非常非常慢。而Linux的文件系统,比如运行apache的论坛服务器,n多人发帖删帖上传下载文件,如果流量足够,磁盘的数据吞吐量和个人电脑相比根本不在一个数量级的,但是服务器长年累月的运转并不会因为磁盘碎片而降低性能。

从科学态度看,做实验时一个个体的数据会有各种难以考虑的偏差,一个群体的数据才有说服力。
头像
冲浪板
论坛版主
帖子: 7513
注册时间: 2007-05-06 8:19

#52

帖子 冲浪板 » 2008-08-19 14:59

hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
头像
luojie-dune
帖子: 22033
注册时间: 2007-07-30 18:28
系统: Linux
来自: 空气中

#53

帖子 luojie-dune » 2008-08-19 15:08

我bt的东西只有系统镜像和少数游戏/视频,真没实验过。
『这个世界都是我的 ,我爱你们』

ENTP ⥂ INTP ⥄ INFP ⇦ INTJ

在此发布的文章使用 Creative Commons Attribution-ShareAlike 4.0 协议
vvvli
帖子: 441
注册时间: 2006-10-26 7:02

#54

帖子 vvvli » 2008-08-20 1:34

冲浪板 写了:
hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
任何文件系统都可以制造出碎片。。你很无聊。
头像
matri
帖子: 1140
注册时间: 2006-10-27 11:14
来自: 悉尼

#55

帖子 matri » 2008-08-20 7:02

冲浪板 写了:
hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
你给硬盘加个大脑,或者给它未卜先知的能力,硬盘才能知道零散数据应该如何放置,否则1、2M一次的写入,弄得乱七八糟是很正常的事情。
windywinter
帖子: 192
注册时间: 2007-02-17 12:24
联系:

#56

帖子 windywinter » 2008-08-23 11:34

冲浪板 写了:
hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
你搞错了“碎片”的概念。“碎片”是指一次写入操作(数据量可能很大)被文件系统分拆成多份分别写入硬盘的不同位置。而各种BT下载软件都是在自己的buffer存满之后执行一次写入操作。buffer小的时候,写入操作多,buffer大的时候,写入操作少。如果是文件系统有问题,那么表现应该是无论是否调高buffer,都无法解决问题,而现在调高buffer可以解决问题,说明问题不出在文件系统上,而是出在BT下载软件上——它把原本的一个文件,人为的分拆成多份做写入操作,而文件系统无法预知这样的写入操作总共有多少,每次有多大,逻辑上先后关系如何,所以只好把每次写入的数据存在硬盘上不连续的位置,宏观上的表现就是一个文件被分成多份存在硬盘上好像碎片一般,但这不是由文件系统产生的碎片。
梦.:如此短暂 http://d.ream.at
头像
想入非非
帖子: 8078
注册时间: 2008-07-14 22:42
来自: Beijing
联系:

#57

帖子 想入非非 » 2008-08-23 19:22

windywinter 写了:
冲浪板 写了:
hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
你搞错了“碎片”的概念。“碎片”是指一次写入操作(数据量可能很大)被文件系统分拆成多份分别写入硬盘的不同位置。而各种BT下载软件都是在自己的buffer存满之后执行一次写入操作。buffer小的时候,写入操作多,buffer大的时候,写入操作少。如果是文件系统有问题,那么表现应该是无论是否调高buffer,都无法解决问题,而现在调高buffer可以解决问题,说明问题不出在文件系统上,而是出在BT下载软件上——它把原本的一个文件,人为的分拆成多份做写入操作,而文件系统无法预知这样的写入操作总共有多少,每次有多大,逻辑上先后关系如何,所以只好把每次写入的数据存在硬盘上不连续的位置,宏观上的表现就是一个文件被分成多份存在硬盘上好像碎片一般,但这不是由文件系统产生的碎片。
很专业的解释,继续学习。。。。
Ubuntu User
头像
tanweiyap
帖子: 46
注册时间: 2008-08-19 22:36

#58

帖子 tanweiyap » 2008-08-23 20:48

windywinter 写了:
冲浪板 写了:
hyy_m 写了:……楼主说的问题的确存在 把bt下载下来的文件拷到其他盘速度的确比拷其它文件慢近50% 在我的机上是从20+m/s->11m/s(用的rtorrent,最近下载的东西多,一直有注意速度)
但如果把问题都怪在ext3文件系统上那就是伪科学 确实如vvvli所说 把buffer调高就能解决问题。我因为此帖亲自测试过 如果把rtorrent的recieve buffer调到64m 其他不变 这样去下东西 最后把下好的文件拷过去 速度居然几乎没有损失 是20+m/s。仅这一点就能说明不是文件系统的问题。
楼主如果语气温和点,认真去分析问题所在,也不会遭人喷了。楼主的的测试如此片面,不经思考就开始骂本来没什么罪过的ext3等文件系统,被骂也不要怨太多啦。
“把buffer调高就能解决问题”,正说明调节前的碎片比调节后的多。
你搞错了“碎片”的概念。“碎片”是指一次写入操作(数据量可能很大)被文件系统分拆成多份分别写入硬盘的不同位置。而各种BT下载软件都是在自己的buffer存满之后执行一次写入操作。buffer小的时候,写入操作多,buffer大的时候,写入操作少。如果是文件系统有问题,那么表现应该是无论是否调高buffer,都无法解决问题,而现在调高buffer可以解决问题,说明问题不出在文件系统上,而是出在BT下载软件上——它把原本的一个文件,人为的分拆成多份做写入操作,而文件系统无法预知这样的写入操作总共有多少,每次有多大,逻辑上先后关系如何,所以只好把每次写入的数据存在硬盘上不连续的位置,宏观上的表现就是一个文件被分成多份存在硬盘上好像碎片一般,但这不是由文件系统产生的碎片。
谢谢,终于清楚明白了。
头像
冲浪板
论坛版主
帖子: 7513
注册时间: 2007-05-06 8:19

#59

帖子 冲浪板 » 2008-08-24 8:29

任何软件都可能写文件、追加文件数据,不一定是一次性质写入,那么都可以制造出碎片-虽然和文件系统无关。
既然有碎片,就有清理、排序文件的需求。

要说盘的空间足够大,可以减少碎片量,那时候又可以说:“那是盘的问题,不是文件系统的事”...
头像
matri
帖子: 1140
注册时间: 2006-10-27 11:14
来自: 悉尼

#60

帖子 matri » 2008-08-24 10:51

楼上又偷换概念了,这和盘的大小没有任何关系,空余空间可能存在于分区的所有位置,你盘再大,对于软件放置数据内容来说没有区别。只是说设计良好的软件,可以利用各种手段来避免生成碎片,比如大块数据写入、预分配空间等等,文件系统是没有未卜先知的能力的。

ext3的具体实现我不清楚,不过长期使用ext3的下载机器在几年工作后并没有明显的磁盘性能下降,说明它对于磁盘碎片的处理还是卓有成效。
回复