并发访问磁盘,多少个线程合适?

C、C++和Java语言
回复
头像
hellojinjie
帖子: 1144
注册时间: 2007-09-14 21:03
来自: 浙江
送出感谢: 0
接收感谢: 0

并发访问磁盘,多少个线程合适?

#1

帖子 hellojinjie » 2008-09-24 13:22

我有大约一万五千个文件要用正则表达式去处理,然后把得到的东西插入mysql,用java写的,每个文件的大小就跟你当前查看的页面另存为html之后一样大。磁盘是普通的笔记本硬盘并发处理文件的时候,几个线程比较和适
Say hello to everyday!
头像
xizhi.zhu
帖子: 46
注册时间: 2008-09-20 4:47
来自: Tampere
送出感谢: 0
接收感谢: 0
联系:

Re: 并发访问磁盘,多少个线程合适?

#2

帖子 xizhi.zhu » 2008-09-25 15:32

考虑一下你处理文件的时间、读取文件的时间、以及数据库处理的时间的关系,然后计算出最佳值
头像
hubert_star
论坛版主
帖子: 5372
注册时间: 2007-10-29 22:12
系统: OSX 10.9 + Ub 1304
来自: 江苏南京
送出感谢: 0
接收感谢: 5 次

Re: 并发访问磁盘,多少个线程合适?

#3

帖子 hubert_star » 2008-09-25 15:44

最好不要超过20个

比如10-20个
佛经说,人有八苦: 生、老、病、死、求不得、怨憎、爱别离、五阴盛 故我苦!
圣经说,人有七罪: 饕餮、贪婪、懒惰、淫欲、傲慢、嫉妒和暴怒  故我有罪!

我这篇帖子里面没有任何攻击我们伟大的中华人民共和国政府和任劳任怨的人民公仆(和本论坛高素质的版主)的文字和含义;

特此声明!

有些事,我们明知道是错的,也要去坚持,因为不甘心;有些人,我们明知道是爱的,也要去放弃,因为没结局;有时候,我们明知道没路了,却还在前行,因为习惯了。

欢迎来我的新浪微博@me
头像
自由建客
论坛版主
帖子: 13436
注册时间: 2008-07-30 23:21
系统: Debian stable AMD64
来自: freebuilder@yeah.net
送出感谢: 12 次
接收感谢: 112 次
联系:

Re: 并发访问磁盘,多少个线程合适?

#4

帖子 自由建客 » 2008-09-25 21:19

一次缓存几十兆,n个文件到内存,再慢慢正则,几CPU几线程
回复

回到 “C/C++/Java”