当前时区为 UTC + 8 小时



发表新帖 回复这个主题  [ 40 篇帖子 ]  前往页数 1, 2, 3  下一页
作者 内容
1 楼 
 文章标题 : 有没有在一个目录十几万个文件里面搜索所有相同的文件方法 (已找到很多解决方案)
帖子发表于 : 2007-11-08 9:04 
头像

注册: 2006-06-10 8:43
帖子: 5941
地址: 中国 CS
送出感谢: 0 次
接收感谢: 2
有没有在一个目录,十几万个文件里面搜索所有相同的文件方法
并把它归类出来
尝试用find不行。
如果有软件也行,软件最好
懂的知会一声,谢谢。


_________________
年轻没有失败! ! ! ! ! !
噢!有怪兽,有怪兽!


最后由 xiehuoli 编辑于 2007-11-09 16:48,总共编辑了 1 次

页首
 用户资料  
 
2 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:17 

注册: 2007-02-15 6:26
帖子: 356
送出感谢: 0 次
接收感谢: 1
相同意思是什么?

如果是 txt html doc ... 之类,可以用PHP 写个小程式 (PDF/IMAGE的话, 没测试过)


页首
 用户资料  
 
3 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:17 
头像

注册: 2005-08-14 21:55
帖子: 58428
地址: 长沙
送出感谢: 4
接收感谢: 272
照片?那gqview有多级别的比较照片的功能。
其他文件?那不知道了。
文本?你建立一个svn。。。。也不知道如何搞。


_________________
● 鸣学


页首
 用户资料  
 
4 楼 
 文章标题 : Re: 有没有在一个目录十几万个文件里面搜索所有相同的文件方法
帖子发表于 : 2007-11-08 9:20 
头像

注册: 2006-04-12 20:05
帖子: 8495
地址: 杭州
送出感谢: 0 次
接收感谢: 8
xiehuoli 写道:
有没有在一个目录,十几万个文件里面搜索所有相同的文件方法
并把它归类出来
尝试用find不行。
如果有软件也行,软件最好
懂的知会一声,谢谢。


相同的文件?不懂啊,是指里面的内容相同吗?是文本文件吗?估计写个 shell script 可以搞定的吧..


_________________
关注我的blog: ε==3


页首
 用户资料  
 
5 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:28 
头像

注册: 2007-06-02 14:56
帖子: 547
送出感谢: 0 次
接收感谢: 0 次
一种方法:find + md5sum ,根据md5判断重复文件


页首
 用户资料  
 
6 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:29 
头像

注册: 2005-08-14 21:55
帖子: 58428
地址: 长沙
送出感谢: 4
接收感谢: 272
这妹托疯了。巨大的索引。md5会想死的。随便几个电影目录,你就别做事了。


_________________
● 鸣学


页首
 用户资料  
 
7 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:35 
头像

注册: 2007-06-02 14:56
帖子: 547
送出感谢: 0 次
接收感谢: 0 次
十几万部电影 ? :lol:
lz那估计是服务器吧,使劲折腾


页首
 用户资料  
 
8 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:54 
头像

注册: 2007-10-19 14:51
帖子: 4953
地址: 深圳
送出感谢: 0 次
接收感谢: 2
find /your/dir/ -type f -exec ls -l {} \; | awk '{print $5 "\t" $8}' | sort > list.txt

list.txt 中大小相同的在一起,然后再想办法用md5sum比较。。 :)


最后由 yaoms 编辑于 2007-11-08 9:54,总共编辑了 1 次

页首
 用户资料  
 
9 楼 
 文章标题 :
帖子发表于 : 2007-11-08 9:54 

注册: 2006-01-10 19:09
帖子: 1334
送出感谢: 0 次
接收感谢: 0 次
用hash呢


页首
 用户资料  
 
10 楼 
 文章标题 :
帖子发表于 : 2007-11-08 10:57 
头像

注册: 2006-06-10 8:43
帖子: 5941
地址: 中国 CS
送出感谢: 0 次
接收感谢: 2
是内容和名字 都一样
不一定是文本文件,只要内容相同的,都要找出来


_________________
年轻没有失败! ! ! ! ! !
噢!有怪兽,有怪兽!


页首
 用户资料  
 
11 楼 
 文章标题 :
帖子发表于 : 2007-11-08 11:01 
头像

注册: 2006-10-25 18:10
帖子: 2677
地址: 长沙
送出感谢: 0 次
接收感谢: 0 次
同一目录下,内容一样的文件,有可能;但是名字一样的,可能吗?


页首
 用户资料  
 
12 楼 
 文章标题 :
帖子发表于 : 2007-11-08 11:27 
头像

注册: 2006-06-10 8:43
帖子: 5941
地址: 中国 CS
送出感谢: 0 次
接收感谢: 2
yiding_he 写道:
同一目录下,内容一样的文件,有可能;但是名字一样的,可能吗?

可能,因为还有子文件夹


_________________
年轻没有失败! ! ! ! ! !
噢!有怪兽,有怪兽!


页首
 用户资料  
 
13 楼 
 文章标题 :
帖子发表于 : 2007-11-08 11:27 
头像

注册: 2006-04-12 20:05
帖子: 8495
地址: 杭州
送出感谢: 0 次
接收感谢: 8
xiehuoli 写道:
是内容和名字 都一样
不一定是文本文件,只要内容相同的,都要找出来


你的意思是同个目录下有很多子目录,然后各子目录里面有同名的又同内容的文件,是吗?
写脚本吧~

问题是你找出来以后想怎么处理呢?


_________________
关注我的blog: ε==3


页首
 用户资料  
 
14 楼 
 文章标题 :
帖子发表于 : 2007-11-08 11:29 
头像

注册: 2007-02-02 18:14
帖子: 30702
系统: debian sid
送出感谢: 1
接收感谢: 34
傻瓜建议:先找名字一样 大小一样的找出来再说,能满足这两个条件的恐怕都不是很多了,不过这个只能是用来找文件而已,如果要做什么自动处理的话,那还要把符合上面两个条件的文件在比较过才行


_________________
醉了星星,醉月亮●●●●●The Long Way To Go(*^_^*)


页首
 用户资料  
 
15 楼 
 文章标题 :
帖子发表于 : 2007-11-08 11:38 
头像

注册: 2006-06-10 8:43
帖子: 5941
地址: 中国 CS
送出感谢: 0 次
接收感谢: 2
bones7456 写道:
xiehuoli 写道:
是内容和名字 都一样
不一定是文本文件,只要内容相同的,都要找出来


你的意思是同个目录下有很多子目录,然后各子目录里面有同名的又同内容的文件,是吗?
写脚本吧~

问题是你找出来以后想怎么处理呢?

先找出来
等上头通知在处理


_________________
年轻没有失败! ! ! ! ! !
噢!有怪兽,有怪兽!


页首
 用户资料  
 
显示帖子 :  排序  
发表新帖 回复这个主题  [ 40 篇帖子 ]  前往页数 1, 2, 3  下一页

当前时区为 UTC + 8 小时


在线用户

正在浏览此版面的用户:没有注册用户 和 2 位游客


不能 在这个版面发表主题
不能 在这个版面回复主题
不能 在这个版面编辑帖子
不能 在这个版面删除帖子
不能 在这个版面提交附件

前往 :  
本站点为公益性站点,用于推广开源自由软件,由 DiaHosting VPSBudgetVM VPS 提供服务。
我们认为:软件应可免费取得,软件工具在各种语言环境下皆可使用,且不会有任何功能上的差异;
人们应有定制和修改软件的自由,且方式不受限制,只要他们自认为合适。

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
简体中文语系由 王笑宇 翻译