当前时区为 UTC + 8 小时



发表新帖 回复这个主题  [ 13 篇帖子 ] 
作者 内容
1 楼 
 文章标题 : 怎么吧md5一样的文件全部做成符号连接
帖子发表于 : 2008-05-05 11:54 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
某些图标主题 同样的文件很多,
我想 把一样的文件都只留一个 其余的都做成连接

find -type f -exec md5sum {} +|sort

这样可以按md5 hash 分组
后面是否一定要用条件和循环结构


_________________
错过好多好贴,没占到广告位后悔啊


最后由 ttand 编辑于 2008-05-05 13:04,总共编辑了 1 次

页首
 用户资料  
 
2 楼 
 文章标题 :
帖子发表于 : 2008-05-05 11:58 
头像

注册: 2007-10-19 14:51
帖子: 4953
地址: 深圳
送出感谢: 0 次
接收感谢: 2
想法不错。不过实现起来比较困难。。 用 perl 或者 python 吧


_________________
Nothing 有事请发邮件到 yms541 AT gmail.com
alias 爱慕颇雷尔='mplayer'


页首
 用户资料  
 
3 楼 
 文章标题 :
帖子发表于 : 2008-05-05 12:53 

注册: 2006-01-18 15:01
帖子: 1074
送出感谢: 0 次
接收感谢: 1
for i in *
do
for j in *
if diff $i $j >/dev/null
then
ln -sf $i $j
fi
done
done


页首
 用户资料  
 
4 楼 
 文章标题 :
帖子发表于 : 2008-05-05 13:03 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
xiechy 写道:
for i in *
do
for j in *
if diff $i $j >/dev/null
then
ln -sf $i $j
fi
done
done


我开始也这样想 不过 i 和 j 等于同一个文件时候 会怎么样??

且 i,j 是相关的 这样不好吧


_________________
错过好多好贴,没占到广告位后悔啊


页首
 用户资料  
 
5 楼 
 文章标题 :
帖子发表于 : 2008-05-05 13:38 
头像

注册: 2005-10-25 11:15
帖子: 1016
送出感谢: 0 次
接收感谢: 1
给你一个思路
代码:
find -maxdepth 1 -type f -exec md5sum {} \; |
awk '{ if (A[$1]) system("echo ln -sf "A[$1]" "$2); else A[$1]=$2 }'

不过想要做到比较完备,比如支持目录,支持带空格的文件名等等,还是需要不少考虑的。


_________________
hreiser@oakland:~$ killall -9 wife
police@oakland:~$ sudo find / -user hreiser
court@oakland:~$ sudo mv /home/hreiser /jail/
court@oakland:~$ sudo usermod -d /jail/hreiser -s "/usr/sbin/chroot /jail/" hreiser


页首
 用户资料  
 
6 楼 
 文章标题 :
帖子发表于 : 2008-05-05 14:30 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
laborer 写道:
给你一个思路
代码:
find -maxdepth 1 -type f -exec md5sum {} \; |
awk '{ if (A[$1]) system("echo ln -sf "A[$1]" "$2); else A[$1]=$2 }'

不过想要做到比较完备,比如支持目录,支持带空格的文件名等等,还是需要不少考虑的。


天哪看不懂awk 我还是把常用的工具熟悉一下再来


_________________
错过好多好贴,没占到广告位后悔啊


页首
 用户资料  
 
7 楼 
 文章标题 :
帖子发表于 : 2008-05-05 17:43 

注册: 2006-01-18 15:01
帖子: 1074
送出感谢: 0 次
接收感谢: 1
ttand 写道:
xiechy 写道:
for i in *
do
for j in *
if diff $i $j >/dev/null
then
ln -sf $i $j
fi
done
done


我开始也这样想 不过 i 和 j 等于同一个文件时候 会怎么样??

且 i,j 是相关的 这样不好吧

diff 和 ln 没那么傻吧 他们自己会处理的 你可以先做个试验 反正我试了没出现问题


页首
 用户资料  
 
8 楼 
 文章标题 :
帖子发表于 : 2008-05-05 19:19 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
xiechy
文件少可以用
多的话就崩溃了
就是 i,j相关

连來连去 层数过多

diff 比 md5 然后 sort 慢多了

跑了很久 最后 nautilus 挂了 不支持那么多层的符号链吧


_________________
错过好多好贴,没占到广告位后悔啊


页首
 用户资料  
 
9 楼 
 文章标题 :
帖子发表于 : 2008-05-05 19:47 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
ok了
代码:
#!/bin/sh
for i in *
   do
   for j in *
   do
      if ! [ -h $i ]
      then
      if ! [ -h $j ]
      then #还有其他写法没有.......
         if [ $i != $j ]
            then
            if diff $i $j >/dev/null
               then
               ln -sf $i $j
               echo "lnk"
            fi
         fi
      fi
      fi
   done
done


_________________
错过好多好贴,没占到广告位后悔啊


页首
 用户资料  
 
10 楼 
 文章标题 :
帖子发表于 : 2008-05-05 20:05 

注册: 2006-01-18 15:01
帖子: 1074
送出感谢: 0 次
接收感谢: 1
我错了 :oops:
试试这个吧
代码:
#!/usr/bin/bash
file=($(ls))
for((i = 0; i < ${#file[@]}; i++))
do
if ! [ -h "${file[$i]}" ]
then
for((j = $i + 1; j < ${#file[@]}; j++))
do
if ! [ -h "${file[$j]}" ]
then
if diff ${file[$i]} ${file[$j]} >/dev/null
then
ln -sf ${file[$i]} ${file[$j]}
fi
fi
done
fi
done


页首
 用户资料  
 
11 楼 
 文章标题 :
帖子发表于 : 2008-05-05 20:07 

注册: 2006-01-18 15:01
帖子: 1074
送出感谢: 0 次
接收感谢: 1
发完抬头 晕了 :shock:


页首
 用户资料  
 
12 楼 
 文章标题 :
帖子发表于 : 2008-05-05 22:05 
头像

注册: 2005-08-14 21:55
帖子: 58428
地址: 长沙
送出感谢: 4
接收感谢: 272
肯定先建立列表的了。sort 可以用到。uniq可以作一个比较副本。


_________________
● 鸣学


页首
 用户资料  
 
13 楼 
 文章标题 :
帖子发表于 : 2008-05-05 22:23 
头像

注册: 2005-08-22 14:05
帖子: 1743
地址: 离开北京
送出感谢: 1
接收感谢: 3
可以了 现在nuoveXT.2.2的主题包容量降到一半
xiechy那种蛮力法 i j循环遍历。然后就是只要两个都是非符号连接的文件,且不是同一个 就比较,相同就连接。

应该没有漏网的。不过也有缺点 只能工作在一个目录下,最后还是用 find -type d |xargs作引子 用此脚本接受xarg的文件夹路径参数,然后cd 然后 继续弄。。。。

很慢而且不能跨文件夹 ln -sf

改天有空做个纯管道的 :roll:


_________________
错过好多好贴,没占到广告位后悔啊


页首
 用户资料  
 
显示帖子 :  排序  
发表新帖 回复这个主题  [ 13 篇帖子 ] 

当前时区为 UTC + 8 小时


在线用户

正在浏览此版面的用户:没有注册用户 和 3 位游客


不能 在这个版面发表主题
不能 在这个版面回复主题
不能 在这个版面编辑帖子
不能 在这个版面删除帖子
不能 在这个版面提交附件

前往 :  
本站点为公益性站点,用于推广开源自由软件,由 DiaHosting VPSBudgetVM VPS 提供服务。
我们认为:软件应可免费取得,软件工具在各种语言环境下皆可使用,且不会有任何功能上的差异;
人们应有定制和修改软件的自由,且方式不受限制,只要他们自认为合适。

Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
简体中文语系由 王笑宇 翻译