ADFilter 1.1 发布

由本社区发起的开源项目
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

ADFilter 1.1 发布

#1

帖子 oneleaf » 2008-07-26 10:16

上一版本功能:
1 网址过滤来源于 adblock plus(含中文过滤列表)的URL
2 网址过滤来源 sb.google.com 的木马和钓鱼页面
3 HTML过滤来源非主站点的 JS 脚本
4 HTML过滤来源非主站点的 IFrame 页面
5 增加了btchina.net在firefox下无法浏览的修正功能
6 后台自动缓存文件,加速前端访问时间。

增加的功能:
1 支持自定义代理网址,支持代理模式设置为
自动代理:当无法访问时,自动尝试代理服务器地址
全部代理:所有的地址都使用代理服务器连接
手工设置:仅仅代理与自定义代理设置相匹配的地址
2 支持自定义黑名单和白名单,自定义白名单优先采纳
3 默认关闭HTML内容过滤,仅仅按照黑名单过滤网址
4 访问js时,检查引用地址,如果引用地址和js地址不是同一个域名,将默认阻止
5 完善命令行参数设置,支持使用非GUI模式启动

源码位于: http://www.optool.cn/svn/ADFilter/
Windows下载: http://www.optool.cn/sites/default/file ... ter1.1.exe
Linux下载: http://www.optool.cn/sites/default/file ... ter1.1.jar

图片
头像
eexpress
帖子: 58428
注册时间: 2005-08-14 21:55
来自: 长沙
送出感谢: 4 次
接收感谢: 256 次

#2

帖子 eexpress » 2008-07-26 23:39

木马和钓鱼页面
巨大的列表?
● 鸣学
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#3

帖子 oneleaf » 2008-07-27 0:17

322K的url列表。 :D
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#4

帖子 20sanguo » 2008-07-27 0:30

自动代理可以和葱头连用。
超时设置能不能在第一次检测该网址超时后,在没有关闭ADFilter的状态下,以后都直接用代理访问,而不再检测该网址是否超时。这样可能会快一点。

用自动代理刷新几次就自动退出了,全部代理则没问题。
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#5

帖子 oneleaf » 2008-07-27 9:18

20sanguo 写了:自动代理可以和葱头连用。
超时设置能不能在第一次检测该网址超时后,在没有关闭ADFilter的状态下,以后都直接用代理访问,而不再检测该网址是否超时。这样可能会快一点。

用自动代理刷新几次就自动退出了,全部代理则没问题。
本来就是这样的,凡是connect reset的会在一小时内都采用代理访问;再下载一次程序,今天早上优化了一下,加入了DNS Cache速度提升很多。原来每次都使用opendns查询,非常耗时。
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#6

帖子 20sanguo » 2008-07-27 10:31

下了最新版的。
是类似 http:///*www.xxx.com/* 这样的吗?为什么我的访问每一项都显示超时呢?
A:
代理设置: 127.0.0.1:9050 自动检测
java -jar ADFilter1.1.jar

grub4dos页面测试:

127.0.0.1 - - [Sun Jul 27 10:12:04 CST 2008] "GET http://grub4dos.jot.com/WikiHome HTTP/1.0" - - - "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.122" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:13:05 CST 2008] "GET http://grub4dos.jot.com/WikiHome HTTP/1.0" - - - "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0030" Can't connect : connect timed out

很长时间不能访问

葱头页面测试:

127.0.0.1 - - [Sun Jul 27 10:18:12 CST 2008] "GET http://www.torproject.org/download.html.zh-cn HTTP/1.0" - - "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.069" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:18:12 CST 2008] "GET http://www.torproject.org/download.html.zh-cn HTTP/1.0" 200 18247 "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "pay:64.265 req:0.069 con:61.745 resH:0.704 resD:1.688"
127.0.0.1 - - [Sun Jul 27 10:19:04 CST 2008] "GET http://www.torproject.org/ HTTP/1.0" - - - "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0020" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:19:04 CST 2008] "GET http://www.torproject.org/ HTTP/1.0" 200 10385 - "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "pay:65.795 req:0.0020 con:61.492 resH:2.369 resD:1.93"
Cache Return url http://www.torproject.org/stylesheet.css
Cache Return url http://www.torproject.org/favicon.ico
Cache Return url http://www.torproject.org/images/top-left.png
Cache Return url http://www.torproject.org/images/top-middle.png
Cache Return url http://www.torproject.org/images/top-right.png
Cache Return url http://www.torproject.org/images/de.png
Cache Return url http://www.torproject.org/images/en.png
Cache Return url http://www.torproject.org/images/es.png
Cache Return url http://www.torproject.org/images/fi.png
Cache Return url http://www.torproject.org/images/fr.png
Cache Return url http://www.torproject.org/images/it.png
Cache Return url http://www.torproject.org/images/ja.png
Cache Return url http://www.torproject.org/images/nl.png
Cache Return url http://www.torproject.org/images/pl.png
Cache Return url http://www.torproject.org/images/pt.png
Cache Return url http://www.torproject.org/images/ru.png
Cache Return url http://www.torproject.org/images/se.png
Cache Return url http://www.torproject.org/images/tr.png
Cache Return url http://www.torproject.org/images/zh-cn.png
Cache Return url http://www.torproject.org/images/how_to ... umb_zh.png
Cache Return url http://www.torproject.org/images/download_囗囗囗.png
127.0.0.1 - - [Sun Jul 27 10:20:10 CST 2008] "GET http://www.torproject.org/images/fa.png HTTP/1.0" - - "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0030" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:20:11 CST 2008] "GET http://www.torproject.org/images/ko.png HTTP/1.0" - - "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0040" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:20:11 CST 2008] "GET http://www.torproject.org/images/no.png HTTP/1.0" - - "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0020" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:20:39 CST 2008] "GET http://www.torproject.org/download.html.zh-cn HTTP/1.0" - - "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0010" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:20:39 CST 2008] "GET http://www.torproject.org/download.html.zh-cn HTTP/1.0" 200 18247 "http://www.torproject.org/" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "pay:64.295 req:0.0010 con:60.966 resH:0.667 resD:2.659"
127.0.0.1 - - [Sun Jul 27 10:21:56 CST 2008] "GET http://www.torproject.org/docs/囗囗囗-doc-osx.html HTTP/1.0" - - "http://www.torproject.org/download.html.zh-cn" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "req:0.0010" Can't connect : connect timed out
127.0.0.1 - - [Sun Jul 27 10:21:56 CST 2008] "GET http://www.torproject.org/docs/囗囗囗-doc-osx.html HTTP/1.0" 200 12720 "http://www.torproject.org/download.html.zh-cn" "Opera/9.51 (X11; SunOS i86pc; U; zh-cn)" "pay:63.457 req:0.0010 con:61.012 resH:0.72 resD:1.722"

可以打开,但是比较慢

B:
全部代理速度非常快。

C:
手工代理是 把http://*www.tXXX.org/* 这样的网址放到代理名单里吗?我试不成功啊。
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#7

帖子 oneleaf » 2008-07-27 11:53

是我的问题,变量代理类型初始化错了,已经修正,测试OK。 已经覆盖,请重新下载。
手工代理,仅仅需要贴出站点即可,直接输入 www.txxx.org 就好了。
所有的名单过滤都采用正则表达式匹配。
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#8

帖子 20sanguo » 2008-07-27 13:40

行了 :D 速度完美,不过运行一段时间会自动关闭,我想试下无gui模式。

弱弱的问一句
5 完善命令行参数设置,支持使用非GUI模式启动
怎么使用?


这个说明好像也没有指出怎么关

完整说明: java -jar ADFilter.jar cli DEBUG=true URLFILTER=true HTMLFILTER=true ALLOWINTERNETACCESS=true PROXYTYPE=auto PROXY=127.0.0.1:1090 FORTIMEOUT=36000000 ROTIMEOUT=600000 COTIMEOUT=60000 MAXCONNECTCOUNT=200 MAXCACHEFILESIZE=1024000
监听端口: 8080
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#9

帖子 oneleaf » 2008-07-27 13:47

不过运行一段时间会自动关闭
有这个问题?没有发现这个bug啊。
我平时在服务器上使用 nohup java -jar ADFilter.jar cli PROXYTYPE=auto PROXY=127.0.0.1:9050 & 启动,如果需要关闭,直接kill掉。
因为我服务器上没有java应用,直接使用 killall java 完事。
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#10

帖子 20sanguo » 2008-07-27 15:04

nohup java -jar ADFilter.jar cli URLFILTER=true HTMLFILTER=false ALLOWINTERNETACCESS=false PROXYTYPE=auto PROXY=127.0.0.1:9050 &

好像自定代理没有修改,而为空:
表现为访问正常网址可以access.log里正常,
超时需要代理时在error.log一直是Can't connect : connect timed out

如果改成读本地配置文件会不会好点?

另外8080被占用后是会自动8081吧。
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#11

帖子 oneleaf » 2008-07-27 15:42

是的,端口会自动跳。error.log始终会记录错误的,不过不影响客户端的访问。
发现一个严重的bug,不好意思,我疏忽了,没有检查,CLI模式下赋值代码的函数用错了,已经修正上传,请重新下载。
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#12

帖子 20sanguo » 2008-07-27 16:57

重新下载了几次还是一样哦。会不会是编译了,忘了传了?
我注意到终端里的 完整说明: 提示和svn中源码显示的不同,想自己编译一下,但用ant出错。
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#13

帖子 oneleaf » 2008-07-27 17:19

20sanguo 写了:重新下载了几次还是一样哦。会不会是编译了,忘了传了?
我注意到终端里的 完整说明: 提示和svn中源码显示的不同,想自己编译一下,但用ant出错。
我下载测试没有问题的。是不是缓存的缘故?先不用代理,如果使用ADFilter,一小时内会强制直接返回Cache,过了一小时后,才会与服务器去比较长度,如果长度一样也会使用Cache。
头像
20sanguo
帖子: 794
注册时间: 2008-05-10 9:53
送出感谢: 0
接收感谢: 3 次

#14

帖子 20sanguo » 2008-07-27 17:55

:( 确实是firefox缓存的问题,上论坛用的都是ff,下载了几次的都一样,换opera下载下来的明显不同。看来脑子的多转弯啊。

现在无gui可以了,而且试了和用gui差不多相同的时间没有自动退出。
但gui还是会退出,也没有什么错误提示,在终端里显示的也是那些连接信息。

除此之外完美了 :P 那真是是相当的好用喔
头像
oneleaf
论坛管理员
帖子: 10340
注册时间: 2005-03-27 0:06
系统: Ubuntu 12.04
送出感谢: 7 次
接收感谢: 113 次

#15

帖子 oneleaf » 2008-07-27 18:17

GUI退出的问题,我这边跟踪一下,你那边能不能在终端直接使用 java -jar ADFilter.jar 的方式运行一下 ?
如果退出,给出一下最后的错误信息?另外那个源码里面的ant编译脚本是netbneans自带的,不规范,无法直接使用ant编译。源码需要在netbeans6.1的环境下编译和打包。
回复

回到 “开源小工具”