分页: 1 / 1

有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-01 18:30
科学之子
有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?
以前的内容:
如何单独清空chrome://dns/的列表,而不涉及其他历史记录?
以前的内容:
有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?
某些网页涉及的二级域名太多...

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-01 18:42
rosynirvana
你是说一次访问中进行通讯的所有域名,还是别的什么?

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-01 19:11
科学之子
rosynirvana 写了:你是说一次访问中进行通讯的所有域名,还是别的什么?
差不多吧.
举例就是chrome的应用商店
我这直接把chrome.google.com加进去没用.
chrome://dns/
看到一堆二级域名
仔细研究了一下,清除历史记录时勾选"Browsing history"即可让chrome://dns/清空
之后访问某网页就是所涉及的域名了.
有什么方法单独清除chrome://dns/?

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

发表于 : 2015-01-01 20:08
rosynirvana
你要清prefetched DNS? 清那个干什么……
prefetched DNS是根据浏览记录分析最常被访问的域名,然后在下次启动的时候预读这些dns数据
从概念上来说只能关闭,或者把浏览记录都清理掉,让软件无法分析

单次的http请求可以打开开发者工具,然后看network那一栏,刷新一次,就能看到所有访问的域名了

另外,如果是要配置代理规则,有现成的

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

发表于 : 2015-01-01 21:38
科学之子
rosynirvana 写了:你要清prefetched DNS? 清那个干什么……
prefetched DNS是根据浏览记录分析最常被访问的域名,然后在下次启动的时候预读这些dns数据
从概念上来说只能关闭,或者把浏览记录都清理掉,让软件无法分析

单次的http请求可以打开开发者工具,然后看network那一栏,刷新一次,就能看到所有访问的域名了

另外,如果是要配置代理规则,有现成的
chrome://dns/是缓存列表吗?貌似chrome://net-internals/#dns才是?
这两个地址的内容貌似不同.
可以说我希望清理掉这个列表.
清理的目的是可以单纯留下目标网页涉及的域名.
貌似chrome应用商店的二级域名也并非"海量",手工添加到hosts也不算很大压力.
通过清空历史记录,用chrome://dns/跟踪到了chrome应用商店的所有域名,目前通过hosts解析正常.
但如何仅仅清空这个列表呢?直接用chrome提供的清除记录功能还会设计到其它记录,但我只想清空chrome://dns
虽然chrome://net-internals/#dns有清空DNS缓存的功能,但貌似并不能影响chrome://dns/的列表
另外,如果是要配置代理规则,有现成的
貌似网上现成的hosts文件有不少是失效的
network,会跟踪一大堆地址,但我需要的只是域名.
Thu Jan 1 21:43:04 CST 2015 补充:
貌似chrome://dns/不是缓存,而是记录历来解析过的域名
或者"Subresource Spec"的意思是?貌似是"子资源详情"?

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

发表于 : 2015-01-01 22:02
rosynirvana
chrome://dns不是缓存列表,作用我在楼上说过了,根据访问记录计算访问最多的域名,然后在程序下次启动时解析这几个域名
所以说,从概念上不能仅仅清空这个列表,因为它是根据浏览记录计算的,只能把浏览记录清理掉

chrome://net-internals#dns是浏览器自己的dns缓存,清理掉这些东西不会影响chrome://dns,这两个东西没有什么直接关系

hosts失效的是ip地址,不是域名
除了hosts还有autoproxy维护的列表

Re: 如何单独清空chrome://dns/的列表,而不涉及其他历史记录?

发表于 : 2015-01-02 1:14
科学之子
rosynirvana 写了:chrome://dns不是缓存列表,作用我在楼上说过了,根据访问记录计算访问最多的域名,然后在程序下次启动时解析这几个域名
所以说,从概念上不能仅仅清空这个列表,因为它是根据浏览记录计算的,只能把浏览记录清理掉

chrome://net-internals#dns是浏览器自己的dns缓存,清理掉这些东西不会影响chrome://dns,这两个东西没有什么直接关系

hosts失效的是ip地址,不是域名
除了hosts还有autoproxy维护的列表
那还是回到老话题,有什么办法跟踪网页涉及的域名?
F12的Network貌似很适合用来跟踪有哪些文件,但是跟踪域名貌似不是很适合(尽管看URL也能看到域名,但那非常不方便,尤其是Network功能无法获取一个文本列表.)
F12有时还会因为没有来得及开启,错过某些信息.
"autoproxy维护的列表"是什么?
Fri Jan 2 02:23:46 CST 2015补充:
预想中貌似可以备份chrome的配置文件,然后清除记录.(只是预想,还没试过)
有没有更方便一些的方法呢?
Fri Jan 2 02:30:32 CST 2015补充:
刚刚试了一下,貌似效果不错.
除了稍微有些不方便.

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-02 11:42
rosynirvana
打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-03 12:49
科学之子
rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2015-01-03 18:19
rosynirvana
事实上用不着自己做hosts表,第一是因为autoproxy有现成的东西,第二单纯dns污染/劫持的阻断也没那么多
想要适用性最广的方法,自己写一个脚本把页面所有url都parse出来就可以了

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2020-11-19 10:04
zbl0517
科学之子 写了: 2015-01-03 12:49
rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?
有个同样的问题,请问后来有解决办法吗

Re: 有何方法能自动获取访问某网页时涉及的所有域名列表?或本机进行泛域名解析?

发表于 : 2020-12-02 11:37
科学之子
zbl0517 写了: 2020-11-19 10:04
科学之子 写了: 2015-01-03 12:49
rosynirvana 写了:打开开发者工具,选择network,然后刷新,就不会像你说的”错过时机“了
觉得chrome的不好用可以用firefox的,有专门的一项domain
autoproxy的列表搜一下就知道了,base64编码的

所以你是要解决什么问题,google的域名随便找个hosts然后替换ip就可以了,其他被墙地址用autoproxy的列表也能解决
的确,用现成的hosts替换IP会更方便一些
不过还是希望自己有方法跟踪网页的涉及域名,这样自己制作hosts列表也方便一些.
firefox的domain比chrome效果好不少,但仍然无法批量复制?
有个同样的问题,请问后来有解决办法吗
抱歉,这个问题本身和这个问题的处理方法我都已经完全忘记了(当时可能是直接放弃直接解决这个问题了).
站在此时此刻我的角度, 暂时什么傻瓜式的方法.
潜在的方法
1.在开发者工具中Copy All As Har 或 Save All As Har, 然后写个Python脚本确定每一条的host头
2.编写Firefox扩展然后调用原生程序记录到文件,详情参考MDN文档 https://developer.mozilla.org/en-US/doc ... Extensions
我想到的这两个方法都绕不开Python或者用其它编程语言自己编程处理.