分页： 1 / 2
[求指导]如何利用脚本/程序从静雅思听网站下载音乐文件？
发表于 ： 2014-02-15 12:15
由 highwind
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-15 12:33
由 YeLee
代码： 全选
wget -q "http://www.justing.com.cn/page/74012.html" -O -|grep -oP "(?<=<div class=\"title\" id=\"title\").*" |sed 's=^[^\>]*>\([^\<]*\)<.*=http://dl.justing.com.cn/page/\1.mp3=g'
那东西下载还要登录的……不过，假如下载地址有个规律的话，应该可以这样用的吧。
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-15 16:13
由 jinjiachen
下载器不会自动解析？
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-15 17:05
由 eexpress
oncontextmenu="fDownload(event)"
oncontextmenu="fBogoDown(event)"
script src="
http://ajax.googleapis.com/ajax/libs/
这不能用爬虫下载了。
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-15 21:20
由 highwind
谢谢呀，虽然有些具体的参数含义不懂，不过我猜大致意思是截取文件名插入到链接里吧。我想问问1为啥要右键另存为才能得到这个地址？2这个动作脚本可以模拟吗？
Sent from my iPod touch using Tapatalk
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-15 21:24
由 highwind
谢谢ee ，请问您是怎么看出来爬虫不能下载这个问题呢? 您列举代码的含义是? 或者我应该查js方面的书吗？
Sent from my iPod touch using Tapatalk
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-16 9:36
由 mjp123
由于其下载url有很强的规律，所以“爬虫”可以，
其实，写个油侯脚本可能更加方便下载。
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-16 11:09
由 highwind
谢谢提示，这也是个好主意。 可是还是不懂为什么右键另存为才能得到链接呢？
Sent from my iPod touch using Tapatalk
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-17 13:26
由 nae6taiyie0T
不难.
刚才看了一下, 写了个油㺅脚本, 会自动在页面的右下角生成最终的mp3的下载地址.
* 不需要登录
* 不需要启用页面的javascript
* 不需要启用cookie
脚本可以在这里下载:
https://github.com/LiuLang/monkey-videos
另附截图:
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 0:26
由 highwind
我才把那个sed看明白了，正准备再去捣鼓油猴呢，您就已经写好啦，
。我去学习学习啊，看看怎么加一个自动下载（不过网站好像是限线程的）。
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 0:35
由 nae6taiyie0T
highwind 写了： 我才把那个sed看明白了，正准备再去捣鼓油猴呢，您就已经写好啦，
。我去学习学习啊，看看怎么加一个自动下载（不过网站好像是限线程的）。
@highwind
你需要的是批量下载?
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 1:29
由 highwind
我是想一步一步来的，先学下一个 再看能不能下一批，因为每天每个类别都有更新。
因为蛮喜欢这个网站的，就是不知道这样多网站会不会有啥不利的。
Sent from Tapatal
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 1:45
由 nae6taiyie0T
highwind 写了：我是想一步一步来的，先学下一个 再看能不能下一批，因为每天每个类别都有更新。
因为蛮喜欢这个网站的，就是不知道这样多网站会不会有啥不利的。
Sent from Tapatal
我刚开试了下, 是可以批量下载的, 我同时下载了6首mp3, 没问题.
如果考虑网站负担的话, 不妨在晚上睡觉前开始下载, 因为零晨以后的网速快, 网站的访问量也很小了.
我可以帮你写一个下载的程序, 刚才我想了一下, 可以有这些功能:
* 自动分类
* 自动将mp3的标签转为UTF8格式的, 因为它默认的是gbk, 会有乱码.
* 多线程下载.
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 2:27
由 highwind
nae6taiyie0T 写了：highwind 写了：我是想一步一步来的，先学下一个 再看能不能下一批，因为每天每个类别都有更新。
因为蛮喜欢这个网站的，就是不知道这样多网站会不会有啥不利的。
Sent from Tapatal
我刚开试了下, 是可以批量下载的, 我同时下载了6首mp3, 没问题.
如果考虑网站负担的话, 不妨在晚上睡觉前开始下载, 因为零晨以后的网速快, 网站的访问量也很小了.
我可以帮你写一个下载的程序, 刚才我想了一下, 可以有这些功能:
* 自动分类
* 自动将mp3的标签转为UTF8格式的, 因为它默认的是gbk, 会有乱码.
* 多线程下载.
哇塞，都不知道怎么感谢了，反正我也只是拿这个学学写脚本而已，如果有人提点再好不过啦。
那个乱码确实没法子，只好自己转了，跟网站提过建议的，不过他们还没回音；
分类的话，其实倒也不打紧，我现在都是按每篇文章来分类（手动建立文件夹而已），当然要是学会怎么自动分也很开心啊；
多线程不错啊，不过每个文件都不大，单线程一会儿也下完了，而且是不是相应可以多下几个文件呢（待求证）；
另外如果是注册用户，每次下载好像都会有点小积分，不知道咱要是用脚本下，这个网站能不能识别呢？
Re: [求指导]如何从这个网页下载音乐文件？
发表于 ： 2014-02-18 15:29
由 nae6taiyie0T
highwind 写了：nae6taiyie0T 写了：highwind 写了：我是想一步一步来的，先学下一个 再看能不能下一批，因为每天每个类别都有更新。
因为蛮喜欢这个网站的，就是不知道这样多网站会不会有啥不利的。
Sent from Tapatal
我刚开试了下, 是可以批量下载的, 我同时下载了6首mp3, 没问题.
如果考虑网站负担的话, 不妨在晚上睡觉前开始下载, 因为零晨以后的网速快, 网站的访问量也很小了.
我可以帮你写一个下载的程序, 刚才我想了一下, 可以有这些功能:
* 自动分类
* 自动将mp3的标签转为UTF8格式的, 因为它默认的是gbk, 会有乱码.
* 多线程下载.
哇塞，都不知道怎么感谢了，反正我也只是拿这个学学写脚本而已，如果有人提点再好不过啦。
那个乱码确实没法子，只好自己转了，跟网站提过建议的，不过他们还没回音；
分类的话，其实倒也不打紧，我现在都是按每篇文章来分类（手动建立文件夹而已），当然要是学会怎么自动分也很开心啊；
多线程不错啊，不过每个文件都不大，单线程一会儿也下完了，而且是不是相应可以多下几个文件呢（待求证）；
另外如果是注册用户，每次下载好像都会有点小积分，不知道咱要是用脚本下，这个网站能不能识别呢？
@highwind
已经写好, 需要的话可以联系我, 下载速度还行, 默认是3个下载线程.
我的gtalk 是
gsushzhsosgsu@gmail.com, 也可以发邮件
==========
17:33 更新
把程序上传到了github里, 这里:
https://github.com/LiuLang/monkey-video ... er/justing
只需要下载那个justing.py文件, 然后安装必要的python3依赖包, 就可以运行了.