批量下载twitter文字内容,如何写脚本

sh/bash/dash/ksh/zsh等Shell脚本
回复
gaowen
帖子: 18
注册时间: 2009-07-17 8:22

批量下载twitter文字内容,如何写脚本

#1

帖子 gaowen » 2014-04-16 19:36

hi,想问个问题,我需要批量下载某个twitter账号发布的内容,发现可以通过这种链接进行下载,

代码: 全选

https://twitter.com/i/profiles/show/CGChengduAir/timeline?include_available_features=1&include_entities=1&last_note_ts=0&max_id=455273007955443711,
这里会变化的是最后max_id。不过在每一份下载文件里,都是以

代码: 全选

{"max_id":"455001245342654463","has_more_items":true,"items_html":"
开头的,而这里的max_id,就是下一份文件下载链接里的max_id数值。
因此可通过这种递归的方式进行下载。
思路是这样的。现在我知道可以通过wget加代理配置下载文件,下载好之后也可以通过find 筛选结果,但是如何下载成了难题。
从windows转入ubuntu不久,感觉可以通过bash解决这个问题,比如通过grep 筛选出 max_id数值,然后建立新的下载链接,但是还摸不清头脑,不清楚具体命令行改如何写。请各位大神指点一下
头像
maplebeats
帖子: 378
注册时间: 2011-02-16 1:17

Re: 批量下载twitter文字内容,如何写脚本

#2

帖子 maplebeats » 2014-04-16 23:24

你自己不是都把思路想好了么,就这么干呗
My blog : OOXX
头像
astolia
论坛版主
帖子: 6703
注册时间: 2008-09-18 13:11

Re: 批量下载twitter文字内容,如何写脚本

#3

帖子 astolia » 2014-04-16 23:57

看看本版置顶的shell编程基础,基本上就是用个while循环.

另外,处理json最好用专门的工具,源里的jshon就不错

代码: 全选

$ echo '{"max_id":"455001245342654463","has_more_items":true}' | jshon -e max_id
"455001245342654463"
gaowen
帖子: 18
注册时间: 2009-07-17 8:22

Re: 批量下载twitter文字内容,如何写脚本

#4

帖子 gaowen » 2014-04-17 13:28

谢谢两位~~我试一下~

感谢 astolia 给的建议
astolia 写了:看看本版置顶的shell编程基础,基本上就是用个while循环.

另外,处理json最好用专门的工具,源里的jshon就不错

代码: 全选

$ echo '{"max_id":"455001245342654463","has_more_items":true}' | jshon -e max_id
"455001245342654463"
回复