网站下载

wget 是一个用于文件下载的命令行工具

用wget可以下载网页或远程文件：
$ wget URL
多处URL下载
$ wget URL1 URL2 URL3..
下载文件输出文件到指定文件
$ wget ftp://example.com/somefile.img -o dloaded_file.img -o log
指定重试次数
$ wget -t 5 URL
使用--limit-rate对wget限速
$ wget --limit-rate 20k http://.....
可以使用k和m指定速度限制还可以指定最大下载配额使用--quota或-Q
$ wget -Q 100m http://...断点续传
如果在下载完成之前被中断，可以用-C从断电开始继续下载
$ wget -c URL使用cURL下载
$ curl http://slynux.org > index.html 不能将下载数据写入文件，二十标准输出，所以需要用重定向复制或镜像整个网站
$ wget --mirror exampledomain.com
或者
$ wget -r -N -l DEPTH URL
-l 指定页面层级DEPTH ,意味着wget只会向下遍历指定的页面技术，要与-r（递归选项）一起使用，-N允许文件使用时间戳，URL表示下载的网站起始地址访问需要认证的HTTP或FTP页面
$ wget --user username --password pass URL

以格式化纯文本形式下载网页

lynx命令的-dump选项项网页以ASCII字符形式下载到文本中

$ lynx -dump URL > webpage_as_text.txt

cURL入门

curl通常下载文件输出到stdout 将进度信息输出到stderr，避免显示进度信息可以使用–silent
下载文件输出到终端

$ curl url --silent -o new_filename 
--progress可以代替--silent显示为####的进度条

断点续传
指定偏移量

curl URL/file -c offset
$curl -C -URL

设置参照页字符串

$ curl --referer Referer_URL target_URL

设置cookie

$ curl http://example.com --cookie "user=slynux;pass=hack"
如果要将cookie另存一个文件，使用--cookie-jar
$ curl URL --cookie-jar cookie_file

用cURL设置用户代理字符串
用cURL的–user-agent或-A设置用户代理

$ curl URL --user-agent "Mozilla/5.0"
其他HTTP头部信息
$ curl -H "Host：www.slynux,org" -H "Accept-languge:en" URL

限定CURL可占用带宽

$ curl URL --limit-rate 20k
指定最大下载量
--max-filesize
$ curl URL --max-filesize bytes
如果文件超出大小限制，命令返回一个非0的退出码，如果正常运行，返回0用cURL进行认证
$ curl -u userLpass URL
密码提示
$ curl -u user: URL只打印相应头部信息
通过-I或-head就可以打印HTTP头部信息，无须下载远程文件
$ curl -I url

从命令行访问Gmail

#!/bin/bashusername="put_username_here"
password="put_password_here"SHOW_COUNT=5echocurl -u $username:$password --silent "https://mail.google.com/mail/feed/atom" | \
tr -d '\n' | sed 's:>/entry>:\n:g' | \
sed 's/.*<title>\(.*\)<\title.*,<author><name>\({^<]*\)<\/name><email>
\([^<]*\).*/AiThor：\2 [\3] \nSubject: \1\n/' | \
head -n $(( $ SHOW)COUNT * 3 ))

解析网站数据

$ lynx -dump http://www..... | \
grep -o "Rank-.*" | \
sed 's/Rank-//; s/[[0-9]\+\]//' | \
sort -nk 1 | \
awk '
{
for(i=3;i<=NF;i++){ $2=$2" "$i}
printf "%-4s %s\n",$1,$2;}' > actressslist.txt