02 二 08 snoopy与htmlsql实例（盗墓笔记采集）

snoopy这个采集类库是个很好玩的东西，简单而且使用，一般的采集应付起来绰绰有余。
最近一个哥们要看盗墓笔记的全本TXT文档，让我帮他采集，想了下决定用snoopy和一个好玩的类库htmlsql来做，htmlsql第一次使用，感觉比较好玩，写SQL的感觉非常有趣，就是灵活性上不是很突出，但做这种小的采集足够了，可能是因为第一次使用这个类库，并不是很顺利，写了两个多钟头，才搞定这个采集，这里放出源码供大家下载吧，想玩玩的可以拿去参考下。
展示部分代码：

include_once("./snoopy.class.php");
include_once("./htmlsql.class.php");
require_once("./function.php");
//防止页面超时
set_time_limit(0);
//生成文本文档名称
$name="怒海潜沙";//自定义文件名(注意自己修改)
$txt_name=$name.".txt";
$zhangjie="nu-hai-qian-sha";//这个程序写的并不是很智能，每个章节的链接地址还要自己修改下(注意自己修改)
$max="46";//最大采集章节数(注意自己修改)
$wsql = new htmlsql();
for($i=1;$i<=$max;$i++){
$a=sprintf("%02d", $i);
$url="http://www.daomubiji.com/$zhangjie-$a.html";
// connect to a URL
if (!$wsql->connect(‘url’, $url)){
print ‘Error while connecting: ‘ . $wsql->error;
exit;
}

if(!$wsql->query(‘SELECT * FROM h1′)){
print “Query error: ” . $wsql->error;
exit;
}

// show results:
foreach($wsql->fetch_array() as $row){
writeStatistic(“\r\n”.$row['text'].”\r\n”,$txt_name);
$echo=iconv(“UTF-8″, “GBK”, $row['text']);
//print_r($row);
}

$wsql->isolate_content(‘‘,’

‘);

if (!$wsql->query(‘SELECT * FROM *’)){
print “Query error: ” . $wsql->error;
exit;
}

// show results:
foreach($wsql->fetch_array() as $row){
writeStatistic(strip_tags($row['text']).”\r\n”,$txt_name);
//print_r($row);
}
print “$i. 章节： $echo 采集完成…..
“;
print “——————————————————–
“;
flush();
}
print “卷：$name 全部采集完成……”;
?>

程序包下载：
snoopy与htmlsql实例程序包

Tags: htmlsql, Snoopy, txt, 实例, 盗墓笔记