[原创]图书网站采集实例教程

Filed under: Spider |
Posted on 12月 12th, 2007 由 毛毛虫

在网上看到很多简单的采集教程，尤其是针对图书网站的比较多，但附带实例的并不多，在看了一篇针对八路中文网的抓取分析后，决定针对这个网站，写一个简单的抓取教程，并附带实例。由于俺偷懒，文中很多分析都是来自《利用PHP制作简单的内容采集器》，俺只是进一步优化了他的流程，并完成了代码实例的编写。
采集程序其实并不难做，只要分析清楚流程，然后使用合适的正则来取到你想要的内容就可以了。废话不说了，教程开始：
1.分析入口：
多打开几本书后，可以发现书名的基本格式是：http://www.86zw.com/Book/书号/Index.aspx。于是得出：

  1. $BookId='1888';
  2. $index="http://www.86zw.com/Book/".$BookId."/Index.aspx";//组合书目首页URL

2.打开页面：

  1. $contents=file_get_contents($index);

3.抓取图书信息页：

  1. //抓取图书相关信息
  2. preg_match_all("/<div id=\"CrBookTitle\"><span class=\"booktitle\">(.*)<\/span><\/div>/is",$contents,$Arraytitle);
  3. preg_match_all("/【<a href=\"(.*)\"><font color=\"#CC0000\">点击阅读<\/font><\/a>】/is",$contents,$Arraylist);
  4. unset($contents);
  5. $title=$Arraytitle[1][0];//书名
  6. $list="http://www.86zw.com".trim($Arraylist[1][0]);//列表页URL


4.创建保存目录及文件：

  1. //生成文本文档名称
  2. $txt_name=$title.".txt";
  3. Creatdir($BookId);//创建图片文件夹
  4. writeStatistic($title."\r\n",$txt_name);//图书标题写入文本文件

5.进入列表页：

  1. //进入列表页
  2. $list_contents=file_get_contents($list);

6.抓取列表页章节块：

  1. //进入列表页
  2. //分章节抓块
  3. preg_match_all("|<div id=\"NclassTitle\">(.*)&nbsp;&nbsp;【<a href=\"(.*)\">分卷阅读<\/a>】<\/div>(.*)<div id=\"ListEnd\"><\/div>|Uis",$list_contents,$Block);
  4. //计算总章节数
  5. $regcount=count($Block[0]);

7.分章节进行抓取：

  1. //进入章节
  2. for($pageBookNum=0;$pageBookNum<$regcount;$pageBookNum++){
  3.     unset($Zhang);
  4.     unset($list_url);
  5.     $Zhang=$Block[1][$pageBookNum];//章节标题
  6.     writeStatistic('章节：'.($pageBookNum+1).' '.$Zhang."\r\n",$txt_name);//章节标题写入文本文件
  7.     preg_match_all("|<li><a href=\"(.*)\" title=\"(.*)\">(.*)<\/a><\/li>|Uis",$Block[3][$pageBookNum],$list_url);
  8.     //进入页面
  9.     for($ListNum=0;$ListNum<count($list_url[1]);$ListNum++){
  10.         unset($Book_url);
  11.         unset($Book);
  12.         unset($Book_contents);
  13.         unset($Book_time);
  14.         unset($Book_title);
  15.         $Book_time=$list_url[2][$ListNum];//小章节更新信息
  16.         $Book_title=$list_url[3][$ListNum];//小章节标题
  17.         $Book_url=preg_replace("'Index.shtm'si",$list_url[1][$ListNum],$list);//小章节链接URL
  18.         writeStatistic(($ListNum+1).'.'.$Book_title.'-'.$Book_time."\r\n",$txt_name);//小章节标题写入文本文件
  19.         $Book=file_get_contents($Book_url);
  20.         //抓取图书内容
  21.         preg_match_all("/<div id=\"BookText\">(.*)<iframe id=hkwxc/is",$Book,$Arraycontents);
  22.         $Book_contents=preg_replace("|<div style='display:none'>.*<\/div>|Uis",'',$Arraycontents[1][0]);
  23.         //$Book_contents=preg_replace("|<br />|Uis",'\n\r',$Book_contents);
  24.         //$Book_contents=preg_replace("|<br />|Uis",'\n\r',$Book_contents);
  25.         $Book_contents=preg_replace("|&nbsp;|Uis",' ',$Book_contents);
  26.         $Book_contents=strip_tags($Book_contents);
  27.         //判断图片页面
  28.         if (preg_match ("/<div align=\"center\"><img src=\".*\" id=\"imgbook\" name=\"imgbook\" border=\"0\" \/><\/div>/i", $Book_contents)) {
  29.             //取图片URL
  30.             preg_match_all("|<div align=\"center\"><img src=\"(.*)\" id=\"imgbook\" name=\"imgbook\" border=\"0\" \/><\/div>|Uis",$Book_contents,$images);
  31.             //取图片
  32.             for($ImageNum=0;$ImageNum<count($images[1]);$ImageNum++){
  33.                 unset($Image_url);
  34.                 $Image_url="http://www.86zw.com".trim($images[1][$ImageNum]);
  35.                 $New_url='image/'.$BookId.'/'.time().'.gif';
  36.                 //复制图片并生成图片连接
  37.                 if (copy($Image_url, $New_url)){
  38.                     $Book_contents.="<img src=$New_url>";
  39.                 }
  40.             }//取图片结束
  41.         }//图片判断结束
  42.  
  43.         writeStatistic($Book_contents,$txt_name);//内容写入文本文件
  44.  
  45.     }//页面循环结束
  46. }//章节循环结束

两个使用的函数：

  1. /**
  2. * 将内如写入指定文件包
  3. *
  4. * 参数: string $sql : 写入的内容
  5.         string $txt_name : 指定文件名
  6. * 返回: void
  7. * 作用域: public
  8. * 日期: 2007-11-29
  9. */
  10. function writeStatistic($sql,$txt_name){
  11.     $filename="txt_packet/".$txt_name;//注意修改文件的路径
  12.     if (file_exists($filename)) {
  13.         $fp=fopen($filename,"a");
  14.     }else{
  15.         $fp=fopen($filename,"w");
  16.     }
  17.  
  18.     $text=$sql;
  19.     fwrite($fp,$text);
  20.     fclose($fp);
  21. }
  22. /**
  23. * 创建文件夹
  24. *
  25. * 参数: string $BookId : 指定文件夹名
  26. * 返回: void
  27. * 作用域: public
  28. * 日期: 2007-11-29
  29. */
  30. function Creatdir($BookId){
  31.    $filename="image/".$BookId;//注意修改文件的路径
  32.     if (!file_exists($filename)) {
  33.         mkdir($filename,0777);
  34.     }
  35. }

自此完成一本书的简单采集。
写这个就是为了给想了解采集的PHPer一个简单的实例，采集其实很简单。。。

源码下载

Tags : , , ,   阅读次数: 20

One Response to “[原创]图书网站采集实例教程”

  1. wow gold 10月 15th, 2008 at 6:04 pm 曰:

    We have been an ebay power seller and paypal confirmed seller of wow gold for years.

Leave a Reply

You must be logged in to post a comment.