snoopy——PHP版的网络客户端

Filed under: Spider |
Posted on 12月 10th, 2007 由 毛毛虫

官方的简介:
snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
下面是它的一些特征：
1、方便抓取网页的内容
2、方便抓取网页的文字（去掉HTML代码）
3、方便抓取网页的链接
4、支持代理主机
5、支持基本的用户/密码认证模式
6、支持自定义用户agent,referer,cookies和header内容
7、支持浏览器转向，并能控制转向深度
8、能把网页中的链接扩展成高质量的url（默认）
9、方便提交数据并且获取返回值
10、支持跟踪HTML框架（v0.92增加）
11、支持再转向的时候传递cookies

下面是简单的例子，比如说我们抓取我的blog的文字:

  1. <?php
  2. include "Snoopy.class.php";
  3. $snoopy = new Snoopy;
  4. $snoopy->fetchtext("http://www.gr0867.cn");
  5. echo $snoopy->results;
  6. ?>

抓取链接:

  1. <?php
  2. include "Snoopy.class.php";
  3. $snoopy = new Snoopy;
  4. $snoopy->fetchlinks("http://www.gr0867.cn");
  5. print_r($snoopy->results);
  6. ?>

这样我们需要的链接就取到了。

Tags : , ,   阅读次数: 6

　虫子曰：沙发空缺，还不快抢？

Leave a Reply