12 一 10 中文汉字的正则字符编码范围
中文编码范围，中文汉字的正则也许用的着。
双字节字符编码范围：
1. GBK (GB2312/GB18030)
1 2 3 4 | \x00-\xff GBK双字节编码范围 \x20-\x7f ASCII \xa1-\xff 中文gb2312 \x80-\xff 中文 gbk |
2. UTF-8 (Unicode)
1 2 3 4 | \u4e00-\u9fa5 (中文) \x3130-\x318F (韩文) \xAC00-\xD7A3 (韩文) \u0800-\u4e00 (日文) |
27 四 08 Snoopy中文手册（毛毛虫翻译）
1 2 3 4 5 6 7 | /**
* @name Snoopy手册中文版
* @author 毛毛虫 wangchong1985@gmail.com
* @version Snoopy - the PHP net client v1.2.2
* @link http://www.wangchong.org
* @since 2008-04-27
*/ |
名称:
Snoopy – the PHP net client v1.2.2
概要:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | include "Snoopy.class.php"; $snoopy = new Snoopy; $snoopy->fetchtext("http://www.php.net/"); print $snoopy->results; $snoopy->fetchlinks("http://www.phpbuilder.com/"); print $snoopy->results; $submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html"; $submit_vars["q"] = "amiga"; $submit_vars["submit"] = "Search!"; $submit_vars["searchhost"] = "Altavista"; $snoopy->submit($submit_url,$submit_vars); print $snoopy->results; $snoopy->maxframes=5; $snoopy->fetch("http://www.ispi.net/"); echo "\n"; echo htmlentities($snoopy->results[0]); echo htmlentities($snoopy->results[1]); echo htmlentities($snoopy->results[2]); echo "\n"; $snoopy->fetchform("http://www.altavista.com"); print $snoopy->results; |
描述:
Snoopy是什么?
Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
Snoopy的一些特点:
* 方便抓取网页的内容
* 方便抓取网页的文本内容 (去除HTML标签)
* 方便抓取网页的链接
* 支持代理主机
* 支持基本的用户名/密码验证
* 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
* 支持浏览器转向，并能控制转向深度
* 能把网页中的链接扩展成高质量的url(默认)
* 方便提交数据并且获取返回值
* 支持跟踪HTML框架(v0.92增加)
* 支持再转向的时候传递cookies (v0.92增加)
(全文 …)
02 二 08 snoopy与htmlsql实例（盗墓笔记采集）
snoopy这个采集类库是个很好玩的东西，简单而且使用，一般的采集应付起来绰绰有余。
最近一个哥们要看盗墓笔记的全本TXT文档，让我帮他采集，想了下决定用snoopy和一个好玩的类库htmlsql来做，htmlsql第一次使用，感觉比较好玩，写SQL的感觉非常有趣，就是灵活性上不是很突出，但做这种小的采集足够了，可能是因为第一次使用这个类库，并不是很顺利，写了两个多钟头，才搞定这个采集，这里放出源码供大家下载吧，想玩玩的可以拿去参考下。
展示部分代码：
include_once("./snoopy.class.php");
include_once("./htmlsql.class.php");
require_once("./function.php");
//防止页面超时
set_time_limit(0);
//生成文本文档名称
$name="怒海潜沙";//自定义文件名(注意自己修改)
$txt_name=$name.".txt";
$zhangjie="nu-hai-qian-sha";//这个程序写的并不是很智能，每个章节的链接地址还要自己修改下(注意自己修改)
$max="46";//最大采集章节数(注意自己修改)
$wsql = new htmlsql();
for($i=1;$i<=$max;$i++){
$a=sprintf("%02d", $i);
$url="http://www.daomubiji.com/$zhangjie-$a.html";
// connect to a URL
if (!$wsql->connect(‘url’, $url)){
print ‘Error while connecting: ‘ . $wsql->error;
exit;
}
if(!$wsql->query(‘SELECT * FROM h1′)){
print “Query error: ” . $wsql->error;
exit;
}
// show results:
foreach($wsql->fetch_array() as $row){
writeStatistic(“\r\n”.$row['text'].”\r\n”,$txt_name);
$echo=iconv(“UTF-8″, “GBK”, $row['text']);
//print_r($row);
}
$wsql->isolate_content(‘‘,’
‘);
if (!$wsql->query(‘SELECT * FROM *’)){
print “Query error: ” . $wsql->error;
exit;
}
// show results:
foreach($wsql->fetch_array() as $row){
writeStatistic(strip_tags($row['text']).”\r\n”,$txt_name);
//print_r($row);
}
print “$i. 章节： $echo 采集完成…..
“;
print “——————————————————–
“;
flush();
}
print “卷：$name 全部采集完成……”;
?>
程序包下载：
snoopy与htmlsql实例程序包
12 十二 07 [转]利用PHP制作简单的内容采集器
出处：天极网
采集器，通常又叫小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的基础，都能做出自己的采集器来的。
前几天做了个小说连载的程序，因为怕更新麻烦，顺带就写了个采集器，采集八路中文网的，功能比较简单，不能自定义规则，不过大概思路都在里面了，自定义规则可以自己来扩展。
用php来做采集器主要用到两个函数：file_get_contents()和preg_match_all()，前一个是远程读取网页内容的，不过只在php5以上的版本才能用，后一个是正则函数，用来提取需要的内容的。
下面就一步一步来讲功能实现。
(全文 …)
12 十二 07 [原创]图书网站采集实例教程
在网上看到很多简单的采集教程，尤其是针对图书网站的比较多，但附带实例的并不多，在看了一篇针对八路中文网的抓取分析后，决定针对这个网站，写一个简单的抓取教程，并附带实例。由于俺偷懒，文中很多分析都是来自《利用PHP制作简单的内容采集器》，俺只是进一步优化了他的流程，并完成了代码实例的编写。
采集程序其实并不难做，只要分析清楚流程，然后使用合适的正则来取到你想要的内容就可以了。废话不说了，教程开始：
1.分析入口：
多打开几本书后，可以发现书名的基本格式是：http://www.86zw.com/Book/书号/Index.aspx。于是得出：
$BookId=’1888′;
$index=”http://www.86zw.com/Book/”.$BookId.”/Index.aspx”;//组合书目首页URL
2.打开页面：
$contents=file_get_contents($index);
3.抓取图书信息页：
//抓取图书相关信息
preg_match_all(“/
preg_match_all(“/【点击阅读< \/font>< \/a>】/is”,$contents,$Arraylist);
unset($contents);
$title=$Arraytitle[1][0];//书名
$list=”http://www.86zw.com”.trim($Arraylist[1][0]);//列表页URL
(全文 …)
11 十二 07 用snoopy提交数据实现登陆
模拟登陆可以用curl或者socket来实现，当curl需要服务器相应的启用curl module，自己socket实现相对比较麻烦，使用snoopy就简单了很多啦。
在这里，我们使用喜悦国际村做为例子。（^_^，纯属研究）
首先，我们要获取到登陆需要发送什么字段，目标地址是什么。这里我们使用snoopy的fetchform来实现。
include "Snoopy.class.php";
$snoopy = new Snoopy;
$snoopy->fetchform(“http://www.phpx.com/happy/logging.php?action=login”);
print $snoopy->results;
?>
当然你也可以直接查看http://www.phpx.com/happy/logging.php?action=login的源代码来实现，不过这样更加方便把。这里，我们获取到目标和提交的数据，下一步就可以实现模拟登陆了。代码如下：
include "Snoopy.class.php";
$snoopy = new Snoopy;
$submit_url = "http://www.phpx.com/happy/logging.php?action=login";
$submit_vars["loginmode"] = "normal";
$submit_vars["styleid"] = "1";
$submit_vars["cookietime"] = "315360000";
$submit_vars["loginfield"] = "username";
$submit_vars["username"] = "********"; //你的用户名
$submit_vars["password"] = "*******"; //你的密码
$submit_vars["questionid"] = "0";
$submit_vars["answer"] = "";
$submit_vars["loginsubmit"] = "提 交";
$snoopy->submit($submit_url,$submit_vars);
print $snoopy->results;
?>
11 十二 07 PHP采集程序中常用的函数
< ?php
//获得当前的脚本网址
function get_php_url(){
if(!empty($_SERVER["REQUEST_URI"])){
$scriptName = $_SERVER["REQUEST_URI"];
$nowurl = $scriptName;
}else{
$scriptName = $_SERVER["PHP_SELF"];
if(empty($_SERVER["QUERY_STRING"])) $nowurl = $scriptName;
else $nowurl = $scriptName."?".$_SERVER["QUERY_STRING"];
}
return $nowurl;
}
//把全角数字转为半角数字
function GetAlabNum($fnum){
$nums = array("０","１","２","３","４","５","６","７","８","９");
$fnums = "0123456789";
for($i=0;$i<=9;$i++) $fnum = str_replace($nums[$i],$fnums[$i],$fnum);
$fnum = ereg_replace("[^0-9\.]|^0{1,}","",$fnum);
if($fnum=="") $fnum=0;
return $fnum;
}
(全文 …)
10 十二 07 snoopy——PHP版的网络客户端
官方的简介:
snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。
下面是它的一些特征：
1、方便抓取网页的内容
2、方便抓取网页的文字（去掉HTML代码）
3、方便抓取网页的链接
4、支持代理主机
5、支持基本的用户/密码认证模式
6、支持自定义用户agent,referer,cookies和header内容
7、支持浏览器转向，并能控制转向深度
8、能把网页中的链接扩展成高质量的url（默认）
9、方便提交数据并且获取返回值
10、支持跟踪HTML框架（v0.92增加）
11、支持再转向的时候传递cookies
(全文 …)
Tags: Snoopy, Snoopy.class.php, 采集
