php读取文件内容的几种方法详解
|
示例代码1: 用file_get_contents 以get方式获取内容 $title = $out[1]; echo "".$title.""; break; } } fclose($file); //End ?> Ⅱ.抓取远程网页HTML代码的例子: 以下是代码片段： 代码如下:/* +---------------- +DNSing Sprider +---------------- */ $fp = fsockopen("www.dnsing.com",80,30); if (!$fp) { echo "$errstr ($errno) n"; } else { $out = "GET / HTTP/1.1rn"; $out .= "Host:www.dnsing.comrn"; $out .= "Connection: Close rnrn"; fputs($fp,$out); while (!feof($fp)) { echo fgets($fp,128); } fclose($fp); } //End ?> 以上两个代码片段都直接Copy回去运行就知道效果了,上面的例子只是抓取网页数据的雏形,要使其更适合自己的使用,情况有各异.所以,在此各位程序爱好者自己好好研究一下吧. =============================== 稍微有点意义的函数是：get_content_by_socket(),get_url(),get_content_url(),get_content_object 几个函数，也许能够给你点什么想法。 代码如下://获取所有内容url保存到文件 function get_index($save_file,$prefix="index_"){ $count = 68; $i = 1; if (file_exists($save_file)) @unlink($save_file); $fp = fopen($save_file,"a+") or die("Open ". $save_file ." failed"); while($i<$count){ $url = $prefix . $i .".htm"; echo "Get ". $url ."..."; $url_str = get_content_url(get_url($url)); echo " OKn"; fwrite($fp,$url_str); ++$i; } fclose($fp); } //获取目标多媒体对象 function get_object($url_file,$save_file,$split="|--:**:--|"){ if (!file_exists($url_file)) die($url_file ." not exist"); $file_arr = file($url_file); if (!is_array($file_arr) || empty($file_arr)) die($url_file ." not content"); $url_arr = array_unique($file_arr); if (file_exists($save_file)) @unlink($save_file); $fp = fopen($save_file,"a+") or die("Open save file ". $save_file ." failed"); foreach($url_arr as $url){ if (empty($url)) continue; echo "Get ". $url ."..."; $html_str = get_url($url); echo $html_str; echo $url; exit; $obj_str = get_content_object($html_str); echo " OKn"; fwrite($fp,$obj_str); } fclose($fp); } //遍历目录获取文件内容 function get_dir($save_file,$dir){ $dp = opendir($dir); if (file_exists($save_file)) @unlink($save_file); $fp = fopen($save_file,"a+") or die("Open save file ". $save_file ." failed"); while(($file = readdir($dp)) != false){ if ($file!="." && $file!=".."){ echo "Read file ". $file ."..."; $file_content = file_get_contents($dir . $file); $obj_str = get_content_object($file_content); echo " OKn"; fwrite($fp,$obj_str); } } fclose($fp); } //获取指定url内容 function get_url($url){ $reg = '/^http://[^/].+$/'; if (!preg_match($reg,$url)) die($url ." invalid"); $fp = fopen($url,"r") or die("Open url: ". $url ." failed."); while($fc = fread($fp,8192)){ $content .= $fc; } fclose($fp); if (empty($content)){ die("Get url: ". $url ." content failed."); } return $content; } //使用socket获取指定网页 function get_content_by_socket($url,$host){ $fp = fsockopen($host,80) or die("Open ". $url ." failed"); $header = "GET /".$url ." HTTP/1.1rn"; $header .= "Accept: */*rn"; $header .= "Accept-Language: zh-cnrn"; $header .= "Accept-Encoding: gzip,deflatern"; $header .= "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; InfoPath.1; .NET CLR 2.0.50727)rn"; $header .= "Host: ". $host ."rn"; $header .= "Connection: Keep-Alivern"; //$header .= "Cookie: cnzz02=2; rtime=1; ltime=1148456424859; cnzz_eid=56601755-rnrn"; $header .= "Connection: Closernrn"; fwrite($fp,$header); while (!feof($fp)) { $contents .= fgets($fp,8192); } fclose($fp); return $contents; } //获取指定内容里的url function get_content_url($host_url,$file_contents){ //$reg = '/^(#|javascript.*?|ftp://.+|http://.+|.*?href.*?|play.*?|index.*?|.*?asp)+$/i'; //$reg = '/^(down.*?.html|d+_d+.htm.*?)$/i'; $rex = "/([hH][rR][eE][Ff])s*=s*['"]*([^>'"s]+)["'>]*s*/i"; $reg = '/^(down.*?.html)$/i'; preg_match_all ($rex,$file_contents,$r); $result = ""; //array(); foreach($r as $c){ if (is_array($c)){ foreach($c as $d){ if (preg_match($reg,$d)){ $result .= $host_url . $d."n"; } } } } return $result; } //获取指定内容中的多媒体文件 function get_content_object($str,$split="|--:**:--|"){ $regx = "/hrefs*=s*['"]*([^>'"s]+)["'>]*s*(.*?)/i"; preg_match_all($regx,$str,$result); if (count($result) == 3){ $result[2] = str_replace("多媒体： ","",$result[2]); $result[2] = str_replace("",$result[2]); $result = $result[1][0] . $split .$result[2][0] . "n"; } return $result; } ?> ====================================================== 同一域名对应多个IP时，PHP获取远程网页内容的函数 fgc就是简单的读取过来，把一切操作封装了 fopen也进行了一些封装，但是需要你循环读取得到所有数据。 fsockopen这是直板板的socket操作。 如果仅仅是读取一个html页面，fgc更好。 如果公司是通过防火墙上网，一 般的file_get_content函数就不行了。当然，通过一些socket操作，直接向proxy写http请求也是可以的，但是比较麻烦。 如果你能确认文件很小，可以任选以上两种方式fopen,join('',file($file));。比如，你只操作小于1k的文件，那最好还是用file_get_contents吧。 如果确定文件很大，或者不能确定文件的大小，那就最好使用文件流了。fopen一个1K的文件和fopen一个1G的文件没什么明显的区别。内容长，就可以花更长的时间去读，而不是让脚本死掉。 ---------------------------------------------------- http://www.phpcake.cn/archives/tag/fsockopen PHP获取远程网页内容有多种方式，例如用自带的file_get_contents、fopen等函数。 代码如下:echo file_get_contents("http://blog.s135.com/abc.php"); ?> 但是，在DNS轮询等负载均衡中，同一域名，可能对应多台服务器，多个IP。假设blog.s135.com被DNS解析到 72.249.146.213、72.249.146.214、72.249.146.215三个IP，用户每次访问blog.s135.com，系统会根据负载均衡的相应算法访问其中的一台服务器。 上周做一个视频项目时，就碰到这样一类需求：需要依次访问每台服务器上的一个PHP接口程序（假设为abc.php），查询这台服务器的传输状态。 这时就不能直接用file_get_contents访问http://blog.s135.com/abc.php了，因为它可能一直重复访问某一台服务器。 而采用依次访问http://72.249.146.213/abc.php、http://72.249.146.214/abc.php、http://72.249.146.215/abc.php的方法，在这三台服务器上的Web Server配有多个虚拟主机时，也是不行的。 通过设置本地hosts也不行，因为hosts不能设置多个IP对应同一个域名。 那就只有通过PHP和HTTP协议来实现：访问abc.php时，在header头中加上blog.s135.com域名。于是，我写了下面这个PHP函数： 代码如下:/************************ * 函数用途：同一域名对应多个IP时，获取指定服务器的远程网页内容 * 参数说明： * $ip服务器的IP地址 * $host服务器的host名称 * $url服务器的URL地址（不含域名） * 返回值： * 获取到的远程网页内容 * false访问远程网页失败 ************************/ function HttpVisit($ip,$host,$url) { $errstr = ''; $errno = ''; $fp = fsockopen ($ip,90); if (!$fp) { return false; } else { $out = "GET {$url} HTTP/1.1rn"; $out .= "Host:{$host}rn"; $out .= "Connection: closernrn"; fputs ($fp,$out); while($line = fread($fp,4096)){ //去掉Header头信息 return $response; //调用方法： （编辑：安卓应用网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |