PHP网站采集其他网站内容常用函数分享

七彩科技网站建设专家:

采集其他网站数据这个需求还是经常要用到,如采集最新新闻,商户信息等,这里七彩网络分享以下几个常用的函数。

一般采集的逻辑是先获取对方网站的HTML,然后再使用正则表达式获取自己想要的内容,最后存入数据库。

/**
 *获取指定URL地址HTML代码,分三种方式获取,有些只有参数2的才有效果

七彩科技全方位为您提供网站建设服务,采用html5+css3技术实现页面互动效果,用户体验更好!

 */
function get_url_html($url, $type=0) {
 if($type == 0) {
  return file_get_contents($url);
 } elseif ($type == 1) {
  $handle = fopen($url,"rb");
        $contents = stream_get_contents($handle);
        fclose($handle);
        return $contents;
 } elseif ($type == 2) {
  $ch = curl_init($url); 
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 获取数据返回 
        curl_setopt($ch, CURLOPT_BINARYTRANSFER, true); // 在启用 CURLOPT_RETURNTRANSFER 时候将获取数据返回
  $ch = curl_init();
        $timeout = 10;
        curl_setopt($ch, CURLOPT_URL, "$url");
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)");
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
        $data = curl_exec($ch);
        curl_close($ch);
        return $data;
 }else {
     return 'error type!';
 }
}
/**
 *正则截取函数
 */
function preg_substr($start, $end, $str) {
    $temp = preg_split($start, $str);
    $content = preg_split($end, $temp[1]);
 return $content[0];
}
/**
 *字符串截取函数
 */ 
function str_substr($start, $end, $str) {
    $temp = explode($start, $str, 2);
    $content = explode($end, $temp[1], 2);
 return $content[0];

/*一个图片下载函数*/
function getimg($url,$filename){
 /*判断图片的url是否为空,如果为空停止函数*/
 if($url == ""){
     return false;
 }
 /*取得图片的扩展名,存入变量$ext中*/
 $ext=strrchr($url,".");
 /*判断是否是合法的图片文件*/
 if($ext!=".gif" && $ext!=".jpg" && $ext!=".png" && $ext!=".bmp"){
     return false;
 }
 /*读取图片*/
 $img=file_get_contents($url);
 /*打开指定的文件*/
 $fp=@fopen($filename.$ext,"a");
 /*写入图片到指点的文件*/
 fwrite($fp,$img);
 /*关闭文件*/
 fclose($fp);
 /*返回图片的新文件名*/
 return $filename.$ext;
}


更多小知识可以百度一下郑州网站建设小达人,或者百度一下郑州网站建设七彩科技,我们将提供最优质的服务!

网站推广100种方法 郑州手机网站建设 郑州网站建设价格 郑州网络营销公司 郑州网站优化公司 郑州网站设计公司 网页设计师 网站前端/网页前端 网站优化 网站设计 网站建设

相关推荐

推荐案例