当前位置:首页 > 其它技术笔记 > 正文内容

火车头7.6版本无法采集部分https网站

2022年10月26日其它技术笔记960

  火车头7.6版本不支持采集https协议的网站,采集网址的时候会提示:请求 默认页 当前页出现错误:未将对象引用设置到对象的实例。Void Proc(System.Net.HttpWebRequest)

  解决这个其实很简单,可以通过php进行抓取数据,代码如下:

<?php

/*
*火车头7.6版本采集https协议网站
*雅爱笔记 yaaibk.com 
*QQ 1334588325
*QQ群 953418367
*/

header("Content-Type:text/html;charset=UTF-8");
//error_reporting(0);
date_default_timezone_set('Asia/Shanghai'); 
$url=isset($_GET['url'])?$_GET['url']:'';
set_time_limit(60);
$data=get_web_page($url);
//preg_match("/<title>(.*)<\/title>/U",$data,$Set_3);//券id
//print_r($Set_3);
echo $data;

//打开网页
function get_web_page($url){
    $options = array(
        CURLOPT_RETURNTRANSFER => true,     //返回网页
        CURLOPT_HEADER         => false,    //不返回头信息
        CURLOPT_ENCODING       => "gzip,deflate",       //处理编码
        CURLOPT_SSL_VERIFYPEER => 0,     //验证对等证书
        CURLOPT_SSL_VERIFYHOST => 0,     //检查服务器SSL证书
        CURLOPT_USERAGENT      => "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.57 Safari/537.17 SE 2.X MetaSr 1.0", // 设置UserAgent
        CURLOPT_AUTOREFERER    => true,     //引用页重定向
        CURLOPT_CONNECTTIMEOUT => 120,      //连接超时
        CURLOPT_TIMEOUT        => 20,      //回复超时
        CURLOPT_MAXREDIRS      => 10,       //最多的HTTP重定向的数量
    );
    $ch = curl_init($url);
    curl_setopt_array($ch,$options);
    $content = curl_exec($ch);
    curl_close($ch);
    return $content;
}


?>

  把代码下载下来另存为yaai_https.php,把他放在网站根目,调用的时候url=你要采集的网址,如

http://****.com/yaai_https.php?url=https://5devip.com/post/268.html

  注意,你的网站不能是HTTPS


也可以直接安装 GEThttps.dll 插件,具体用法,请自行下载测试。


源码下载:

ssl.zip


GEThttps.zip


版权声明:本站所发布信息部分整理自互联网具有公开性、共享性的信息,发布此信息旨在传播更多信息之目的,不代表本网站立场,转载请联系原作者并注明出处,如果侵犯了您的权益请与我们联系;本站提供的一切软件、教程和内容信息仅限用于学习和研究目的,不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容;如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务,我们非常重视版权问题,如有侵权请邮件与我们联系处理,我们将在24小时内更正、删除。建议/投诉/报错 E-mail:admin@zhchuhai.com

合规提醒:网络并非法外之地,请遵守中华人民共和国及所在地区国家互联网法律法规,所有教程和软件仅用于个人学习交流使用,切勿用于商业和牟利!软件由互联网转载,搜集整理,没有任何利益关系,侵权请及时联系。本人所分享的笔记攻略信息仅用于跨境电商、外贸、计算网络及应用学习交流,切勿用于非法、政治、煽动、危害国家安全等不法行为!

“火车头7.6版本无法采集部分https网站” 的相关文章

支持最新1.7全功能Z-Blog火车头采集免登录发布插件3.2

支持最新1.7全功能Z-Blog火车头采集免登录发布插件3.2

$a['ruku_password']='';//(必须)入库免登录密码  $a['ID']='';//(必须)为空就自动添加文章,指定ID就是修改指定ID的文章,指定ID后标题去重和指定字段去重功能无效 $a['...

火车头7.6无法发布SSL证书的网站

  宝塔强制HTTPS,火车头7.6无法发布SSL证书的网站,无法获取CMS分类,当宝塔或者直接在 SSL 配置文件中强制开启HTTPS模式后,火车头发布模块无法获取CMS网站分类列表。这个问题网上查了很多资料,最后终于完美解决,记录下来,希望能帮助到有用的朋友。  下面我们来看解决办法。  很简单...