php 爬虫程序 爬取有用的免费API

摘要：做了一个爬取的类可以获取全国行政区域效果图差不多有多行只要秒就可以爬完首先这个在阿里云市场是免费的每个人都可以用地址在这里要先注册阿里云然后购买他这个一次只能买你可以买三四次应该就可以全部下载完毕了爬虫思路初始化并将句柄添加进去执行所有的句

做了一个爬取api的类.可以获取2017全国行政区域.

效果图:

首先这个api在阿里云市场 是免费的.每个人都可以用.
地址在这里

要先注册阿里云,然后购买他这个,一次只能买1000.你可以买三四次,应该就可以全部下载完毕了.

1.初始化curl_multi 并将curl 句柄添加进去.
2.执行所有的curl句柄
3.处理所有的curl返回的结果  

那个api是有2种接口,第一是通过名称获取城市的信息,第二是通过父城市id获取所有子城市
因为父城市id我们不知道,所以第一步必须是通过名称获取城市的信息
定义数组 全国所有省级行政区(共34个)

第一步是获取这34个省(level=1)的信息.
第二步就是循环34次 每次循环查询当前城市的所有子城市(level=2)
第三步就是循环(level=2)城市的个数次,然后查询level=3城市的信息
第四步就是循环(level=3)城市的个数,查询level=4城市的信.最大就到level4 也就是乡镇一级
有的城市连level3都没有,没有的情况下就会continue

    public
            function start() {
//启动一个mcurl
        $mh = curl_multi_init();
        $orinigal_chs = [];
//初始化mcurl 并添加一定数量(最高为全部或者最大并发)curl进去
        $this->curlMultiInit($mh, $orinigal_chs);
//执行所有的curl句柄并返回所有curl句柄数组
        $chs = $this->curlMultiExec($mh, $orinigal_chs);
//获取所有的curl返回的结果
        $res = $this->getCurlResult($chs);
//如果为正常结果
        if (is_array($res)) {
//对每一个curl结果进行处理
            $this->dataHandle($res);
        }
        else {
//输出错误信息
            echo "当前列表中所有城市都没有子城市.
";
        }
    }

这是启动方法所有的操作都在里面.这里使用的是多线程爬虫.如果不会的可以百度.
核心的代码就是最后一个对curl结果进行处理的方法;
主要做的内容是插入上一次获取到的城市信息到数据库
接着对每一个获取到的城市进行子城市 查询 也就是上面所说的循环
由于我是个菜鸟,我有好久没用过mysql了,不知道为什么这里的affected_rows为什么总是等于-1.
知道的 能告诉我一下就好了.
如下:

 protected
            function dataHandle(array $res) {
        $mysqli = new mysqli($this->host, $this->name, $this->pwd, $this->dbname);
        foreach ($res as $k => $v) {
            $mixedInfo = json_decode($v[0]);
            $cityInfo = $mixedInfo->showapi_res_body->data;
            $citysLength = count($cityInfo);
            $sql = "INSERT INTO `allcitys` ( `provinceId`, `simpleName`, `lon`, `areaCode`, `cityId`, `remark`, `prePinYin`, `cid`, `pinYin`, `parentId`, `level`, `areaName`, `simplePy`, `zipCode`, `countyId`, `lat`, `wholeName`) VALUES ";
            $sql_values = "";
            for ($i = 0; $i < $citysLength; $i++) {
                $sql_values .= "("{$cityInfo[$i]->provinceId}", "{$cityInfo[$i]->simpleName}", "{$cityInfo[$i]->lon}", "{$cityInfo[$i]->areaCode}", "{$cityInfo[$i]->cityId}", "{$cityInfo[$i]->remark}", "{$cityInfo[$i]->prePinYin}", "{$cityInfo[$i]->id}","{$cityInfo[$i]->pinYin}", "{$cityInfo[$i]->parentId}", "{$cityInfo[$i]->level}", "{$cityInfo[$i]->areaName}", "{$cityInfo[$i]->simplePy}", "{$cityInfo[$i]->zipCode}", "{$cityInfo[$i]->countyId}", "{$cityInfo[$i]->lat}", "{$cityInfo[$i]->wholeName}"),";
            }
            $sql_values = substr_replace($sql_values, "", -1);
            $sql .= $sql_values;
            $mysqli->query($sql);
//不知道为什么这里的affect_rows 总是-1
//if ($mysqli->affected_rows == $citysLength) {
            if (1) {
                echo "{$citysLength}条数据添加成功
";
                if ($this->level < 4) {
                    $temp_level = $this->level + 1;
                    for ($j = 0; $j < $citysLength; $j++) {
                        $tempearchCitysList[] = $cityInfo[$j]->id;
                    }
                    $config = [
                        "appcode"         => $this->appcode,
                        "level"           => $temp_level,
                        "amount"          => $citysLength,
                        "getInfo"         => self::SUB_LIST,
                        "searchCitysList" => $tempearchCitysList,
                        "host"            => $this->host,
                        "name"            => $this->name,
                        "pwd"             => $this->pwd,
                        "dbname"          => $this->dbname
                    ];
                    $subLoad = new self($config);
                    $tempearchCitysList = [];
                    $subLoad->start();
                }
            }
            else {
                echo $this->searchCitysList[$k] . "数据插入失败!
";
            }
        }
        $mysqli->close();

    }

我半年前做爬虫的时候 为了搞清楚这个百度谷歌都查 就是没有找到满意的答案.
后来干脆就这样随便写了.效果还可以.
其中 这一句

$mrc = curl_multi_exec($mh, $active);

表示执行$mh中所有的curl句柄.$active 表示当前还剩多少个没有执行完毕.

 $info = curl_multi_info_read($mh, $msgq);
 

这里这句就是读取$mh 已经执行完毕的内容如果$info为真,表示这个curl句柄已经完成了,
然后我们从这个info中读取handle 也就是当前curl句柄.
如果$info 为假那么就延时1000微秒,因为执行太快 对cpu压力很大.

因为我英语不好官方文档看不懂,也没有学过底层,这里的很多东西都是我根据效果猜的.里面如果有讲错来的地方请大家告诉我一下.

不仅仅是这个api ,其他的api 也可以通过这种思路去爬取.图片站 小说站都可以这样爬取.
我半年前做过一个爬取图片站的类.git上也有.希望对大家有帮助.