什么是代理？什么情况下会用到代理IP？

代理服务器（Proxy Server），其功能就是代用户去取得网络信息，然后返回给用户。形象的说：它是网络信息的中转站。通过代理IP访问目标站，可以隐藏用户的真实IP。

比如你要抓取一个网站数据，该网站有100万条内容，他们做了IP限制，每个IP每小时只能抓1000条，如果单个IP去抓因为受限，需要40天左右才能采集完，如果用了代理IP，不停的切换IP，就可以突破每小时1000条的频率限制，从而提高效率。

其他想切换IP或者隐藏身份的场景也会用到代理IP，比如SEO等。

代理IP有开放代理也有私密代理，开放代理是全网扫描而来的，不稳定，不适合爬虫，如果自己随便用用还好。用爬虫抓数据，最好使用私密代理。私密代理网上有很多提供商，稳定性参差不齐，现在我们公司使用的是“百变IP”提供的私密代理。

我们公司有个项目是抓取亚马逊数据来进行分析销量、评论等，用PHP进行抓取，抓取亚马逊要特别注意header头，否则输出的数据就是空了。还有一种方法，可以用PHP通过shell_exec来调用curl命令来进行抓取。

PHP如果是使用curl函数来抓取，主要设置下面几项即可。    curl_setopt($ch, CURLOPT_PROXY, 'proxy.baibianip.com'); //代理服务器地址    curl_setopt($ch, CURLOPT_PROXYPORT, '8000'); //代理服务器端口    如果是抓取HTTPS，把下面两项设置为false：    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //抓HTTPS可以把此项设置为false    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //抓HTTPS可以把此项设置为false

方法一：完整示例代码如下，下面提供两种方式来调用：

 方式二：利用PHP调用Linux的curl命令来进行抓取，Windows下下载curl.exe即可。

$html = shell_exec("curl -x 'proxy.baibianip.com:8000' 'http://www.baidu.com' --connect-timeout 3 -m 5");echo $html;