<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>curl &#8211; LPC影子技术分享</title>
	<atom:link href="https://www.mudbest.com/tag/curl/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.mudbest.com</link>
	<description>行影不离,忘之却步.</description>
	<lastBuildDate>Tue, 09 Jul 2013 05:44:42 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.3</generator>
	<item>
		<title>PHP的fsockopen的使用</title>
		<link>https://www.mudbest.com/php%e7%9a%84fsockopen%e7%9a%84%e4%bd%bf%e7%94%a8/</link>
		
		<dc:creator><![CDATA[hkshadow]]></dc:creator>
		<pubDate>Tue, 09 Jul 2013 05:30:46 +0000</pubDate>
				<category><![CDATA[PHP]]></category>
		<category><![CDATA[curl]]></category>
		<category><![CDATA[fsockopen]]></category>
		<guid isPermaLink="false">http://www.mudbest.com/?p=1881</guid>

					<description><![CDATA[打开博客，不知道是因为忙碌，还是因为自身精力。才发现自己很久没更新了。今天简单介绍下fsockoepn的一些简 ... <a title="PHP的fsockopen的使用" class="read-more" href="https://www.mudbest.com/php%e7%9a%84fsockopen%e7%9a%84%e4%bd%bf%e7%94%a8/" aria-label="阅读 PHP的fsockopen的使用">阅读更多</a>]]></description>
										<content:encoded><![CDATA[<p>打开博客，不知道是因为忙碌，还是因为自身精力。才发现自己很久没更新了。今天简单介绍下fsockoepn的一些简单使用方法。</p>
<p>在我们用php写模拟登陆的时候，curl就足够了，但如果要去模拟抓取一个复杂的网站内容的时候，fsockopen是首选之备。</p>
<p>例如，获取验证码模拟登陆，模拟表单提交等等比较复杂的业务逻辑。</p>
<p>注意：PHP fsockopen需要 PHP.ini 中 allow_url_fopen 选项开启。<br />
<span id="more-1881"></span></p>
<pre class="brush: php; title: ; notranslate">
//地址，端口，错误代码，错误内容，超时时间
@fsockopen($host, $port, $this-&gt;_errno, $this-&gt;_errstr, $timeout);
</pre>
<p>返回一个socket请求。</p>
<p>实例：</p>
<pre class="brush: php; title: ; notranslate">
function test(){
	//简单封装了一下fsockopen
	require_once ('class/class.Socket.php');
	$socket = new Socket ();
	//...这里可以写参数
	//如
	//$queryString = 'name=test';
	$msg = &quot;POST /目标地址 HTTP/1.1\r\n&quot;;
	$msg .= &quot;Host: et.airchina.com.cn\r\n&quot;;
	$msg .= &quot;User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1\r\n&quot;;
	$msg .= &quot;Connection: keep-alive\r\n&quot;;
	$msg .= &quot;Content-Type: application/x-www-form-urlencoded\r\n&quot;;
	$msg .= &quot;Content-Length: &quot;.strlen($queryString).&quot;\r\n&quot;;
	$msg .= &quot;Pragma: no-cache\r\n&quot;;
	$msg .= &quot;Cache-Control: no-cache\r\n&quot;;
	$msg .= &quot;Referer: 请求url\r\n&quot;;
	$msg .= &quot;Cookie: $strTempCookie\r\n&quot;;
	$msg .= &quot;\r\n&quot;;
	$msg .= $queryString;
	$response = $socket-&gt;sendhttp($msg, 'host', 80, 10);
	if (!is_array($response)) {
		return $response;
	}
	if ('200'!=$response&#x5B;'code']) {
		return $response&#x5B;'header'];
	}
	//....
}
</pre>
<p>至此，一个简单的socket请求结束了，剩下的就是解析数据了。</p>
<p>补充点：</p>
<p>HTTP协议头部与Keep-Alive模式详解</p>
<p><strong>1、什么是Keep-Alive模式？</strong><br />
我们知道HTTP协议采用“请求-应答”模式，当使用普通模式，即非KeepAlive模式时，每个请求/应答客户和服务器都要新建一个连接，完成 之后立即断开连接（HTTP协议为无连接的协议）；当使用Keep-Alive模式（又称持久连接、连接重用）时，Keep-Alive功能使客户端到服 务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。</p>
<p>http 1.0中默认是关闭的，需要在http头加入&#8221;Connection: Keep-Alive&#8221;，才能启用Keep-Alive；http 1.1中默认启用Keep-Alive，如果加入&#8221;Connection: close &#8220;，才关闭。目前大部分浏览器都是用http1.1协议，也就是说默认都会发起Keep-Alive的连接请求了，所以是否能完成一个完整的Keep- Alive连接就看服务器设置情况。</p>
<p>2、启用Keep-Alive的优点<br />
从上面的分析来看，启用Keep-Alive模式肯定更高效，性能更高。因为避免了建立/释放连接的开销。下面是RFC 2616 上的总结：</p>
<p>2.1、By opening and closing fewer TCP connections, CPU time is saved in routers and hosts (clients, servers, proxies, gateways, tunnels, or caches), and memory used for TCP protocol control blocks can be saved in hosts.<br />
2.2、HTTP requests and responses can be pipelined on a connection. Pipelining allows a client to make multiple requests without waiting for each response, allowing a single TCP connection to be used much more efficiently, with much lower elapsed time.<br />
2.3、Network congestion is reduced by reducing the number of packets caused by TCP opens, and by allowing TCP sufficient time to determine the congestion state of the network.<br />
2.4、Latency on subsequent requests is reduced since there is no time spent in TCP&#8217;s connection opening handshake.<br />
2.5、HTTP can evolve more gracefully, since errors can be reported without the penalty of closing the TCP connection. Clients using     future versions of HTTP might optimistically try a new feature, but if communicating with an older server, retry with old   semantics after an error is reported.</p>
<p>RFC 2616 （P47）还指出：单用户客户端与任何服务器或代理之间的连接数不应该超过2个。一个代理与其它服务器或代码之间应该使用超过2 * N的活跃并发连接。这是为了提高HTTP响应时间，避免拥塞（冗余的连接并不能代码执行性能的提升）。</p>
<p>3、回到我们的问题（即如何判断消息内容/长度的大小？）<br />
Keep-Alive模式，客户端如何判断请求所得到的响应数据已经接收完成（或者说如何知道服务器已经发生完了数据）？我们已经知道 了，Keep-Alive模式发送玩数据HTTP服务器不会自动断开连接，所有不能再使用返回EOF（-1）来判断（当然你一定要这样使用也没有办法，可 以想象那效率是何等的低）！下面我介绍两种来判断方法。</p>
<p>3.1、使用消息首部字段Conent-Length<br />
故名思意，Conent-Length表示实体内容长度，客户端（服务器）可以根据这个值来判断数据是否接收完成。但是如果消息中没有Conent-Length，那该如何来判断呢？又在什么情况下会没有Conent-Length呢？请继续往下看……<br />
3.2、使用消息首部字段Transfer-Encoding<br />
当客户端向服务器请求一个静态页面或者一张图片时，服务器可以很清楚的知道内容大小，然后通过Content-length消息首部字段告诉客户端 需要接收多少数据。但是如果是动态页面等时，服务器是不可能预先知道内容大小，这时就可以使用Transfer-Encoding：chunk模式来传输 数据了。即如果要一边产生数据，一边发给客户端，服务器就需要使用&#8221;Transfer-Encoding: chunked&#8221;这样的方式来代替Content-Length。<br />
chunk编码将数据分成一块一块的发生。Chunked编码将使用若干个Chunk串连而成，由一个标明长度为0 的chunk标示结束。每个Chunk分为头部和正文两部分，头部内容指定正文的字符总数（十六进制的数字 ）和数量单位（一般不写），正文部分就是指定长度的实际内容，两部分之间用回车换行(CRLF) 隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容，是一些附加的Header信息（通常可以直接忽略）。<br />
Chunk编码的格式如下：</p>
<pre class="brush: plain; title: ; notranslate">
Chunked-Body = *chunk 
		&quot;0&quot; CRLF 
		footer 
		CRLF  
chunk = chunk-size &#x5B; chunk-ext ] CRLF 
        chunk-data CRLF
hex-no-zero = &lt;HEX excluding &quot;0&quot;&gt;
chunk-size = hex-no-zero *HEX 
chunk-ext = *( &quot;;&quot; chunk-ext-name &#x5B; &quot;=&quot; chunk-ext-value ] ) 
chunk-ext-name = token 
chunk-ext-val = token | quoted-string 
chunk-data = chunk-size(OCTET)
footer = *entity-header
</pre>
<p>即Chunk编码由四部分组成： 1、0至多个chunk块 ，2、&#8221;0&#8243; CRLF ，3、footer ，4、CRLF . 而每个chunk块由：chunk-size、chunk-ext（可选）、CRLF、chunk-data、CRLF组成。</p>
<p>4、消息长度的总结<br />
其实，上面2中方法都可以归纳为是如何判断http消息的大小、消息的数量。RFC 2616 对 消息的长度总结如下：一个消息的transfer-length（传输长度）是指消息中的message-body（消息体）的长度。当应用了 transfer-coding（传输编码），每个消息中的message-body（消息体）的长度（transfer-length）由以下几种情况 决定（优先级由高到低）：</p>
<p>4.1、任何不含有消息体的消息（如1XXX、204、304等响应消息和任何头(HEAD，首部)请求的响应消息），总是由一个空行（CLRF）结束。<br />
4.2、如果出现了Transfer-Encoding头字段 并且值为非“identity”，那么transfer-length由“chunked” 传输编码定义，除非消息由于关闭连接而终止。<br />
4.3、如果出现了Content-Length头字段，它的值表示entity-length（实体长度）和transfer-length（传输长 度）。如果这两个长度的大小不一样（i.e.设置了Transfer-Encoding头字段），那么将不能发送Content-Length头字段。并 且如果同时收到了Transfer-Encoding字段和Content-Length头字段，那么必须忽略Content-Length字段。<br />
4.4、如果消息使用媒体类型“multipart/byteranges”，并且transfer-length 没有另外指定，那么这种自定界（self-delimiting）媒体类型定义transfer-length 。除非发送者知道接收者能够解析该类型，否则不能使用该类型。<br />
4.5、由服务器关闭连接确定消息长度。（注意：关闭连接不能用于确定请求消息的结束，因为服务器不能再发响应消息给客户端了。）</p>
<p>为了兼容HTTP/1.0应用程序，HTTP/1.1的请求消息体中必须包含一个合法的Content-Length头字段，除非知道服务器兼容 HTTP/1.1。一个请求包含消息体，并且Content-Length字段没有给定，如果不能判断消息的长度，服务器应该用用400 (bad request) 来响应；或者服务器坚持希望收到一个合法的Content-Length字段，用 411 (length required)来响应。<br />
所有HTTP/1.1的接收者应用程序必须接受“chunked” transfer-coding (传输编码)，因此当不能事先知道消息的长度，允许使用这种机制来传输消息。消息不应该够同时包含 Content-Length头字段和non-identity transfer-coding。如果一个消息同时包含non-identity transfer-coding和Content-Length ，必须忽略Content-Length 。</p>
<p>5、HTTP头字段总结<br />
最后我总结下HTTP协议的头部字段。</p>
<p>5.1、 Accept：告诉WEB服务器自己接受什么介质类型，*/* 表示任何类型，type/* 表示该类型下的所有子类型，type/sub-type。<br />
5.2、 Accept-Charset： 浏览器申明自己接收的字符集。Accept-Encoding： 浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate） 。Accept-Language：浏览器申明自己接收的语言<br />
语言跟字符集的区别：中文是语言，中文有多种字符集，比如big5，gb2312，gbk等等。<br />
5.3、 Accept-Ranges：WEB服务器表明自己是否接受获取其某个实体的一部分（比如文件的一部分）的请求。bytes：表示接受，none：表示不接受。<br />
5.4、 Age：当代理服务器用自己缓存的实体去响应请求时，用该头部表明该实体从产生到现在经过多长时间了。<br />
5.5、 Authorization：当客户端接收到来自WEB服务器的 WWW-Authenticate 响应时，用该头部来回应自己的身份验证信息给WEB服务器。<br />
5.6、 Cache-Control：请求：no-cache（不要缓存的实体，要求现在从WEB服务器去取） ，max-age：（只接受 Age 值小于 max-age 值，并且没有过期的对象） ，max-stale：（可以接受过去的对象，但是过期时间必须小于 max-stale 值） ，min-fresh：（接受其新鲜生命期大于其当前 Age 跟 min-fresh 值之和的缓存对象） ，响应：public(可以用 Cached 内容回应任何用户) ，private（只能用缓存内容回应先前请求该内容的那个用户） ，no-cache（可以缓存，但是只有在跟WEB服务器验证了其有效后，才能返回给客户端） ，max-age：（本响应包含的对象的过期时间） ，ALL: no-store（不允许缓存）。<br />
5.7、 Connection：请求：close（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，断开连接，不要等待本次连接的后续请求了）。 keepalive（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，保持连接，等待本次连接的后续请求）。 响应：close（连接已经关闭）。 keepalive（连接保持着，在等待本次连接的后续请求）。 Keep-Alive：如果浏览器请求保持连接，则该头部表明希望 WEB 服务器保持连接多长时间（秒）。例如：Keep-Alive：300<br />
5.8、 Content-Encoding：WEB服务器表明自己使用了什么压缩方法（gzip，deflate）压缩响应中的对象。例如：Content-Encoding：gzip<br />
5.9、Content-Language：WEB 服务器告诉浏览器自己响应的对象的语言。<br />
5.10、Content-Length： WEB 服务器告诉浏览器自己响应的对象的长度。例如：Content-Length: 26012<br />
5.11、Content-Range： WEB 服务器表明该响应包含的部分对象为整个对象的哪个部分。例如：Content-Range: bytes 21010-47021/47022<br />
5.12、Content-Type： WEB 服务器告诉浏览器自己响应的对象的类型。例如：Content-Type：application/xml<br />
5.13、ETag：就是一个对象（比如URL）的标志值，就一个对象而言，比如一个 html 文件，如果被修改了，其 Etag 也会别修改，所以ETag 的作用跟 Last-Modified 的作用差不多，主要供 WEB 服务器判断一个对象是否改变了。比如前一次请求某个 html 文件时，获得了其 ETag，当这次又请求这个文件时，浏览器就会把先前获得的 ETag 值发送给WEB 服务器，然后 WEB 服务器会把这个 ETag 跟该文件的当前 ETag 进行对比，然后就知道这个文件有没有改变了。<br />
5.14、 Expired：WEB服务器表明该实体将在什么时候过期，对于过期了的对象，只有在跟WEB服务器验证了其有效性后，才能用来响应客户请求。是 HTTP/1.0 的头部。例如：Expires：Sat, 23 May 2009 10:02:12 GMT<br />
5.15、 Host：客户端指定自己想访问的WEB服务器的域名/IP 地址和端口号。例如：Host：rss.sina.com.cn<br />
5.16、 If-Match：如果对象的 ETag 没有改变，其实也就意味著对象没有改变，才执行请求的动作。<br />
5.17、 If-None-Match：如果对象的 ETag 改变了，其实也就意味著对象也改变了，才执行请求的动作。<br />
5.18、 If-Modified-Since：如果请求的对象在该头部指定的时间之后修改了，才执行请求的动作（比如返回对象），否则返回代码304，告诉浏览器 该对象没有修改。例如：If-Modified-Since：Thu, 10 Apr 2008 09:14:42 GMT<br />
5.19、 If-Unmodified-Since：如果请求的对象在该头部指定的时间之后没修改过，才执行请求的动作（比如返回对象）。<br />
5.20、 If-Range：浏览器告诉 WEB 服务器，如果我请求的对象没有改变，就把我缺少的部分给我，如果对象改变了，就把整个对象给我。浏览器通过发送请求对象的 ETag 或者 自己所知道的最后修改时间给 WEB 服务器，让其判断对象是否改变了。总是跟 Range 头部一起使用。<br />
5.21、 Last-Modified：WEB 服务器认为对象的最后修改时间，比如文件的最后修改时间，动态页面的最后产生时间等等。例如：Last-Modified：Tue, 06 May 2008 02:42:43 GMT<br />
5.22、 Location：WEB 服务器告诉浏览器，试图访问的对象已经被移到别的位置了，到该头部指定的位置去取。例如：Location：http://i0.sinaimg.cn/dy/deco/2008/0528/sinahome_0803_ws_005_text_0.gif<br />
5.23、 Pramga：主要使用 Pramga: no-cache，相当于 Cache-Control： no-cache。例如：Pragma：no-cache<br />
5.24、 Proxy-Authenticate： 代理服务器响应浏览器，要求其提供代理身份验证信息。Proxy-Authorization：浏览器响应代理服务器的身份验证请求，提供自己的身份信息。<br />
5.25、 Range：浏览器（比如 Flashget 多线程下载时）告诉 WEB 服务器自己想取对象的哪部分。例如：Range: bytes=1173546-<br />
5.26、 Referer：浏览器向 WEB 服务器表明自己是从哪个 网页/URL 获得/点击 当前请求中的网址/URL。例如：Referer：http://www.sina.com/<br />
5.27、 Server: WEB 服务器表明自己是什么软件及版本等信息。例如：Server：Apache/2.0.61 (Unix)<br />
5.28、 User-Agent: 浏览器表明自己的身份（是哪种浏览器）。例如：User-Agent：Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.8.1.14) Gecko/20080404 Firefox/2、0、0、14<br />
5.29、 Transfer-Encoding: WEB 服务器表明自己对本响应消息体（不是消息体里面的对象）作了怎样的编码，比如是否分块（chunked）。例如：Transfer-Encoding: chunked<br />
5.30、 Vary: WEB服务器用该头部的内容告诉 Cache 服务器，在什么条件下才能用本响应所返回的对象响应后续的请求。假如源WEB服务器在接到第一个请求消息时，其响应消息的头部为：Content- Encoding: gzip; Vary: Content-Encoding那么 Cache 服务器会分析后续请求消息的头部，检查其 Accept-Encoding，是否跟先前响应的 Vary 头部值一致，即是否使用相同的内容编码方法，这样就可以防止 Cache 服务器用自己 Cache 里面压缩后的实体响应给不具备解压能力的浏览器。例如：Vary：Accept-Encoding<br />
5.31、 Via： 列出从客户端到 OCS 或者相反方向的响应经过了哪些代理服务器，他们用什么协议（和版本）发送的请求。当客户端请求到达第一个代理服务器时，该服务器会在自己发出的请求里面添 加 Via 头部，并填上自己的相关信息，当下一个代理服务器收到第一个代理服务器的请求时，会在自己发出的请求里面复制前一个代理服务器的请求的Via 头部，并把自己的相关信息加到后面，以此类推，当 OCS 收到最后一个代理服务器的请求时，检查 Via 头部，就知道该请求所经过的路由。例如：Via：1.0 236.D0707195.sina.com.cn:80 (squid/2.6.STABLE13)</p>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>PHP CURL采集简单案例</title>
		<link>https://www.mudbest.com/php-curl%e9%87%87%e9%9b%86%e7%ae%80%e5%8d%95%e6%a1%88%e4%be%8b/</link>
		
		<dc:creator><![CDATA[hkshadow]]></dc:creator>
		<pubDate>Fri, 03 Aug 2012 08:55:08 +0000</pubDate>
				<category><![CDATA[PHP]]></category>
		<category><![CDATA[curl]]></category>
		<category><![CDATA[https]]></category>
		<category><![CDATA[采集]]></category>
		<guid isPermaLink="false">http://www.mudbest.com/?p=1158</guid>

					<description><![CDATA[如果想要做一个采集其他网站表单POST/GET后的数据，可以采用CURL的方法进行采集，即可得到想要的数据。  ... <a title="PHP CURL采集简单案例" class="read-more" href="https://www.mudbest.com/php-curl%e9%87%87%e9%9b%86%e7%ae%80%e5%8d%95%e6%a1%88%e4%be%8b/" aria-label="阅读 PHP CURL采集简单案例">阅读更多</a>]]></description>
										<content:encoded><![CDATA[<p>如果想要做一个采集其他网站表单POST/GET后的数据，可以采用CURL的方法进行采集，即可得到想要的数据。<span id="more-1158"></span></p>
<pre class="brush: php; title: ; notranslate">
// 模拟提交数据函数
function get_maxim_result_by_curl($key){	
	$url=&quot;http://shop.maxim-ic.com/storefront/viewpriceavailable.do?event=PartSearch&amp;Partnumber=$key&quot;;
	$cookie_file = dirname(__FILE__).'/cookie.txt';
	$ch = curl_init();// 启动一个CURL会话
	curl_setopt($ch, CURLOPT_URL,$url); // 要访问的地址
	curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)');
	curl_setopt($ch, CURLOPT_COOKIEJAR,  $cookie_file); //伪COOKIE
	curl_setopt ( $ch, CURLOPT_FOLLOWLOCATION, 1 );// 使用自动跳转  如果关闭自动跳转则不报错。0关闭 1 开启
	curl_setopt ($ch, CURLOPT_SSL_VERIFYPEER, 0);// 对认证证书来源的检查
	curl_setopt ($ch, CURLOPT_SSL_VERIFYHOST, 0);// 从证书中检查SSL加密算法是否存在	
	//curl_setopt ( $ch, CURLOPT_POST, 1 ); // 发送一个常规的Post请求
	//curl_setopt ( $ch, CURLOPT_POSTFIELDS, $data ); // Post提交的数据包
	curl_setopt ( $curl, CURLOPT_TIMEOUT, 30); // 设置超时限制防止死循环
	//curl_setopt ( $curl, CURLOPT_HEADER, 0 ); // 显示返回的Header区域内容
	curl_setopt($ch, CURLOPT_SSLVERSION, 3);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);// 设为TRUE把curl_exec()结果转化为字符串，而不是直接输出
	$result = curl_exec($ch);// 执行操作
        if ( $result ) {
           echo 'Errno' . curl_error ( $ch); //捕抓异常
        }
	curl_close($ch); // 关闭CURL会话
	return $result; // 返回数据
}
//test
print_r(get_maxim_result_by_curl('1111'));
</pre>
]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>php curl正则采集</title>
		<link>https://www.mudbest.com/php-curl%e6%ad%a3%e5%88%99%e9%87%87%e9%9b%86/</link>
		
		<dc:creator><![CDATA[hkshadow]]></dc:creator>
		<pubDate>Tue, 03 Jul 2012 06:21:34 +0000</pubDate>
				<category><![CDATA[PHP]]></category>
		<category><![CDATA[curl]]></category>
		<category><![CDATA[php curl]]></category>
		<category><![CDATA[采集]]></category>
		<guid isPermaLink="false">http://www.mudbest.com/?p=1122</guid>

					<description><![CDATA[Apache的httpd.conf配置： LoadModule php5_module &#34;../ph ... <a title="php curl正则采集" class="read-more" href="https://www.mudbest.com/php-curl%e6%ad%a3%e5%88%99%e9%87%87%e9%9b%86/" aria-label="阅读 php curl正则采集">阅读更多</a>]]></description>
										<content:encoded><![CDATA[<p>Apache的httpd.conf配置：</p>
<pre class="brush: plain; title: ; notranslate">
LoadModule php5_module &quot;../php/php5apache2_2.dll&quot;
PHPIniDir &quot;../php/&quot;
AddType application/x-httpd-php .php
LoadFile &quot;../php/libeay32.dll&quot;
LoadFile &quot;../php/ssleay32.dll&quot;
</pre>
<p>用于采集是一个不错的方法，以下资料来源于网上整理：<br />
PHP中的CURL函数库（Client URL Library Function）</p>
<p>curl_close &#8211; 关闭一个curl会话</p>
<p>curl_copy_handle &#8211; 拷贝一个curl连接资源的所有内容和参数</p>
<p>curl_errno &#8211; 返回一个包含当前会话错误信息的数字编号<span id="more-1122"></span></p>
<p>curl_error &#8211; 返回一个包含当前会话错误信息的字符串</p>
<p>curl_exec &#8211; 执行一个curl会话</p>
<p>curl_getinfo &#8211; 获取一个curl连接资源句柄的信息</p>
<p>curl_init &#8211; 初始化一个curl会话</p>
<p>curl_multi_add_handle &#8211; 向curl批处理会话中添加单独的curl句柄资源</p>
<p>curl_multi_close &#8211; 关闭一个批处理句柄资源</p>
<p>curl_multi_exec &#8211; 解析一个curl批处理句柄</p>
<p>curl_multi_getcontent &#8211; 返回获取的输出的文本流</p>
<p>curl_multi_info_read &#8211; 获取当前解析的curl的相关传输信息</p>
<p>curl_multi_init &#8211; 初始化一个curl批处理句柄资源</p>
<p>curl_multi_remove_handle &#8211; 移除curl批处理句柄资源中的某个句柄资源</p>
<p>curl_multi_select &#8211; Get all the sockets associated with the cURL extension, which can then be &#8220;selected&#8221;</p>
<p>curl_setopt_array &#8211; 以数组的形式为一个curl设置会话参数</p>
<p>curl_setopt &#8211; 为一个curl设置会话参数</p>
<p>curl_version &#8211; 获取curl相关的版本信息</p>
<p>curl_init()函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。</p>
<p>curl_exec()函数的作用是执行一个curl会话，唯一的参数是curl_init()函数返回的句柄。</p>
<p>curl_close()函数的作用是关闭一个curl会话，唯一的参数是curl_init()函数返回的句柄。</p>
<pre class="brush: php; title: ; notranslate">
&lt;?php
$ch = curl_init(&quot;http://www.baidu.com/&quot;);
curl_exec($ch);
curl_close($ch);
?&gt;
</pre>
<p>curl_version()函数的作用是获取curl相关的版本信息，curl_version()函数有一个参数，不清楚是做什么的</p>
<p>可设置的参数有：</p>
<p>CURLOPT_AUTOREFERER</p>
<p>自动设置header中的referer信息</p>
<p>CURLOPT_BINARYTRANSFER</p>
<p>在启用CURLOPT_RETURNTRANSFER时候将获取数据返回</p>
<p>CURLOPT_COOKIESESSION</p>
<p>启用时curl会仅仅传递一个session cookie，忽略其他的cookie，默认状况下curl会将所有的cookie返回给服务端。session cookie是指那些用来判断服务器端的session是否有效而存在的cookie。</p>
<p>CURLOPT_CRLF</p>
<p>启用时将Unix的换行符转换成回车换行符。</p>
<p>CURLOPT_DNS_USE_GLOBAL_CACHE</p>
<p>启用时会启用一个全局的DNS缓存，此项为线程安全的，并且默认为true。</p>
<p>CURLOPT_FAILONERROR</p>
<p>显示HTTP状态码，默认行为是忽略编号小于等于400的HTTP信息</p>
<p>CURLOPT_FILETIME</p>
<p>启用时会尝试修改远程文档中的信息。结果信息会通过curl_getinfo()函数的CURLINFO_FILETIME选项返回。</p>
<p>CURLOPT_FOLLOWLOCATION</p>
<p>启用时会将服务器服务器返回的&#8221;Location:&#8221;放在header中递归的返回给服务器，使用CURLOPT_MAXREDIRS可以限定递归返回的数量。</p>
<p>CURLOPT_FORBID_REUSE</p>
<p>在完成交互以后强迫断开连接，不能重用。</p>
<p>CURLOPT_FRESH_CONNECT</p>
<p>强制获取一个新的连接，替代缓存中的连接。</p>
<p>CURLOPT_FTP_USE_EPRT</p>
<p>TRUE to use EPRT (and LPRT) when doing active FTP downloads. Use FALSE to disable EPRT and LPRT and use PORT only.</p>
<p>Added in PHP 5.0.0.</p>
<p>CURLOPT_FTP_USE_EPSV</p>
<p>TRUE to first try an EPSV command for FTP transfers before reverting back to PASV. Set to FALSE to disable EPSV.</p>
<p>CURLOPT_FTPAPPEND</p>
<p>TRUE to append to the remote file instead of overwriting it.</p>
<p>CURLOPT_FTPASCII</p>
<p>An alias of CURLOPT_TRANSFERTEXT. Use that instead.</p>
<p>CURLOPT_FTPLISTONLY</p>
<p>TRUE to only list the names of an FTP directory.</p>
<p>CURLOPT_HEADER</p>
<p>启用时会将头文件的信息作为数据流输出。</p>
<p>CURLOPT_HTTPGET</p>
<p>启用时会设置HTTP的method为GET，因为GET是默认是，所以只在被修改的情况下使用。</p>
<p>CURLOPT_HTTPPROXYTUNNEL</p>
<p>启用时会通过HTTP代理来传输。</p>
<p>CURLOPT_MUTE</p>
<p>讲curl函数中所有修改过的参数恢复默认值。</p>
<p>CURLOPT_NETRC</p>
<p>在连接建立以后，访问~/.netrc文件获取用户名和密码信息连接远程站点。</p>
<p>CURLOPT_NOBODY</p>
<p>启用时将不对HTML中的body部分进行输出。</p>
<p>CURLOPT_NOPROGRESS</p>
<p>启用时关闭curl传输的进度条，此项的默认设置为true</p>
<p>CURLOPT_NOSIGNAL</p>
<p>启用时忽略所有的curl传递给php进行的信号。在SAPI多线程传输时此项被默认打开。</p>
<p>CURLOPT_POST</p>
<p>启用时会发送一个常规的POST请求，类型为：application/x-www-form-urlencoded，就像表单提交的一样。</p>
<p>CURLOPT_PUT</p>
<p>启用时允许HTTP发送文件，必须同时设置CURLOPT_INFILE和CURLOPT_INFILESIZE</p>
<p>CURLOPT_RETURNTRANSFER</p>
<p>讲curl_exec()获取的信息以文件流的形式返回，而不是直接输出。</p>
<p>CURLOPT_SSL_VERIFYPEER</p>
<p>FALSE to stop cURL from verifying the peer&#8221;s certificate. Alternate certificates to verify against can be specified with the CURLOPT_CAINFO option or a certificate directory can be specified with the CURLOPT_CAPATH option. CURLOPT_SSL_VERIFYHOST may also need to be TRUE or FALSE if CURLOPT_SSL_VERIFYPEER is disabled (it defaults to 2). TRUE by default as of cURL 7.10. Default bundle installed as of cURL 7.10.</p>
<p>CURLOPT_TRANSFERTEXT</p>
<p>TRUE to use ASCII mode for FTP transfers. For LDAP, it retrieves data in plain text instead of HTML. On Windows systems, it will not set STDOUT to binary mode.</p>
<p>CURLOPT_UNRESTRICTED_AUTH</p>
<p>在使用CURLOPT_FOLLOWLOCATION产生的header中的多个locations中持续追加用户名和密码信息，即使域名已发生改变。</p>
<p>CURLOPT_UPLOAD</p>
<p>启用时允许文件传输</p>
<p>CURLOPT_VERBOSE</p>
<p>启用时会汇报所有的信息，存放在STDERR或指定的CURLOPT_STDERR中</p>
<p>CURLOPT_BUFFERSIZE</p>
<p>每次获取的数据中读入缓存的大小，这个值每次都会被填满。</p>
<p>CURLOPT_CLOSEPOLICY</p>
<p>不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST，还存在另外三个，但是curl暂时还不支持。.</p>
<p>CURLOPT_CONNECTTIMEOUT</p>
<p>在发起连接前等待的时间，如果设置为0，则不等待。</p>
<p>CURLOPT_DNS_CACHE_TIMEOUT</p>
<p>设置在内存中保存DNS信息的时间，默认为120秒。</p>
<p>CURLOPT_FTPSSLAUTH</p>
<p>The FTP authentication method (when is activated): CURLFTPAUTH_SSL (try SSL first), CURLFTPAUTH_TLS (try TLS first), or CURLFTPAUTH_DEFAULT (let cURL decide).</p>
<p>CURLOPT_HTTP_VERSION</p>
<p>设置curl使用的HTTP协议，CURL_HTTP_VERSION_NONE（让curl自己判断），CURL_HTTP_VERSION_1_0（HTTP/1.0），CURL_HTTP_VERSION_1_1（HTTP/1.1）</p>
<p>CURLOPT_HTTPAUTH</p>
<p>使用的HTTP验证方法，可选的值有：CURLAUTH_BASIC，CURLAUTH_DIGEST，CURLAUTH_GSSNEGOTIATE， CURLAUTH_NTLM，CURLAUTH_ANY，CURLAUTH_ANYSAFE，可以使用&#8221;|&#8221;操作符分隔多个值，curl让服务器选择一个 支持最好的值，CURLAUTH_ANY等价于CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM，CURLAUTH_ANYSAFE等价于CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM</p>
<p>CURLOPT_INFILESIZE</p>
<p>设定上传文件的大小</p>
<p>CURLOPT_LOW_SPEED_LIMIT</p>
<p>当传输速度小于CURLOPT_LOW_SPEED_LIMIT时，PHP会根据CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传输。</p>
<p>CURLOPT_LOW_SPEED_TIME</p>
<p>The number of seconds the transfer should be below CURLOPT_LOW_SPEED_LIMIT for PHP to consider the transfer too slow and abort.</p>
<p>当传输速度小于CURLOPT_LOW_SPEED_LIMIT时，PHP会根据CURLOPT_LOW_SPEED_TIME来判断是否因太慢而取消传输。</p>
<p>CURLOPT_MAXCONNECTS</p>
<p>允许的最大连接数量，超过是会通过CURLOPT_CLOSEPOLICY决定应该停止哪些连接</p>
<p>CURLOPT_MAXREDIRS</p>
<p>指定最多的HTTP重定向的数量，这个选项是和CURLOPT_FOLLOWLOCATION一起使用的。</p>
<p>CURLOPT_PORT</p>
<p>一个可选的用来指定连接端口的量</p>
<p>CURLOPT_PROXYAUTH</p>
<p>The HTTP authentication method(s) to use for the proxy connection. Use the same bitmasks as described in CURLOPT_HTTPAUTH. For proxy authentication, only CURLAUTH_BASIC and CURLAUTH_NTLM are currently supported.</p>
<p>CURLOPT_PROXYPORT</p>
<p>The port number of the proxy to connect to. This port number can also be set in CURLOPT_PROXY.</p>
<p>CURLOPT_PROXYTYPE</p>
<p>Either CURLPROXY_HTTP (default) or CURLPROXY_SOCKS5.</p>
<p>CURLOPT_RESUME_FROM</p>
<p>在恢复传输时传递一个字节偏移量（用来断点续传）</p>
<p>CURLOPT_SSL_VERIFYHOST</p>
<p>1 to check the existence of a common name in the SSL peer certificate.</p>
<p>2 to check the existence of a common name and also verify that it matches the hostname provided.</p>
<p>CURLOPT_SSLVERSION</p>
<p>The SSL version (2 or 3) to use. By default PHP will try to determine this itself, although in some cases this must be set manually.</p>
<p>CURLOPT_TIMECONDITION</p>
<p>如果在CURLOPT_TIMEVALUE指定的某个时间以后被编辑过，则使用CURL_TIMECOND_IFMODSINCE返回页面，如果没有被修 改过，并且CURLOPT_HEADER为true，则返回一个&#8221;304 Not Modified&#8221;的header，CURLOPT_HEADER为false，则使用CURL_TIMECOND_ISUNMODSINCE，默认值为 CURL_TIMECOND_IFMODSINCE</p>
<p>CURLOPT_TIMEOUT</p>
<p>设置curl允许执行的最长秒数</p>
<p>CURLOPT_TIMEVALUE</p>
<p>设置一个CURLOPT_TIMECONDITION使用的时间戳，在默认状态下使用的是CURL_TIMECOND_IFMODSINCE</p>
<p>CURLOPT_CAINFO</p>
<p>The name of a file holding one or more certificates to verify the peer with. This only makes sense when used in combination with CURLOPT_SSL_VERIFYPEER.</p>
<p>CURLOPT_CAPATH</p>
<p>A directory that holds multiple CA certificates. Use this option alongside CURLOPT_SSL_VERIFYPEER.</p>
<p>CURLOPT_COOKIE</p>
<p>设定HTTP请求中&#8221;Set-Cookie:&#8221;部分的内容。</p>
<p>CURLOPT_COOKIEFILE</p>
<p>包含cookie信息的文件名称，这个cookie文件可以是Netscape格式或者HTTP风格的header信息。</p>
<p>CURLOPT_COOKIEJAR</p>
<p>连接关闭以后，存放cookie信息的文件名称</p>
<p>CURLOPT_CUSTOMREQUEST</p>
<p>A custom request method to use instead of &#8220;GET&#8221; or &#8220;HEAD&#8221; when doing a HTTP request. This is useful for doing &#8220;Delete&#8221; or other, more obscure HTTP requests. Valid values are things like &#8220;GET&#8221;, &#8220;POST&#8221;, &#8220;CONNECT&#8221; and so on; i.e. Do not enter a whole HTTP request line here. For instance, entering &#8220;GET /index.html HTTP/1.0\r\n\r\n&#8221; would be incorrect.</p>
<p>Note: Don&#8221;t do this without making sure the server supports the custom request method first.</p>
<p>CURLOPT_EGBSOCKET</p>
<p>Like CURLOPT_RANDOM_FILE, except a filename to an Entropy Gathering Daemon socket.</p>
<p>CURLOPT_ENCODING</p>
<p>header中&#8221;Accept-Encoding: &#8220;部分的内容，支持的编码格式为：&#8221;identity&#8221;，&#8221;deflate&#8221;，&#8221;gzip&#8221;。如果设置为空字符串，则表示支持所有的编码格式</p>
<p>CURLOPT_FTPPORT</p>
<p>The value which will be used to get the IP address to use for the FTP &#8220;POST&#8221; instruction. The &#8220;POST&#8221; instruction tells the remote server to connect to our specified IP address. The string may be a plain IP address, a hostname, a network interface name (under Unix), or just a plain &#8221;-&#8221; to use the systems default IP address.</p>
<p>CURLOPT_INTERFACE</p>
<p>在外部网络接口中使用的名称，可以是一个接口名，IP或者主机名。</p>
<p>CURLOPT_KRB4LEVEL</p>
<p>KRB4(Kerberos 4)安全级别的设置，可以是一下几个值之一：&#8221;clear&#8221;，&#8221;safe&#8221;，&#8221;confidential&#8221;，&#8221;private&#8221;。默认的值为 &#8220;private&#8221;，设置为null的时候表示禁用KRB4，现在KRB4安全仅能在FTP传输中使用。</p>
<p>CURLOPT_POSTFIELDS</p>
<p>在HTTP中的&#8221;POST&#8221;操作。如果要传送一个文件，需要一个@开头的文件名</p>
<p>CURLOPT_PROXY</p>
<p>设置通过的HTTP代理服务器</p>
<p>CURLOPT_PROXYUSERPWD</p>
<p>连接到代理服务器的，格式为&#8221;[username]:[password]&#8221;的用户名和密码。</p>
<p>CURLOPT_RANDOM_FILE</p>
<p>设定存放SSL用到的随机数种子的文件名称</p>
<p>CURLOPT_RANGE</p>
<p>设置HTTP传输范围，可以用&#8221;X-Y&#8221;的形式设置一个传输区间，如果有多个HTTP传输，则使用逗号分隔多个值，形如：&#8221;X-Y,N-M&#8221;。</p>
<p>CURLOPT_REFERER</p>
<p>设置header中&#8221;Referer: &#8221; 部分的值。</p>
<p>CURLOPT_SSL_CIPHER_LIST</p>
<p>A list of ciphers to use for SSL. For example, RC4-SHA and TLSv1 are valid cipher lists.</p>
<p>CURLOPT_SSLCERT</p>
<p>传递一个包含PEM格式证书的字符串。</p>
<p>CURLOPT_SSLCERTPASSWD</p>
<p>传递一个包含使用CURLOPT_SSLCERT证书必需的密码。</p>
<p>CURLOPT_SSLCERTTYPE</p>
<p>The format of the certificate. Supported formats are &#8220;PEM&#8221; (default), &#8220;DER&#8221;, and &#8220;ENG&#8221;.</p>
<p>CURLOPT_SSLENGINE</p>
<p>The identifier for the crypto engine of the private SSL key specified in CURLOPT_SSLKEY.</p>
<p>CURLOPT_SSLENGINE_DEFAULT</p>
<p>The identifier for the crypto engine used for asymmetric crypto operations.</p>
<p>CURLOPT_SSLKEY</p>
<p>The name of a file containing a private SSL key.</p>
<p>CURLOPT_SSLKEYPASSWD</p>
<p>The secret password needed to use the private SSL key specified in CURLOPT_SSLKEY.</p>
<p>Note: Since this option contains a sensitive password, remember to keep the PHP script it is contained within safe.</p>
<p>CURLOPT_SSLKEYTYPE</p>
<p>The key type of the private SSL key specified in CURLOPT_SSLKEY. Supported key types are &#8220;PEM&#8221; (default), &#8220;DER&#8221;, and &#8220;ENG&#8221;.</p>
<p>CURLOPT_URL</p>
<p>需要获取的URL地址，也可以在PHP的curl_init()函数中设置。</p>
<p>CURLOPT_USERAGENT</p>
<p>在HTTP请求中包含一个&#8221;user-agent&#8221;头的字符串。</p>
<p>CURLOPT_USERPWD</p>
<p>传递一个连接中需要的用户名和密码，格式为：&#8221;[username]:[password]&#8221;。</p>
<p>CURLOPT_HTTP200ALIASES</p>
<p>设置不再以error的形式来处理HTTP 200的响应，格式为一个数组。</p>
<p>CURLOPT_HTTPHEADER</p>
<p>设置一个header中传输内容的数组。</p>
<p>CURLOPT_POSTQUOTE</p>
<p>An array of FTP commands to execute on the server after the FTP request has been performed.</p>
<p>CURLOPT_QUOTE</p>
<p>An array of FTP commands to execute on the server prior to the FTP request.</p>
<p>CURLOPT_FILE</p>
<p>设置输出文件的位置，值是一个资源类型，默认为STDOUT (浏览器)。</p>
<p>CURLOPT_INFILE</p>
<p>在上传文件的时候需要读取的文件地址，值是一个资源类型。</p>
<p>CURLOPT_STDERR</p>
<p>设置一个错误输出地址，值是一个资源类型，取代默认的STDERR。</p>
<p>CURLOPT_WRITEHEADER</p>
<p>设置header部分内容的写入的文件地址，值是一个资源类型。</p>
<p>CURLOPT_HEADERFUNCTION</p>
<p>设置一个回调函数，这个函数有两个参数，第一个是curl的资源句柄，第二个是输出的header数据。header数据的输出必须依赖这个函数，返回已写入的数据大小。</p>
<p>CURLOPT_PASSWDFUNCTION</p>
<p>设置一个回调函数，有三个参数，第一个是curl的资源句柄，第二个是一个密码提示符，第三个参数是密码长度允许的最大值。返回密码的值。</p>
<p>CURLOPT_READFUNCTION</p>
<p>设置一个回调函数，有两个参数，第一个是curl的资源句柄，第二个是读取到的数据。数据读取必须依赖这个函数。返回读取数据的大小，比如0或者EOF。</p>
<p>CURLOPT_WRITEFUNCTION</p>
<p>设置一个回调函数，有两个参数，第一个是curl的资源句柄，第二个是写入的数据。数据写入必须依赖这个函数。返回精确的已写入数据的大小</p>
<p>curl_copy_handle()函数的作用是拷贝一个curl连接资源的所有内容和参数</p>
<pre class="brush: php; title: ; notranslate">
&lt;?php
$ch = curl_init(&quot;http://www.baidu.com/&quot;);
$another = curl_copy_handle($ch);
curl_exec($another);
curl_close($another);
?&gt;
</pre>
<p>curl_error()函数的作用是返回一个包含当前会话错误信息的字符串。</p>
<p>curl_errno()函数的作用是返回一个包含当前会话错误信息的数字编号。</p>
<p>curl_multi_init()函数的作用是初始化一个curl批处理句柄资源。</p>
<p>curl_multi_add_handle()函数的作用是向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句柄资源。</p>
<p>curl_multi_exec()函数的作用是解析一个curl批处理句柄，curl_multi_exec()函数有两个参数，第一个参数表示一个批处理句柄资源，第二个参数是一个引用值的参数，表示剩余需要处理的单个的curl句柄资源数量。</p>
<p>curl_multi_remove_handle()函数表示移除curl批处理句柄资源中的某个句柄资源， curl_multi_remove_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句 柄资源。</p>
<p>curl_multi_close()函数的作用是关闭一个批处理句柄资源。</p>
<pre class="brush: php; title: ; notranslate">
&lt;?php
$ch1 = curl_init();
$ch2 = curl_init();
curl_setopt($ch1, CURLOPT_URL, &quot;http://www.baidu.com/&quot;);
curl_setopt($ch1, CURLOPT_HEADER, 0);
curl_setopt($ch2, CURLOPT_URL, &quot;http://www.google.com/&quot;);
curl_setopt($ch2, CURLOPT_HEADER, 0);
$mh = curl_multi_init();
curl_multi_add_handle($mh,$ch1);
curl_multi_add_handle($mh,$ch2);
do {
curl_multi_exec($mh,$flag);
} while ($flag &gt; 0);

curl_multi_remove_handle($mh,$ch1);
curl_multi_remove_handle($mh,$ch2);
curl_multi_close($mh);
?&gt;
</pre>
<p>curl_multi_getcontent()函数的作用是在设置了CURLOPT_RETURNTRANSFER的情况下，返回获取的输出的文本流。</p>
<p>curl_multi_info_read()函数的作用是获取当前解析的curl的相关传输信息。</p>
<p>curl_multi_select()</p>
<p>Get all the sockets associated with the cURL extension, which can then be &#8220;selected&#8221; </p>
]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
