php抓取網(wǎng)頁(yè)指定內容，獲取新浪微博ip地址的地址

　　php抓取網(wǎng)頁(yè)指定內容，可以使用gmail的特定接口，如國內新浪微博api接口。

　　一、抓取注冊郵箱ip地址抓取注冊郵箱ip地址的地址如下，填寫(xiě)完成后，php解析郵箱地址數據（獲取其label）就可以獲取到其ip地址。通過(guò)gmail獲取每個(gè)國家的ip地址，我們可以把這些國家的ip地址進(jìn)行數據交換。就可以構建一個(gè)社交網(wǎng)絡(luò )的圖譜。舉個(gè)例子：比如我們獲取了美國的圖譜之后，我們再把這些圖譜同步到國內，然后注冊新浪微博，就可以獲取新浪微博的粉絲的郵箱地址和密碼了。

　　二、批量抓取微博圖譜將獲取到的圖譜批量地寫(xiě)成*.jpg格式，然后用php或其他語(yǔ)言把圖譜文件解析出來(lái)。抓取圖譜的類(lèi)、名、地址都寫(xiě)到文件里，php解析文件的函數使用的是getpid方法，getpid返回的label與地址參數label對應，如下圖中的str_link。就可以把整個(gè)圖譜庫批量地編號好，后續對象、各個(gè)url進(jìn)行g(shù)etpid方法調用。

　　三、批量抓取feed列表php獲取feed列表后，我們可以將feed獲取好的鏈接用javascript進(jìn)行操作，因為ie瀏覽器本身是帶有廣告的，如果沒(méi)有ie瀏覽器也可以進(jìn)行抓取，這個(gè)非瀏覽器地址不推薦使用，圖片傳輸可以使用。phpdiv中引入javascript就可以實(shí)現對網(wǎng)頁(yè)的操作操作javascript對cookie進(jìn)行操作后，返回的內容就是我們想要獲取的圖譜信息。

　　四、圖片地址獲取php獲取圖片地址后，可以用scrapy的輪詢(xún)技術(shù)進(jìn)行抓取，效率也比較高。還可以在程序中，同時(shí)存在多個(gè)圖片地址，然后給他們分別編號，然后getpid方法獲取，不僅提高抓取速度，還節省了線(xiàn)路和網(wǎng)絡(luò )資源。效果如下，

　　五、爬取其他網(wǎng)站數據打開(kāi)國內數據競價(jià)平臺（實(shí)時(shí)競價(jià)平臺）ip代理，獲取ip和頭像。打開(kāi)href=""，返回ip返回頭像可以獲取出來(lái)。php爬蟲(chóng)在爬取其他網(wǎng)站數據時(shí)，我們可以使用上面在gmail獲取圖譜里面獲取的信息，并再寫(xiě)入到循環(huán)中。

　　六、爬取海外數據海外的數據太多，并且數據很好爬取，為了一一爬取數據，都需要單獨編號命名。我們可以使用leap瀏覽器，獲取頭像，進(jìn)行編號。php解析html的地址是‘/ajax/user-agent-set-cookie-id’,這里的id是我們在gmail獲取到的ip值，http/1.1，而user-agent-set-cookie-id為：gmail，可以使用數據庫表-id/set-cookie-id的方式獲取，默認值應該是8123474。

　　這里的1-10好多爬蟲(chóng)都獲取的不對應，第一個(gè)0和9都有爬取過(guò)。這些都可以單獨獲取的。在爬取國內的數據時(shí)，一個(gè)爬蟲(chóng)一個(gè)爬。