简单的高性能后台架构
我们平时在用python爬虫时，有时会要用到ip代理，有时因为ip被封禁导致需要更换ip进行爬取。
网上有很多的免费代理ip网站,但不是所有的ip都能用，所以这篇文章教大家如何爬取可用的代理ip。
一个免费代理ip网站为例：
所以用python写了个脚本，该脚本可以把能用的代理ip检测出来。
[python] view plain copy#encoding = utf8 import urllib2 from bs4 import beautifulsoup import urllib import socket user_agent = 'mozilla/5.0 (windows nt 6.3; wow64; rv:43.0) gecko/20100101 firefox/43.0' header = {} header['user-agent'] = user_agent ''''' 获取所有代理ip地/址 ''' def getproxyip(): proxy = [] for i in range(1,2): try: url = ' req = urllib2.request(url,headers=header) res = urllib2.urlopen(req).read() soup = beautifulsoup(res) ips = soup.findall('tr') for x in range(1,len(ips)): ip = ips[x] tds = ip.findall(td) ip_temp = tds[1].contents[0]+\t+tds[2].contents[0] proxy.append(ip_temp) except: continue return proxy ''''' 验证获得的代理ip地/址是否可用 ''' def validateip(proxy): url = f = open(e:\ip.txt,w) socket.setdefaulttimeout(3) for i in range(0,len(proxy)): try: ip = proxy[i].strip().split(\t) proxy_host = +ip[0]+:+ip[1] proxy_temp = {http:proxy_host} res = urllib.urlopen(url,proxies=proxy_temp).read() f.write(proxy[i]+'\n') print proxy[i] except exception,e: continue f.close() if __name__ == '__main__': proxy = getproxyip() validateip(proxy) 运行成功后，打开e盘下的文件，可以看到如下可用的代理ip地/址和端口：
这只是爬取的第/一页的ip地/址，如有需要，可以多爬取几页。同时，该网站是时时更新的，建议爬取时只爬取前几页的即可。以上就是本文的全部内容，希望对大家学xi使用python能有所帮助。
西安飞凡网络技术咨询有限公司
400 011 2010
优选锯8.5万 优选锯 80 集成材专用机
优质薏苡仁油
2013北京国际五金博览会
车前草提取物 西安新维禾专业供应
输送机网带式输送机链板式输送机食品输送机小型
简单的高性能后台架构
杭州广汽2018新款欧蓝德售后热线
福建防腐蚀化工包装ibc吨桶 吨桶厂家
南京广告帐篷出租,南京广告帐篷租赁,南京帐篷出租
陕西苹果批发价格，陕西苹果产地价格
破碎机厂价直销(图)、重型废钢撕碎机、武威市撕碎机
供应警示胶带定做厂家021-36310118
成都加盟干洗店
商业活动策划公司|太原活动策划公司|天路广告(在线咨询)
供应稳定土拌和站拌合站
送料机械手品牌有哪些_五金冲床自动上下料机械手
Z18型胀套
青海金属包复垫片、镇江中海、金属包复垫片供应商
2013不留遗憾 抢购 万将军`教你开淘~宝~店
上海韵兴新型优质紧急手动报警按钮
网上有很多的免费代理ip网站,但不是所有的ip都能用，所以这篇文章教大家如何爬取可用的代理ip。
一个免费代理ip网站为例：
所以用python写了个脚本，该脚本可以把能用的代理ip检测出来。
[python] view plain copy#encoding = utf8 import urllib2 from bs4 import beautifulsoup import urllib import socket user_agent = 'mozilla/5.0 (windows nt 6.3; wow64; rv:43.0) gecko/20100101 firefox/43.0' header = {} header['user-agent'] = user_agent ''''' 获取所有代理ip地/址 ''' def getproxyip(): proxy = [] for i in range(1,2): try: url = ' req = urllib2.request(url,headers=header) res = urllib2.urlopen(req).read() soup = beautifulsoup(res) ips = soup.findall('tr') for x in range(1,len(ips)): ip = ips[x] tds = ip.findall(td) ip_temp = tds[1].contents[0]+\t+tds[2].contents[0] proxy.append(ip_temp) except: continue return proxy ''''' 验证获得的代理ip地/址是否可用 ''' def validateip(proxy): url = f = open(e:\ip.txt,w) socket.setdefaulttimeout(3) for i in range(0,len(proxy)): try: ip = proxy[i].strip().split(\t) proxy_host = +ip[0]+:+ip[1] proxy_temp = {http:proxy_host} res = urllib.urlopen(url,proxies=proxy_temp).read() f.write(proxy[i]+'\n') print proxy[i] except exception,e: continue f.close() if __name__ == '__main__': proxy = getproxyip() validateip(proxy) 运行成功后，打开e盘下的文件，可以看到如下可用的代理ip地/址和端口：
这只是爬取的第/一页的ip地/址，如有需要，可以多爬取几页。同时，该网站是时时更新的，建议爬取时只爬取前几页的即可。以上就是本文的全部内容，希望对大家学xi使用python能有所帮助。
西安飞凡网络技术咨询有限公司
400 011 2010
优选锯8.5万 优选锯 80 集成材专用机
优质薏苡仁油
2013北京国际五金博览会
车前草提取物 西安新维禾专业供应
输送机网带式输送机链板式输送机食品输送机小型
简单的高性能后台架构
杭州广汽2018新款欧蓝德售后热线
福建防腐蚀化工包装ibc吨桶 吨桶厂家
南京广告帐篷出租,南京广告帐篷租赁,南京帐篷出租
陕西苹果批发价格，陕西苹果产地价格
破碎机厂价直销(图)、重型废钢撕碎机、武威市撕碎机
供应警示胶带定做厂家021-36310118
成都加盟干洗店
商业活动策划公司|太原活动策划公司|天路广告(在线咨询)
供应稳定土拌和站拌合站
送料机械手品牌有哪些_五金冲床自动上下料机械手
Z18型胀套
青海金属包复垫片、镇江中海、金属包复垫片供应商
2013不留遗憾 抢购 万将军`教你开淘~宝~店
上海韵兴新型优质紧急手动报警按钮