`
fulerbakesi
  • 浏览: 562003 次
文章分类
社区版块
存档分类
最新评论

Python 通过代理访问网络

 
阅读更多

#coding:gbk
import os,sys,urllib2

PROXY_INFO = {
  'user' : 'czz' ,
  'pass' : 'czzpwd' ,
  'host' : '10.99.60.92' , #proxy server ip address
  'port' : 8080
}

def load_url(url): 
  proxy_support = urllib2 . ProxyHandler ( { 'http' : \
   'http://%(user)s:%(pass)s@%(host)s:%(port)d' % PROXY_INFO } ) 

  opener = urllib2.build_opener(proxy_support,urllib2.HTTPHandler)

  urllib2.install_opener(opener) 

  src = urllib2.urlopen(url)

  return src.read()
    
if __name__=='__main__':
  print load_url("http://www.baidu.com")


点击打开链接

分享到:
评论

相关推荐

    使用python验证代理ip是否可用的实现方法

    在使用爬虫爬取网络数据时,如果长时间对一个网站进行抓取时可能会遇到IP被封的情况,这种情况可以使用代理更换ip来突破服务器封IP的限制。 随手在百度上搜索免费代理IP,可以得到一系列的网站,这里我们通过对西刺...

    python3网络爬虫系列(三)爬取给定URL网页(访问量、阅读量)实例

    已经搭建好代理IP池之后,就可以尝试用获得的代理IP访问给定URL,爬取页面,具体的源码和更多说明在github库Simulate-clicks-on-given-URL里,供大家学习。 代码 这段代码可以返回我们需要的用户IP PROXY_POOL_URL =...

    【python网络爬虫】-构建免费代理池

    【python网络爬虫】-构建免费代理池 # 导入requests模块 import requests # 从bs4中导入BeautifulSoup模块 from bs4 import BeautifulSoup # 定义获取代理地址的方法 def get_proxy(pages, ua): # 定义proxy_ips...

    Python入门网络爬虫之精华版

    Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细介绍一下。 首先列举一下本人总结的相关文章,这些覆盖了入门网络爬虫需要...

    python设置代理和添加镜像源的方法

    为什么要修改镜像源? 一般使用python安装库,会用到pip install xxx 指令或者conda install xxx...通常公司要求通过代理联网以保证网络安全(即网络连接外网时需要设置代理才可访问);有时由于国外官方pypi被墙,导致

    Python网络爬虫-绕过防爬措施

    目前大部分网站都有一定的反爬措施,最常见措施就是限制每个 IP 的访问速度或访问次数,超出了它的限制你的 IP 就会被封掉。使用代理 IP 去访问目标网址可以有效地...本资源为一个实用的网络爬虫代码,语言为python3.x

    7.Python实战操作源码网络爬虫.zip

    01解决直接访问请求地址返回403错误的问题.02通过正则表达式快速获取电影的下载地址03如何获取免费的代理IP. 04如何检测免费代理IP是否有效..05如何实现定时爬取网页内容..... 06 在Windows系统中如何实现定时执行...

    具有网络指纹绕过的爬虫工具python

    在Python中,有一些爬虫工具提供了一定程度上的网络指纹绕过功能,帮助开发者更好地模拟人类用户行为,以降低被网站封禁的风险。这些工具可以通过以下方式实现: 1. **User-Agent轮换:** 爬虫工具可以周期性地修改...

    Python Cookbook

    17.7 用迭代器逐个访问Python序列的元素 608 17.8 从Python可调用的C函数中返回None 611 17.9 用gdb调试动态载入的C扩展 613 17.10 调试内存问题 614 第18章 算法 616 引言 616 18.1 消除序列中的重复 619 ...

    Python爬虫基础知识

    同时,使用IDE或文本编辑器进行代码编写,并配置好代理和网络环境,以便顺利访问目标网站。 此外,开发者还需要遵守网站的robots.txt规则和数据使用条款,确保爬虫的合法性和合规性。在爬虫开发中,也应注意保护...

    python cookbook(第3版)

    8.15 属性的代理访问 8.16 在类中定义多个构造器 8.17 创建不调用init方法的实例 8.18 利用Mixins扩展类功能 8.19 实现状态对象或者状态机 8.20 通过字符串调用对象方法 8.21 实现访问者模式 8.22 不用递归...

    HTTP 测试工具V1.0 —— Python Tkinter 版本

    5、允许代理测试; 6、允许 身份认证测试; 7、允许阻止 重定向; 8、对于展示结果 可以进行选择; 9、可以使用 Curl 快速生成代码进行访问测试; 10、可以复制转换后的Python代码; 11、支持部分验证码的 检测识别...

    学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理

    Requests使用代理时出错,网上搜索了一下,原来是代理IP地址前面要加http:// 正确代码: import requests proxy = { 'http':'http://114.228.73.217:6666' } url = 'http://www.httpbin.org/ip' resp = requests....

    python-dns64-proxy:这是 Python 3 中 DNS64 代理的一个非常脏且快速的实验性实现

    Python DNS64 代理这是 Python 3 中 DNS64 代理的一个非常脏且快速的实验性实现。 使用风险自负! 我对 DNS 服务器编程一无所知,我只是使用了我认为合适的第一个库 (dnslib),然后使用跟踪和错误进行了破解,直到我...

    Ares:Python僵尸网络和后门

    Ares是一个Python远程访问工具。 警告:仅根据您当前的法规使用该软件。 滥用此软件会引起法律和道德问题,我不支持也不承担任何责任。 Ares由两个主要程序组成: Command aNd Control服务器,它是用于管理代理的...

    Python3网络爬虫之使用User Agent和代理IP隐藏身份

    本文介绍了Python3网络爬虫之使用User Agent和代理IP隐藏身份,分享给大家,具体如下: 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一、为何要设置User Agent 有一些网站不喜欢被爬虫程序访问...

    python requests使用socks5的例子

    网络爬虫由于一个ip频繁访问同一网站,容易返回456或者被长时间封禁。 特别的本机有socks5客户端的设置如下,前提是已经安装了socks5的客户端软件,并且启动起来在固定端口为本机提供服务。 使用前先更新requests...

    2023年最新Python爬虫的完整学习框架.pdf

    首先,让我们从最基础的部分开始,python爬虫的原理是模拟浏览器发送请求,通过检索和提取目标网页中的数据。这个过程中,你需要用到实用的python库,比如beautifulsoup、scrapy等,它们可以帮助你高效地处理网络...

    python爬虫教程系列、从0到1学习python爬虫.zip

    包括浏览器抓包,手机APP抓包,如 fiddler、mitmproxy,各种爬虫涉及的模块的使用,如:requests、beautifulSoup、selenium、appium、scrapy等,以及IP代理,验证码识… 爬虫(Web Crawler)是一种自动化程序,用于...

    python中requests使用代理proxies方法介绍

    学习网络爬虫难免遇到使用代理的情况,下面介绍一下如何使用requests设置代理: 如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求: import requests proxies = { ...

Global site tag (gtag.js) - Google Analytics