Python根据url获取网页内容
发布时间:2020-05-24 23:58:09 所属栏目:Python 来源:互联网
导读:Python根据url获取网页内容
|
下面是脚本之家 jb51.cc 通过网络收集整理的代码片段。 脚本之家小编现在分享给大家,也给大家做个参考。 #! /usr/bin/python
# -*- coding:utf-8 -*-
'''''
Created on 2013-11-5
@author: Java
'''
import urllib2
import time
import socket
from sgmllib import SGMLParser
class WebUtil():
def __init__(self):
self.trytims = 3
pass
#读取Url 内容
# timeout=10
# socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket,不必再设置
# sleep_download_tine=10
# time.sleep(sleep_download_tine)
def readUrl(self,url):
try:
request = urllib2.Request(url,headers = {'User-Agent':'Magic Browser'})
webpage = urllib2.urlopen(url)
content = webpage.read()
return content
request.close()
except Exception,errmg:
print '读取失败:%s'%errmg
return None
if __name__=='__main__':
web = WebUtil()
content = web.readUrl('http://www.open-open.com')
print content
以上是脚本之家(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。 如果觉得脚本之家网站内容还不错,欢迎将脚本之家网站推荐给程序员好友。 (编辑:安卓应用网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
