Python的一些用于抓取的方法封装

下面是脚本之家 jb51.cc 通过网络收集整理的代码片段。

脚本之家小编现在分享给大家，也给大家做个参考。

#!/usr/bin/env python
#-*- coding:utf-8-*-

import urllib2
import re
import hashlib
import json

#--------------------------------------------------- 工具 start
def md5(str):
    '''
    计算MD5值
    '''
    m = hashlib.md5()   
    m.update(str)
    return m.hexdigest()

def search(regex,content,group = 1):
    '''
    搜索指定正则匹配的内容
    '''
    pattern = re.search(regex,re.DOTALL)
    if(pattern != None):
        return pattern.group(group)
    return ''

def findall(regex,content):
    '''
    查找指定正则匹配的所有内容
    '''
    return re.findall(regex,re.DOTALL)

def cleanHtmlTag(content):
    '''
    清理HTML标签
    '''
    return content or re.sub(r'<[^>]*?>','',content).strip()

def cleanedSearch(regex,group = 1):
    '''
    查找匹配的指定字符串并清除HTML标签
    '''
    return cleanHtmlTag(search(regex,group))

def httpGet(url,encoding='gbk'):
    '''
    发送Http GET请求，返回内容
    '''
    return urllib2.urlopen(url).read().decode(encoding,'ignore').encode('utf-8')

def toJson(dict):
    return json.dumps(dict,ensure_ascii=False,indent=4)

#--------------------------------------------------- 工具 end

以上是脚本之家(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错，欢迎将脚本之家网站推荐给程序员好友。

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!