python提取页面内的url列表

下面是脚本之家 jb51.cc 通过网络收集整理的代码片段。

脚本之家小编现在分享给大家，也给大家做个参考。

from bs4 import BeautifulSoup
import time,re,urllib2
 
t=time.time()
 
websiteurls={}
 
def scanpage(url):
     
    websiteurl=url
    t=time.time()
    n=0
    html=urllib2.urlopen(websiteurl).read()
    soup=BeautifulSoup(html)
    pageurls=[]
    Upageurls={}
    pageurls=soup.find_all("a",href=True)
 
    for links in pageurls:
        if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
            Upageurls[links.get("href")]=0
    for links in Upageurls.keys():
        try:
            urllib2.urlopen(links).getcode()
        except:
            print "connect failed"
        else:
            t2=time.time()
            Upageurls[links]=urllib2.urlopen(links).getcode()
            print n,print links,print Upageurls[links]
            t1=time.time()
            print t1-t2
        n+=1
    print ("total is "+repr(n)+" links")
    print time.time()-t
 
 
scanpage("http://news.163.com/")

以上是脚本之家(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错，欢迎将脚本之家网站推荐给程序员好友。

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!