小爬虫
最后更新于：2022-04-02 00:35:20
一个从百度贴吧，爬取图片的例子。
### 包
urllib,urllib2，re
### 函数
page=urllib.urlopen('http://...') 返回一个网页对象
html=page.read() 读取网页的html源码
urllib.urlretrieve() 下载资源到本地
### 代码
~~~
#coding:utf8
import re
import urllib
def getHtml(url):
page=urllib.urlopen(url)
html=page.read()
return html
def getImgUrl(html):
reg=r'src="(.*?\.jpg)"'#?非贪婪匹配，()分组只返回分组结果，外单引号内双引号
imgre=re.compile(reg)#编译正则表达式，加快速度
imglist=re.findall(imgre,html)
return imglist
url="http://tieba.baidu.com/p/3162606526"#贴吧地址
html=getHtml(url)
ImgList=getImgUrl(html)
ImgList= ImgList[1:10]#取前10个下载
print ImgList
x=0
for imgurl in ImgList:
urllib.urlretrieve(imgurl,'%s.jpg' %x)
x+=1
~~~
';