本文目录一览：
python 可以在蚂蜂窝上爬数据吗
当然可以。
爬虫代码分析
我们首先需要爬取得页面为
我们可以看到url为曼谷p=1t=catekt=1。主要参数有q ,p ,t,其中q为城市名，p为页码，t为分类，cate为美食，kt为不影响参数。
需要获取该页面，detail为域名以后的参数，这个函数可以用于获得域名主页下的网页
#获取下级页面
def getDetailPage(detailURL):
try:
url = “”+detailURL”
request = urllib2.Request(url)
response = urllib2.urlopen(request)
#利用urllib2的Request方法返回一个request对象并用urlopen打开
page = response.read()
#用read()方法读取页面内容，Input: print page Output: 页面html
pageCode = re.sub(r’br[ ]?/?’, ‘\n’, page)
#去掉html里的回车空行
return pageCode
except urllib2.URLError, e:
if hasattr(e, “reason”):
print e.reason
return None12345678910111213141516
获得每家美食店铺的链接,首先进行元素检查查看链接位于的位置
#获得美食单页店铺链接
def getFoodHref(self,pageid):
url = “/group/s.php?q=”+self.city+”p=” +str(pageid)+ “t=catekt=1”
page = getDetailPage(url) #调用getDetailPage获得页面
soup = BeautifulSoup(page,’html.parser’) #用BeautifulSoup进行页面解析
FoodHref = []
FoodLists = soup.find(name=”div”,attrs={‘data-category’:’poi’}).ul
FoodHrefList = FoodLists.find_all(“h3″) #找出div class=”_j_search_section” data-category=”poi”标签下所有的h3标签的内容，结果为店铺列表的html
for FoodHrefs in FoodHrefList:
FoodWebsite = FoodHrefs.a[‘href’] #对列表循环找出a标签href属性的值，即为店铺的url
FoodHrefShort = str(FoodWebsite).replace(”,”) #去掉url前的域名，以便等会调用getDetaiL函数，传入它获得店铺页面
FoodHref.append(FoodHrefShort) return FoodHref123456789101112131415161718
接下来再次调用getDetailPage(),传入FoodHref,即可可以获得店铺的页面，通过BeautifulSoup进行信息获取了。但我在抓取的时候遇到一个问题。
这是一个信息齐全的店铺，但有的店铺没有网址，没有交通信息该怎么办。比如这个
经过元素检查发现标签也是一样的，无法通过标签特有的属性或者class的值进行定向抓取。用div class=”bd”的子节点兄弟节点查也不行。后来想出一个方法。
先写一个匹配函数hasAttr,list参数为一个中文的完整信息名列表，在getShopInfo方法里通过循环列表内容与抓取的div class=”bd”标签内容匹配，如果返回True则表示存在该信息项，否则继续匹配下一项。比如上面的图，先匹配简介，匹配失败，继续匹配英文名字，也失败，知道匹配到地址，成功，保存地址下一个标签的内容。直到获得所有信息。
#判断是否存在信息列表
def hasAttr(self,list):
soup = BeautifulSoup(page, ‘html.parser’)
col = soup.find(“div”, class_=”col-main”).find(“div”, class_=”bd”)
str_col = str(col) if list in str_col: return True
else: return False
#抓取店铺信息
def getShopInfo(self,page):
shopInfoList = [‘brief’,’localName’,’location’, ‘telephone’, ‘website’, ‘ticket’, ‘openTime’,’shopName’,’shopScore’]
infoItem = [‘简介’, ‘英文名称’, ‘地址’, ‘电话’, ‘网址’, ‘门票’, ‘开放时间’,’名字’,’星评’]
soup = BeautifulSoup(page, ‘html.parser’)
shopName = soup.find(“div”, class_=”wrapper”).h1.string
shopScore = soup.find(“div”, class_=”col-main”).span.em.string for i in range(0,6): #信息项循环查找
if self.hasAttr(page, infoItem[i]):
pattern_shopinfo = re.compile( ‘div class=”col-main.*?div class=”bd”.*?’+ infoItem[i] +’/h3.*?(.*?)/p’, re.S)
shopInfos = re.findall(pattern_shopinfo, page) #存在该项则用正则取出其标签内容
for shopInfo in shopInfos:
shopInfoList[i] = shopInfo else: #继续查找下一项
continue
shopInfoList[7] = shopName
shopInfoList[8] = shopScore return shopInfoList1234567891011121314151617181920212223242526272829303132333435
最后将数据加入字典，如果一键对多值，比如dict = {a:[]},调用set default(键名,[]).append(列表值)
dict.setdefault(‘comment’,[]).appnd(comment)
然后json.dumps(dict,indent=1).decode(“unicode_escape”)。indent参数是为了以json树形式表现出数据，如果内容中有中文要用decode(“unicode_escape”),否则结果为”\u”的unicode编码
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/196178.html
微信扫一扫 
支付宝扫一扫 