python定向爬取淘宝商品价格

2018-02-27 19:48:46
python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下



import requests
import re

def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果发送了一个失败请求(非200响应),#我们可以通过 Response.raise_for_status() 来抛出异常:
r.encoding= r.apparent_encoding
return r.text
except:
return ""

def parsePage(ilt,html):
try:
plt = re.findall(r'"view_price":"[d.]*?"',html) #正则表达式来匹配 "view_price":"d."类型的字符串
tlt = re.findall(r'"raw_title":".*?"',html)
#正则表达式来匹配 "raw_title":".*?"类型的字符串,.*?是任意字符的最小匹配
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price,title])
except:
print ("")


def PrintGoodsList(ilt):
tplt = "{:4}t{:8}t{:16}"
print (tplt.format("序号","价格","商品名称"))
count = 0
for g in ilt:
count = count + 1
print (tplt.format(count,g[0],g[1]))
def main():
goods = '书包'
depth = 2
start_url = 'https://s.taobao.com/search?q=' + goods
infoList=[]
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html= getHTMLText(url)
parsePage(infoList,html)
except:
continue

PrintGoodsList(infoList)

main()



以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。



您可能感兴趣的文章:python爬虫爬取淘宝商品信息(selenum+phontomjs)python正则表达式爬取猫眼电影top100Python使用Selenium+BeautifulSoup爬取淘宝搜索页python3爬取各类天气信息使用Python爬取最好大学网大学排名python爬虫爬取淘宝商品信息python爬取淘宝商品详情页数据python3爬取淘宝信息代码分析python爬虫爬取某站上海租房图片python爬取拉勾网职位数据的方法

source:
http://www.jb51.net/article/135544.htm


-------------------------

[1672840]python定向爬取淘宝商品价格

2018-02-27 19:48:46
python爬虫学习之定向爬取淘宝商品价格,供大家参考,具体内容如下[pre]import requestsimport redef getHTMLText(url): try: r = requests.get(url, timeout=30) r.rai...    阅读全文

-------------------------

[23967]python抓取文件夹的所有文件

2018-02-27 19:46:42
本文实例为大家分享了python抓取文件夹的所有文件的具体代码,供大家参考,具体内容如下[pre]#!/user/bin/python # -*- coding:utf8 -*- import Basic import os ###########...    阅读全文

-------------------------

[6115]php限制上传文件类型并保存上传文件的方法

2018-03-03 19:27:49
本文实例讲述了php限制上传文件类型并保存上传文件的方法。分享给大家供大家参考。具体如下:下面的代码演示了php中如何获取用户上传的文件,并限制文件类型的一般图片文件,最后保存到服务器...    阅读全文

-------------------------

[4407]PHP实现把数字ID转字母ID

2018-02-20 23:52:16
ID是网站中经常出现的,它一般是数字,但是我们发现现在的网站很多ID都是字母了,比如YouTube的视频播放页它的URL类似/watch?v=yzNjIBEdyww。 下面是一个生成字母ID的方法。使用示例:复制代码...    阅读全文

-------------------------

[4297]java如何实现判断文件的真实类型

2018-03-03 17:52:24
在文件传输过程中,为了安全验证,对于手工改动文件后缀名产生的伪造文件进行判断过滤。比如,我们需要的是excel文件,如果不加验证内容,将一些可执行的文件通过更改后缀传输给你,就是一个很...    阅读全文

-------------------------

[3607]PHP中TP5上传文件的实例详解

2018-03-04 07:08:31
php 文件上传效果图:实现代码:applicationindexcontrollerIndex.php[pre]<?php...    阅读全文

-------------------------

[3329]生猪价格近期上涨气候变化是主导因素

2018-03-15 04:02:17
  本报记者 桂小笋  在众多分析人士看来,今年开年以来的猪肉价格走势受到了太多外因的影响。一方面,行业发展依旧呈现供大于求的现状,供需关系决定了生猪价格持续走低乃是大势所趋;另一方...    阅读全文

-------------------------

[3283]浅谈关于AndroidWebView上传文件的解决方案

2018-03-03 19:27:11
我们在开发需求的时候,难免会接入一下第三方的H5页面,有些H5页面是具有上传照片的功能,Android 中的 WebView是不能直接打开文件选择弹框的接下来我讲简单提供一下解决方案,先说一下思路...    阅读全文

-------------------------

[3119]php判断文件上传类型及过滤不安全数据的方法

2018-01-15 05:02:20
本文实例讲述了php判断文件上传类型及过滤不安全数据的方法。分享给大家供大家参考。具体如下:禁止上传除图片文件以外的文件,提示,不要获取文件扩展名来判断类型,这样是最不安全的,我们用$_FIl...    阅读全文

-------------------------

[2350]JavaScript判断文件上传类型的方法

2018-01-27 17:26:58
本文实例展示了JavaScript判断文件上传类型的方法,是一个非常常用的技巧。具体实现方法如下:文件上传时用到一个功能,使用html元素的input标签实现:[pre]<input id=imageFile n...    阅读全文

-------------------------

[1914]JSFormData上传文件的设置方法

2018-03-03 19:27:38
使用FormData上传文件时,总是获取不到req.file对象。发现是没有配置对FormData导致。这里我是在vue中使用axios发送的请求,配置代码如下。重点地方给出注释[pre]<form id=uploadfo...    阅读全文

-------------------------

[1160]JavaScript实现把数字转换成中文

2018-02-22 08:11:31
[pre]var _change = {ary0:[零, 一, 二, 三, 四, 五, 六, 七, 八, 九],ary1:[, 十, 百, 千],ary2:[, 万, 亿, 兆],init:function (name) {this.nam...    阅读全文

-------------------------

[1134]微信小程序城市定位的实现实例(获取当前所在国家城市信息)

2018-02-22 10:35:18
前言在微信小程序中,我们可以通过调用wx.getLocation()获取到设备当前的地理位置信息,这个信息是当前位置的经纬度。如果我们想获取当前位置是处于哪个国家,哪个城市等信息,该如何实现呢?...    阅读全文

-------------------------

[725]委内瑞拉“石油币”预售首日获7.35亿美元订单

2018-02-21 16:39:02
  北京时间21日路透社称,委内瑞拉总统马杜罗当地时间周二表示,该国计划推出的官方加密货币“石油币”预售首日获得7.35亿美元的认购订单。  但马杜罗没有披露初始投资者的任何细节,目前也没...    阅读全文

-------------------------

[581]在国内遇到点麻烦,杜特尔特:我们可以试试香港模式

2018-02-04 19:27:07
  【环球网报道 记者 查希】菲律宾总统将希望的目光转向了“中国模式”。《菲律宾每日问询者报》2月3日报道称,杜特尔特对学习中国香港模式持开放态度。  另外,《菲律宾每日问询...    阅读全文

-------------------------

[418]JS实现超过长度限制后自动跳转下一款文本框的方法

2017-10-31 02:17:20
本文实例讲述了JS实现超过长度限制后自动跳转下一款文本框的方法。分享给大家供大家参考。具体实现方法如下:复制代码 代码如下:<!DOCTYPE html PUBLIC -//W3C//DTD XHTML 1.0 Transitional...    阅读全文

-------------------------

[400]PHP获取当前所在目录位置的方法

2017-11-28 04:01:36
本文实例讲述了PHP获取当前所在目录位置的方法。分享给大家供大家参考。具体分析如下:如果要获取脚本文件的目录,要应用函数getcwd()来实现。函数声明如下:string getcwd ( void ) ;...    阅读全文



Copyright 2002-2017, 版权所有 mwjx.com