淘宝APP商品搜索API提取

@TOC

淘宝APP商品搜索API提取

业务部门反馈PC和WAP版的协议有访问频次限制,经测试APP端基本可以满足,因此,今天我们开始提取相应API。

流程

  1. 抓包;

    经过分析得知,此处为搜索相应接口
  2. 分别分析请求头及参数,分别封装成类;

    请求头

@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class TaobaoHttpHeader {
    @Builder.Default
    private String utdid = RandomStringUtils.randomAlphabetic(24);
    @Builder.Default
    private String devid = RandomStringUtils.randomAlphabetic(44);
    @Builder.Default
    private String ttid = Constants.TTID;
    @Builder.Default
    private String pv = Constants.PV;
    @Builder.Default
    private String appkey = Constants.APP_KEY;
    @Builder.Default
    private String t = (new Date().getTime() / 1000) + "";
    @Builder.Default
    private String lat = LocationUtils.randomLonLat().get("lat");
    @Builder.Default
    private String lng = LocationUtils.randomLonLat().get("lng");
    @Builder.Default
    private String features = Constants.FEATURES;
    @Builder.Default
    private String appVer = Constants.APP_VER;

    @Builder.Default
    private String AppConfV = Constants.APP_CONF_V;

}

请求参数

@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class AppSearchRequest {

    private String utd_id;

    @Builder.Default
    private String n = "10";

    @Builder.Default
    private String page = "1";

    @Builder.Default
    private String q;

    ...
}

...

调用获取搜索结果


从程序运行结果可以看到,调用很成功,耗时仅3357毫秒,完全可以满足业务需求。

有兴趣的可以持续关注或添加VX交流,以后会深入研究并剖析更深层次淘宝相关技术。

原文地址:https://blog.51cto.com/14596373/2447027

时间: 2024-10-07 13:59:31

淘宝APP商品搜索API提取的相关文章

Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第一篇)

Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第一篇) 一.前言 大家好,今天我要来讲讲一个比较实用的爬虫工具,抓取淘宝的关键字商品信息,即是: 输入关键字,按照价格等排序,抓取列出的商品信息以及下载图片,并且支持导出为Excel. 如果如下: 看完下面的讲解,Python语言就掌握得差不多,中级水平了,而且这个封装后的工具还是很好用的. 感觉自己萌萌哒~~ 二.原理 大家知道什么叫爬虫,它也叫网络蜘蛛,机器人等,意思就是说自动的程序,可以去抓取使用网络协议传输的内容. 目前来讲爬虫主

百度-淘宝-360搜索引擎搜索API

百度(baidu) Api地址:http://suggestion.baidu.com/su?wd=设计&p=3&cb=window.bdsug.sug window.bdsug.sug({q:"设计",p:false,s:["设计之家","设计素材下载","设计签名","设计在线","设计师","设计英才网","设计软件",&qu

手把手教你写电商爬虫-第四课 淘宝网商品爬虫自动JS渲染

系列教程: 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取 老规矩,爬之前首先感谢淘宝公布出这么多有价值的数据,才让我们这些爬虫们有东西可以搜集啊,不过淘宝就不用我来安利了 广大剁手党相信睡觉的时候都能把网址打出来吧. 工欲善其事,必先利其器,先上工具: 1.神箭手云爬虫,2.Chrome浏览器 3.Chrome的插件XpathHelper 不知道是干嘛的同学请移步第一课

Java实现HMacMD5加密,用于淘宝客JS 组件 API 调用时生成 sign 的签名

原文:Java实现HMacMD5加密,用于淘宝客JS 组件 API 调用时生成 sign 的签名 源代码下载地址:http://www.zuidaima.com/share/1550463397874688.htm HMacMD5 加密纯 Java 实现,用于淘宝客 JS 组件 API 调用时生成 sign 的签名 另外:给大家贴一段淘宝客组件 API (JS API) 调用时,生成签名的核心代码. 另外:从事淘宝客开发的童鞋,碰到啥问题可以找我交流!!! String timestamp =

gui采集淘宝列表商品[后期有空更新采集各大电商平台]

import requestsfrom pymysql import *from tkinter import * window = Tk()window.title("淘宝列表商品采集")window.geometry('200x180') Label(window, text='关键字采集').pack()name = StringVar()Entry(window, textvariable=name).pack() Label(window, text='采集起始页').pac

Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容

1,引言 最近一直在看Scrapy 爬虫框架,并尝试使用Scrapy框架写一个可以实现网页信息采集的简单的小程序.尝试过程中遇到了很多小问题,希望大家多多指教. 本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容,文中自定义了一个DOWNLOADER_MIDDLEWARES,用来采集需要加载js的动态网页内容.看了很多介绍DOWNLOADER_MIDDLEWARES资料,总结来说就是使用简单,但会阻塞框架,所以性能方面不佳.一些资料中提到了自定义DOWNLOADER_HAND

python推荐淘宝物美价廉商品 2.0

改动: 新增功能 :可选择只看天猫或淘宝 代码模块化封装,参数配置或输入单独在一个py文件管理,主函数功能只留出参数传入在setting配置的py文件里. main.py代码: 1 # -*- coding: utf-8 -*- 2 import urllib 3 import urllib2 4 import re 5 import time 6 import random 7 import os 8 from math import log 9 from math import log10

python推荐淘宝物美价廉商品

完成的目标: 输入搜索的商品 以及 淘宝的已评价数目.店铺的商品描述(包括如实描述.服务态度.快递的5.0打分): 按要求,晒选出要求数量的结果,并按"物美价廉算法"排序后输出 思路: 1,利用淘宝搜索'https://s.taobao.com/search?'的价格filter 先进行价格筛选,得到结果的网站 2,用urllib打开结果网站,构造正则表达式匹配出各个商品结果的 价格.已评价数量.店铺的如实描述等信息: 并把结果保存至二维数组里. 3,利用商品及店铺信息,用"

(转)淘淘商城系列——商品搜索功能测试

http://blog.csdn.net/yerenyuan_pku/article/details/72941506 到这里,我相信大家也是不容易,我自己也算是很不容易写到这里,希望自己能一直写下去.之前我们就差不多把商品搜索功能实现了,本文我们来一起测试下该搜索功能. 首先我们要保证zookeeper.redis.image.solr服务都开启.接着我们把taotao-common工程重新打包到本地maven仓库,由于taotao-search-interface工程新添加了一个接口,所以我