UI自动化技术在高德的实践

一、背景
汽车导航作为ToB业务,需要满足不同汽车厂商在功能和风格上体现各自特色的需求。针对这种情况,传统的UI开发方式,基本上是一对一的特别定制。但是这种方式动辄就要500~600人日的工作量投入,成为业务发展的重要瓶颈。因此,能够对导航UI进行快速定制开发,成为汽车导航业务UI开发的必解课题。

高德地图技术团队希望打造一套快速精准的UI解决方案,通过自动化的方式生产UI代码,解放研发生产力的同时满足客户需求。

二、方案调研
为了避免重复造轮子,我们调研了行业上现有的UI自动化生成方案。主要分为两种:

Sketch插件方案:

该方案是基于Sketch开发插件,利用SketchAPI读取出图层信息转换DSL,主要代表作有imgcook、Dapollo等。

优势:从SketchAPI可以读取到非常详细的信息,足以生成高质量的界面代码。

劣势:要求效果图必须使用Sketch制作,并且对效果图会有一定的制图要求。

图片转代码方案:

该方案是通过经训练的深度神经网络,从截图或手稿直接生成UI代码,主要代表作有pix2code、Sketch2Code等。

优势:简单粗暴,通过截图或手绘就可以生成界面资源代码。

劣势:图层细节丢失,识别准确率欠佳、自适应不好。

调研总结:

  • Sketch插件方案更加适合工程化使用,图片转代码方案更加适合用于快速生产原型。
  • 目前行业上并没有能完全满足车载导航业务使用的UI自动化解决方案。

基于以上调研结果,我们决定基于Sketch插件方案,自研适合高德汽车业务需求的UI自动化方案。

三、技术方案与实践

结合Sketch插件方案的工作流以及高德内部的人员体制,我们将UI自动化解决方案在高德内部的使用过程拆分成4大环节,如下图所示:

制作环节

提供效果图编辑的能力:

  • 制作带有主题信息的控件库供设计师拖拽使用。
  • 对生成环节需要的信息进行输入(比如布局、控件、动画等)。

生成环节

提供资源的生成能力:

  • 生成xml、drawable、png、asvg等资源,同时打包成可执行程序,用于验证环节。
  • 对生成资源进行性能优化(如控件智能合并、png图片无损压缩,asvg生成)。

验证环节

提供多设备、多分辨率的还原度精准验证能力:

  • 效果图质量检测能力,提前发现效果图像素偏差,不符合设计规范等问题,降低后期成本。
  • 布局意图标注能力,通过简单的布局意图标注后,能实现把效果图拉伸成任意分辨率,解决设计师和开发人员沟通不流畅问题,降低沟通成本。
  • 对比验证能力,通过坐标对比、截图和效果图差分对比等方式,实现还原度的像素级验证,保障资源质量。

应用环节

客户端工程资源管理能力:

  • 通过一系列工具链,简化资源对接成本(如资源导入工具、重复资源清理工具等)。
  • 开发DHMI主题定制平台,提供给设计师或客户,实现可视化的快速修改客户端主题,自主验证的能力。满足客户不断增长的主题定制需求,实现千人千面。

四、技术难点

1、控件体系

Sketch的图层只有text、shape两种类型,分别可以对应上Android的TextView和ImageView,但是只有这两种控件无法满足业务需求。参考Android控件体系中基础控件+自定义控件的方式,我们对这两种类型图层进行组合+继承,得到两种新的控件类型。

基础控件:Android原生控件集合,如TextView、EditText、ProgressBar等,能满足界面搭建的基本需求。

扩展控件: Android自定义控件,又分为以下两类:

业务控件:用于解决Sketch静态设计无法满足的部分,如需要canvas paint的控件。设计师只需画出静态部分,让开发人员自由发挥,能满足界面设计上动态元素、复杂元素的需求;同时也能形成控件库积累。

主题控件:大多数情况作为底色色块,实现App换肤的能力,支持在DHMI主题平台上做主题样式编辑。控件之间也支持互相组合,如多个主题控件和基础控件可以组合成一个新的业务控件。

通过基础控件和扩展控件的搭配使用,在实际生产中证实,这套控件体系可以无限扩展,做到全覆盖,满足任意界面的搭建需求。

示例

基础控件:

业务控件:

2、布局体系

布局的选择

布局采用的是约束布局ConstraintLayout。

优势:

  • 扁平化,理论上一个层级可以完成复杂界面的设计,相比传统布局,性能会有很大的提升。
  • 简单易懂,贴近UED界面设计思路。
  • 通过正向推导与反向逆推,证明该布局可以替代Android平台目前所有的布局,支持搭建任意界面。

布局识别算法

布局识别算法是在设计稿上基于位置关系推算布局约束关系的一种算法。

布局识别的难点:

  • 主观性太强,容易出现误识别,没有绝对的规律。
  • 交互动态性如何识别。
  • 识别出的布局需要能支持多分辨率适配(横屏、竖屏、宽屏、方屏)。

3、主题定制

由于车载导航面向的对象是车厂客户,不同的客户对于应用的UI或者主题是有不同需求的,也就是说针对不同客户,不同渠道的版本,需要有不同的应用主题。随着项目的增多,如果没有一个灵活,易管理,低成本的主题定制方案,那么这将是一个噩梦的开始。

传统的实现方案

DHMI主题定制方案

具体实现如下

  • 设计师在界面设计时,通过主题控件库拖拽的方式搭建界面。
  • UI自动化生成环节生成主题相关资源集成到客户端。
  • DHMI平台部署主要界面的关键场景。
  • 设计师通过点哪改哪,实时预览的方式定制界面主题。
  • 设计师自主出包还原度验收,全程无需研发参与。

五、小结

能力建设完成后,设计师和开发人员效率都得到极大提升。对于设计师,整体成本降低50%以上,有助于设计规范更好的落地,省去标注和切图环节,精准的还原度验收,快速的主题定制。对于开发人员,UI开发成本降低80%以上,不用再操心如何开发UI,只需关注资源如何对接,完善的资源管理工具链,低成本的版本迭代,主题定制0成本。

原文地址:https://www.cnblogs.com/amap_tech/p/12101902.html

时间: 2024-10-06 23:06:27

UI自动化技术在高德的实践的相关文章

【Android测试】UI自动化代码优化之路(临时发布)

关于UI自动化的抱怨 听过不少人这样讲 "UI自动化非常不稳定,需求一改,界面一遍,全部都费了".我相信做过的人可能也会有同感.既然这个问题一直都是存在的,那么为什么没有人仔细分析原因呢? 我的老板georgeliao举了这样一个例子:每当需求变化的时候,开发没有跳起来,反而是测试跳了起来.然后不断的抱怨,界面元素全都改了,我的自动化的用例全部都要废弃掉了.那么我们是否想过,为什么开发可以从容不破的应对产品不断变化的需求?而我们却不能呢? 业内不少人也都放弃了UI自动化,觉得接口测试才

阿里CI/CD、DevOps、分层自动化技术

原文地址:http://www.infoq.com/cn/news/2017/01/alibaba-yunxiao-cicd-devops 在互联网时代,产品快速迭代的重要性不言而喻.不管是传统企业还是初创企业,在提升研发效能方面都有很强的需求,如果能使用一套对项目流程管理和专项自动化提效工具,来支持项目的快速迭代发布,实现24小时持续集成.持续交付整个流程,不但可以提高研发效率,还能增强产品的竞争力! 1月12日,阿里巴巴旗下一站式研发提效平台——云效联手 InfoQ 在阿里巴巴西溪园区举办了

UI自动化,你值得拥有

去年春节联欢晚会,为了那张“敬业福”,全家都卯足了劲儿“咻一咻”,连节目都顾不上看了.当时我就想,要是能自动化该多好,不停点击屏幕,屏幕不疼手还疼呢,何况还不好分心,生怕错过了“敬业福”.玩“咻一咻”,是靠不停点击按钮来检查是否得到“敬业福”,而工作中的UI自动化,大抵也和“咻一咻”差不多,都是通过不断地输入,验证系统的输出是否正确.然而做UI自动化,效果并不好,收益低就算了,执行速度还慢.比如打开一个浏览器,可能就要等3-5秒,如果等浏览器访问网址,返回网页内容,就需要更长的时间.要是遇到问题

《系统运维全面解析:技术、管理与实践》章节目录​

第1章 系统运维体系架构规划11.1 团队人员规划21.1.1 岗位职责划分21.1.2 岗位交接示例51.1.3 职业发展规划61.1.4 技能培训71.1.5 绩效考核示例71.2 体系架构相关事宜规划91.2.1 运维系统架构101.2.2 运维工作层次分类示例131.3 基础设施相关物资规划141.3.1 机房基础设施环境示例141.3.2 服务器产品示例171.3.3  存储设备示例181.3.4  操作系统示例181.3.5  常用软件示例191.4 运维流程标准规划201.4.1

UI自动化测试之Jenkins配置

前一段时间帮助团队搭建了UI自动化环境,这里将Jenkins环境的一些配置分享给大家. 背景: 团队下半年的目标之一是实现自动化测试,这里要吐槽一下,之前开发的测试平台了,最初的目的是用来做接口自动化测试和性能测试,但由于各种原因,接口自动化测试那部分功能整个废弃掉了,其中和易用性有很大关系,另外,也和我们公司的接口业务也有关.不过性能测试功能开发同学用的很欢快,还有接口的管理,目前是连接前端与后端的重要桥梁.目前又加入了环境管理(我公司主要用docker创建开发和测试环境),最近又加入了需求管

一款“燃到爆”的安卓UI自动化遍历测试工具

介绍:4399AT是一款基于APPIUM框架改造和集于算法遍历,图像识别技术的自动化测试工具 工具:适用于Android App UI自动化 电脑系统:win10 64位 工具好处:解决不同手机安装提示和APP操作提示框,兼容不容手机控件,adb不稳定,PO模式等问题,具体可关注微信公众号"测试一般不一般" 进行相关资料查看. 以下是关于该工具的使用说明,详情API可查看api文档 环境检查 点击该按钮,进行jdk-node-sdk-appium环境检查,当环境中缺少jdk.node或

自动驾驶中高精地图的大规模生产:视觉惯导技术在高德的应用

导读:导航.驾驶辅助.自动驾驶等技术的不断发展对地图的精细程度提出了更高的要求.常规的道路级地图对于智能交通系统存在很多不足,针对自动驾驶应用的需求,我们提出了利用视觉惯导技术制作高精地图的方法. 本文将首先介绍视觉和惯导的主流设备,视觉惯导融合的框架和关键技术,高德在基于视觉方式生成高精地图道路标志和地面标识要素的计算方案,最后总结了这项技术在高精地图精度上所面临的挑战和未来发展方向.   视觉惯导技术具有广泛前景 高精地图是自动驾驶的核心技术之一,精准的地图对无人车定位.导航与控制,以及安全

《自动化技术中的进给电气运动》及学科学习笔记二

<自动化技术中的进给电气运动> 阅读内容:第1.3节 知识要点: 本节主要以不可调节电气传动系统为例,介绍了系统在时间域的静态和动态特性以及电气系统对于简单信号的响应. 1.采用微分方程分析系统 对于只有一个输入和输出的线性系统都可表示成如下的微分方程形式.其中u为输入,v为输出,且对于实际系统有m≤n. 以不可调电气传动系统为例,列出系统的机械和电气微分方程. (1)JGes=JM+JL (2)uA-eM=RAiA+LAdiA/dt (3)eM=cMωM (4)MM=ML+MB=ML+JGe

The Thinking of AutomaticTest(有关UI自动化的思考)

考虑因素: 容易维护 简洁易懂 代码重用性好 系统的稳定性强 UI自动化: 数据的获取:装载的数据文件类型.数据的形式.数据的解析方法定义. 1.利用Junit单元测试组织用例,明确输入数据.预期结果 2.建一张输入数据参数表,不断循环调用 页面的元素:页面元素的分页.元素的获取方式 .元素的存取方式 1.当页面元素较少时,直接获取元素 2.当页面元素较多时,从配置文件中获取元素 定位页面元素的方法:定义一个统一的方法,比如对点击事件的封装: public static void unifyCl