二、透过数据看成长,安兔兔V4.0测试改动
增加UE体验类测试
MultiTask:多任务多线程效能测试
多线程多任务是安卓的优势
Android系统因为后台的特性,在多任务运行时会占用大量的系统资源。用户开启多个APP之后就会出现卡顿的情况,此时用户的使用感受就会下降。所以我们认为多任务处理能力是一个非常重要的指标。多核心多任务的处理效率将会直接影响到整个系统的流畅性。
所以我们推出了多线程运行的数据测试,通过随机6个线程的任务发起,来测算执行的效率。
Dalvik:虚拟机优化测试
Android系统的原生代码名为NDK,以往我们为了追求系统的极限,都只针对NDK代码进行测试。这样虽然能够反映出系统的全部性能,但是大部分的APP都是在Java虚拟机(Dalvik)下运行。
安卓虚拟机
简单一点来说,极限的性能并不代表实际的运行性能,因为各个手机内置的UI、ROM的不同使得运算的效率也不尽相同。很多用户发现,有时候即便硬件完全相同的两部手机,因为ROM的优化程度不一样,最终发挥出来的性能也不一样。如果你身边有一个刚好会刷机的朋友,它会告诉你刷XX大神的包会流畅很多很多。
ROM的优化程度很重要,所以才会有人热衷于刷机
所以单纯的堆砌硬件指标并不能够说明机器的流畅,我们希望能够给用户提供一种可以参考流畅程度的标准,所以加入了虚拟机的测试。
因为这两项是属于新的测试项目,增加进入原有的测试体系中,会对整个评分产生一定的影响,所以我们需要给所有测试项目重新分配得分比重。
通过统计上述6款各个阵营的手机产品,在UE这一项中的得分,可以看到新增的多任务测试与安卓虚拟机测试大约占到了总分的25%~30%。我们认为用户体验将会是未来测试的主要发展方向,所以未来会在更多加强这方面的量化。
1、降低CPU极限运算在总分中的比重
前面我们提到了用户体验,用户体验部分也是要依赖于CPU的多线程计算能力,所以我们认为关于CPU处理能力的峰值分数占比需要降下来。你也可以理解成我们把原来CPU的一部分比重分摊到UE体验测试里去了。
CPU的运行峰值得分占比下降
在新的V4.0版本中,参与测试的机器的分数占比在17.5%-23.9%之间,平均值约为20%。相比之前的超过40%的权重,有了大幅度的下调。其实我们设定的是25%,这其中因为机器的性能偏重达到或者超过我们设定值的。
另外AnTuTu V4.0将提供针对8核CPU的测试支持,力求将多核的性能客观的展示出来。
2、降低RAM在跑分中的比重约5%
我们认为RAM的跑分和前面的用户体验有重叠之处,大容量高速度的内存可以让CPU 的数据交换速度得到很大的提升,在内部的宽带分配与资源调配方面会有很好的效果。因此RAM的性能优势也能够提升用户的使用感受,所以我们将单纯的RAM跑分下调了约5%左右。同样也给UE分摊的一部分的比例。
RAM跑分占比微调
以往的测试比较笼统的只用了RAM性能来说明,现在我们将RAM性能将分拆为两个单项,包括了RAM运算、RAM速度。
RAM运算,是以对数据进行计算和分析作为指标。RAM速度,是以存储一次数据的时间作为指标。
RAM是(random access memory)随机存储器,手机里的RAM和PC上的内存条原理相同,大家都知道内存条有运行的频率与内存的带宽以及容量。CPU会将大量计算好的数据寄存到RAM之上,我们会加入固定的测试数据,用来检测RAM的运行速率,也就是“RAM运算”,你也可以理解成PC内存的频率。
而“RAM速度”的意思就比较简单了,RAM存储一次数据的时间,考量这个参数,会涉及到存储颗粒的体质,内存的带宽。
另外我们还对RAM的数据计算方式做了一些修正,现有的产品不会再出现某些机型RAM测试成绩过于夸张的情况。当然,如果作弊的话,RAM跑多少都不奇怪。
3、3D图形测试,增添新的测试场景
新版的Antutu V4.0将会提供全新的3D测试场景,而原有的2D测试方式不作改变。所以在新的测试环境中,2D绘图的得分比例都在正常的波动范围类。
挥一挥剑,说再见
随着移动设备的进步,OpenGL 1.1的测试标准也逐渐失去了参考价值,在V4.0版本中,安兔兔放弃原有的OpenGL1.1测试场景,那个大家很熟悉的挥剑的骑士军团就此别过。
4.0新测试场景改动比较大
3D绘图测试因为更改了部分测试场景,并且去掉了OpenGL 1.1测试场景,所以最终的测试机成绩会有一定的浮动。不过这个浮动因不同的处理器最终的正负值并不相同。
华为海思K3V2的得分在V4.0中有了大幅度的增加,而这其中最大的增加部分就是图形渲染。对于GPU性能部分,我们设计的比例为30%。
目前OpenGL已经出现了4.3的规范,不过手机方面倒是进展比较慢,主要是大部分手机在升级系统的速度上跟不上谷歌的推新系统的速度。所以为了最大限度的衡量各种手机,我们的测试基准还在OpenGL ES 2.0之上。
另外如果你的手机性能够强,并且是Android4.3系统,能够支持OpenGL ES 3.0,那么你可以尝试一下独立的GPU测试软件AnTuTu 3DRating Benchmark V4.0,它会给你一个更加准确的GPU性能分析。关于3DRating Benchmark V4.0我们会有专门的介绍,请多关注安兔兔的消息。
4、存储I/O整合、优化算法
之前我们进行了SD卡的读写速度的测试,现在将其统称为存储I/O,并且将RAM参与部分也加入了最终的成绩。并且增大了存储I/O在总分中的占比。
增加得分比重,一方面是考虑到用户在使用设备的过程中,存储介质的速度对用户的影响比较大,所以按照体验为本的原则加大了存储I/O的得分比重。
另一方面就是大幅削减后的RAM评分也有部分分摊到了I/O运算里。可以看到原本的SD读写部分得分比重都在2%左右,现在这个部分增大到了5%左右。
我们优化了算法,可以使得SD卡、RAM的测试结果更加精确