Abi Research AP 소비전력/성능 자료 분석.

(http://www.abiresearch.com/press/intel-apps-processor-outperforms-nvidia-qualcomm-s)
Abi Research 출처의 AP 비교분석 자료입니다.
이걸 근거로 인텔 아톰의 전력대성능비가 높다는 기사가 올라왔지요.
얼마나 맞는지 확인해보겠습니다.

일단 결과부터 말하자면 Pi, 1080p 레코드를 제외한 테스트는 Antutu로 보입니다.
Antutu의 CPU 테스트 항목은 정수연산, 부동소수점연산이 있는데 저 표에 나온건 정수연산으로 보입니다.
왜 그런지는 이후 보여드릴 자료들이 증명할겁니다.

아래의 성능 분석은 저 표의 값과 실제 테스트 값이 일치하는지를 확인하는겁니다.
가능하면 동일 제품의 테스트값을 찾아서 비교하겠으나, 불가피한 경우 동일 AP를 사용하는 다른 제품의 테스트값과 비교했습니다.


1. 인텔 Z2580 (클로버트레일+)

	Abi Research	Lenovo K900
RAM	8703	8620
CPU (Integer)	5547	5494
2D graphics	1579	1157
3D graphics	6664	5723

 

(http://www.phonearena.com/news/Intel-Atom-powered-Lenovo-IdeaPhone-K900-benchmarks-are-astronomical_id38597)

(http://gsm.tech-maniak.com/7492/geek-zte-has-achieved-an-impressive-score-in-antutu/)
왼쪽은 K900, 오른쪽은 ZTE Geek
둘 다 Z2580 탑재 제품입니다.
다른 제품도 마찬가지지만 거의 대부분의 점수가 안투투 점수와 일치합니다.
Abi Research에서 사용한 벤치마크가 안투투라는 해석이 충분히 가능하지요.

Abi Research의 결과가 K900 보다 2D, 3D 쪽이 높게 나오는데, K900의 안투투 결과들을 보면 GPU 점수가 오락가락합니다.
ZTE Geek과 비교하면 2D 점수는 비슷하지만, 3D는 차이가 큽니다.
실제 최대 성능보다 낮게 나온 것으로 봐야겠지요.

- 3D 점수가 낮게 나옴.


2. 엑시노스 5250

	Abi Research	Nexus 10
RAM	2243	2340
CPU (Integer)	3104	3127
2D graphics	1478	1470
3D graphics	3819	3842

(http://www.antutu.com/view.shtml?id=4255)
넥서스10입니다.
모든 값이 오차범위 내에서 일치합니다.

- 일치.


3. 엑시노스5 옥타 (엑시노스 5410)

	Abi Research	Galaxy S4 (Exynos5 Octa)
RAM	3838	5693
CPU (Integer)	5277	5276
2D graphics	1624	1630
3D graphics	8653	8577

(http://www.fonearena.com/blog/68130/samsung-galaxy-s4-review.html)
3만점이 넘는 결과도 있는데 이건 테스트 조건이 불명이라 제외했습니다.
램 결과 매우 낮게 나왔습니다.
그 외는 오차범위 내에서 일치합니다.
CPU나 GPU와 달리 쓰로틀링같은 성능저하 요소가 없는 램 테스트에서 이 정도로 결과 차이가 나는건 뭔가 미심쩍네요.

- 램 점수가 낮게 나옴.


4. 스냅드래곤 600 (APQ8064T)

	Abi Research	Galaxy S4 (Snapdragon 600)
RAM	4235	4220
CPU (Integer)	5378	5371
2D graphics	1549	1593
3D graphics	6628	6855

(http://forum.xda-developers.com/showthread.php?t=2244181)
3D 점수가 약간 낮은데 큰 차이는 아닙니다.

- 3D 점수가 낮음.


5. 테그라3

	Abi Research	Nexus 7
RAM	1529	2186
CPU (Integer)	2886	4216
2D graphics	298	771
3D graphics	1188	3000

 

(http://www.kpug.kr/index.php?page=1&document_srl=1466803&mid=reviews)
(http://www.pocketables.com/2012/08/review-google-asus-nexus-7.html)
같은 제품인지 의심이 들만큼 차이가 심합니다.
버전을 보면 안투투 v3.0.2 지요. (왼쪽)
그래서 찾아봤더니 안투투 v2.9 에서 GPU 점수는 비슷합니다. (오른쪽)
하지만 여전히 램, CPU 점수는 차이가 있습니다.
이 정도의 전체적인 차이면 제대로 테스트를 한건지 의심이 안 생길 수가 없습니다.

- 모든 부문에서 낮게 나옴.


- 분석 및 의문점.

1. 클로버트레일+
테스트 최대값과 비교해서 GPU 점수에서 약간의 차이가 발생하나 이는 테스트 시의 오차범위로 생각할 수 있는 정도입니다.
몇 개의 테스트 결과를 보니 3D 점수가 5500~9000 사이의 큰 분포를 갖고 있기때문입니다.

2. 엑시노스 5410
램 점수가 크게 낮습니다.

3. 스냅드래곤600
3D 점수가 약간 낮은데 이 역시 오차범위로 생각할 수 있는 수준입니다.

4. 테그라3
총체적 난국입니다.
모든 영역에서 점수 차이가 심하고, 특히 GPU 부분은 그 차이가 너무 심합니다.
최신 버전의 테스트 결과가 아니기때문이라고 해석해도 변명이 되지 않을 정도입니다.

5. 소비전력?
보면 알 수 있듯이 전력 비교의 기준으로 나온 것이 전력량(W)가 아니라 전류(A)입니다.
각 부분 레일의 전압값이 모두 같은가요?
그렇지 않다면 무의미한 비교가 될 겁니다.
게다가 어떤 방식으로 전류를 측정한지가 밝혀지지 않는한 무조건적으로 신뢰할 수 없습니다.
(파워 레귤레이터에 들어가는 전류 측정한 것 같은데 인텔이 이런 류의 트릭에 능하기때문에 무조건적으로 신뢰할 수 없다는 의견도 있음.)

6. 왜 정수연산 점수만 표기?
안투투 결과상으로 보면 알 수 있듯이 클로버트레일+의 부동소수점 연산 점수는 그렇게 높지 않습니다.
Cortex-A15 듀얼인 엑시노스 5250, Cortex-A9 쿼드인 테그라3 보다 나은 수준이고,
쿼드코어인 엑시노스5410이나 스냅드래곤600 에는 크게 떨어집니다.
그 때문에 정수점수와 부동소수점점수의 합인 총 CPU 점수에서는 클로버트레일+가 밀립니다.
아톰의 유리한 점만 부각되었다는 의혹을 피할 수가 없습니다.
물론 이런 의혹에 대해, CPU 성능을 대표하는 것이 정수연산이라는 반박도 가능합니다.
어느 쪽이 옳고 그른게 아니라 시각차이겠지만요.

7. 안투투가 AP 성능 평가에 절대적인 지표가 될만한가?
아니라고 봅니다.
그 한 예가 램점수입니다.
표에서 Z2580이 8703점, 엑시노스5410이 3838점.
엑시노스5410의 다른 자료 중에서 좋은 값을 빌려와도 5693점입니다.
Z2580의 최대 지원 메모리 대역폭이 8.5GB/s (32bit 듀얼채널 LPDDR2-1066)
엑시노스5410의 최대 지원 메모리 대역폭이 12.8GB/s (32bit 듀얼채널 LPDDR3-1600) 입니다.
엑시노스쪽이 50% 높은데, 점수는 35% 낮습니다.
그럼 이 결과가 실제 성능이 그렇기 때문이냐? 그렇지 않습니다.

 

(http://browser.primatelabs.com/geekbench2/1970892)
(http://browser.primatelabs.com/geekbench2/2052730)

Geekbench를 보면 램 관련 점수에서 엑시노스5410이 60~80% 높게 나옵니다.
정수연산이나 부동소수점 연산도 앞도적으로 높네요.
안투투 결과로 추측되는 위의 표의 내용과 상반되는 결과지요.

결국 저 자료(표)의 내용이 실제와 일치하느냐.라는 문제를 논하기 이전에,
테스트에 사용된 것으로 추측되는 안투투가 AP의 성능을 평가하는 절대적인 기준이 될 수 있는가.라는 문제를 먼저 논해야합니다.
그리고 이에 대해서는 이미 중론이 나와있지요.
'참고는 되지만 각 항목의 성능을 비교하는 절대적인 기준은 될 수 없다.' 라고요.

8. 저 자료가 유효한가?
개인적으로 아니라고 봅니다.
저 자료의 가치는 각 제품의 성능, 소비전력을 보여주고 나아가 전력대성능비를 보여주는데 의미가 있다고 볼 수 있는데,
성능은 제대로 비교되지 않았으며, 소비전력은 전류만 표기하는 식의 불친절한 구성을 보여주고 있습니다.
저 표만으로 제대로 된 의미있는 자료를 도출해내는건 불가능에 가깝습니다.
물론 저건 Abi Research 측에서 일부만 공개한 것이고 전체 자료는 다르겠지요.
(아마도 돈받고 파는 자료같은데...)
그렇기때문에 Abi Research 자체의 신뢰도를 언급하는건 무리이지만,
(Abi Research 링크에서 진짜 전류량만으로 파워/성능 언급하는거보면 전류량만으로 소비전력을 논할 수 있는 테스트 셋팅이 갖춰진게 아닌가 하는 생각도 듭니다.)
제3자의 입장에서 저 표만으로 아톰이 뛰어나니 Cortex-A15가 뛰어나니 논쟁하는게 큰 의미를 갖는다고 볼 수 없습니다.


- 2013.06.18. 내용추가.

- 2013.07.27.
(http://www.eetimes.com/author.asp?section_id=36&doc_id=1318894)
안투투 버전이 v3.3.2 로 업데이트되면서 아톰 기반 제품의 점수가 하락했습니다.
기존 버전에서 RAM 테스트 등에서 일부 테스트를 건너뛰었기때문에 아톰의 점수(특히 램)가 높게 나왔다고 합니다.

이전 버전과 비교해서,
총점 -20%
RAM 점수 -50%
CPU 점수 -20%

(갤럭시S4와 비교. 1.0 이 K900)

	ATOM Z2580	ATOM Z2580 (v3.3.2)	Exynos5 Octa
RAM	8703	4352 (estimated)	5693
CPU (Integer)	5547	4438 (estimated)	5276
2D graphic	1579		1630
3D graphic	6664		8577

점수 감소치를 반영하면 산술적으로 위의 표처럼 나오겠지요.
램 점수, CPU 점수 모두 역전당했습니다.
램 점수를 보면 엑시노스5 옥타가 30% 정도 높은데, 실제 최대지원 메모리대역폭은 엑시노스5 옥타가 50% 정도 높습니다.