(http://www.abiresearch.com/press/intel-apps-processor-outperforms-nvidia-qualcomm-s)
Abi Research 출처의 AP 비교분석 자료입니다.
이걸 근거로 인텔 아톰의 전력대성능비가 높다는 기사가 올라왔지요.
얼마나 맞는지 확인해보겠습니다.

일단 결과부터 말하자면 Pi, 1080p 레코드를 제외한 테스트는 Antutu로 보입니다.
Antutu의 CPU 테스트 항목은 정수연산, 부동소수점연산이 있는데 저 표에 나온건 정수연산으로 보입니다.
왜 그런지는 이후 보여드릴 자료들이 증명할겁니다.

아래의 성능 분석은 저 표의 값과 실제 테스트 값이 일치하는지를 확인하는겁니다.
가능하면 동일 제품의 테스트값을 찾아서 비교하겠으나, 불가피한 경우 동일 AP를 사용하는 다른 제품의 테스트값과 비교했습니다.


1. 인텔 Z2580 (클로버트레일+)

   Abi Research  Lenovo K900
 RAM  8703  8620
 CPU (Integer)  5547   5494
 2D graphics  1579  1157
 3D graphics  6664  5723

 

(
http://www.phonearena.com/news/Intel-Atom-powered-Lenovo-IdeaPhone-K900-benchmarks-are-astronomical_id38597)

(http://gsm.tech-maniak.com/7492/geek-zte-has-achieved-an-impressive-score-in-antutu/)
왼쪽은 K900, 오른쪽은 ZTE Geek
둘 다 Z2580 탑재 제품입니다.
다른 제품도 마찬가지지만 거의 대부분의 점수가 안투투 점수와 일치합니다.
Abi Research에서 사용한 벤치마크가 안투투라는 해석이 충분히 가능하지요.

Abi Research의 결과가 K900 보다 2D, 3D 쪽이 높게 나오는데, K900의 안투투 결과들을 보면 GPU 점수가 오락가락합니다.
ZTE Geek과 비교하면 2D 점수는 비슷하지만, 3D는 차이가 큽니다.
실제 최대 성능보다 낮게 나온 것으로 봐야겠지요.

- 3D 점수가 낮게 나옴.


2. 엑시노스 5250

   Abi Research  Nexus 10
 RAM  2243  2340
 CPU (Integer)  3104  3127
 2D graphics  1478  1470
 3D graphics  3819  3842


(
http://www.antutu.com/view.shtml?id=4255)
넥서스10입니다.
모든 값이 오차범위 내에서 일치합니다.

- 일치.


3. 엑시노스5 옥타 (엑시노스 5410)

   Abi Research  Galaxy S4 (Exynos5 Octa)
 RAM  3838  5693
 CPU (Integer)  5277  5276
 2D graphics  1624  1630
 3D graphics  8653  8577


(http://www.fonearena.com/blog/68130/samsung-galaxy-s4-review.html)
3만점이 넘는 결과도 있는데 이건 테스트 조건이 불명이라 제외했습니다.
램 결과 매우 낮게 나왔습니다.
그 외는 오차범위 내에서 일치합니다.
CPU나 GPU와 달리 쓰로틀링같은 성능저하 요소가 없는 램 테스트에서 이 정도로 결과 차이가 나는건 뭔가 미심쩍네요.

- 램 점수가 낮게 나옴.


4. 스냅드래곤 600 (APQ8064T)
   Abi Research  Galaxy S4 (Snapdragon 600)
 RAM  4235  4220
 CPU (Integer)  5378  5371
 2D graphics  1549  1593
 3D graphics  6628  6855



(
http://forum.xda-developers.com/showthread.php?t=2244181)
3D 점수가 약간 낮은데 큰 차이는 아닙니다.

- 3D 점수가 낮음.


5. 테그라3

   Abi Research  Nexus 7
 RAM  1529  2186
 CPU (Integer)  2886  4216
 2D graphics  298  771
 3D graphics  1188  3000

 

(
http://www.kpug.kr/index.php?page=1&document_srl=1466803&mid=reviews)
(http://www.pocketables.com/2012/08/review-google-asus-nexus-7.html)
같은 제품인지 의심이 들만큼 차이가 심합니다.
버전을 보면 안투투 v3.0.2 지요. (왼쪽)

그래서 찾아봤더니 안투투 v2.9 에서 GPU 점수는 비슷합니다. (오른쪽)
하지만 여전히 램, CPU 점수는 차이가 있습니다.
이 정도의 전체적인 차이면 제대로 테스트를 한건지 의심이 안 생길 수가 없습니다.

- 모든 부문에서 낮게 나옴.


- 분석 및 의문점.

1. 클로버트레일+
테스트 최대값과 비교해서 GPU 점수에서 약간의 차이가 발생하나 이는 테스트 시의 오차범위로 생각할 수 있는 정도입니다.
몇 개의 테스트 결과를 보니 3D 점수가 5500~9000 사이의 큰 분포를 갖고 있기때문입니다.

2. 엑시노스 5410
램 점수가 크게 낮습니다.

3. 스냅드래곤600
3D 점수가 약간 낮은데 이 역시 오차범위로 생각할 수 있는 수준입니다.

4. 테그라3
총체적 난국입니다.
모든 영역에서 점수 차이가 심하고, 특히 GPU 부분은 그 차이가 너무 심합니다.
최신 버전의 테스트 결과가 아니기때문이라고 해석해도 변명이 되지 않을 정도입니다.

5. 소비전력?
보면 알 수 있듯이 전력 비교의 기준으로 나온 것이 전력량(W)가 아니라 전류(A)입니다.
각 부분 레일의 전압값이 모두 같은가요?
그렇지 않다면 무의미한 비교가 될 겁니다.
게다가 어떤 방식으로 전류를 측정한지가 밝혀지지 않는한 무조건적으로 신뢰할 수 없습니다.
(파워 레귤레이터에 들어가는 전류 측정한 것 같은데 인텔이 이런 류의 트릭에 능하기때문에 무조건적으로 신뢰할 수 없다는 의견도 있음.)

6. 왜 정수연산 점수만 표기?
안투투 결과상으로 보면 알 수 있듯이 클로버트레일+의 부동소수점 연산 점수는 그렇게 높지 않습니다.
Cortex-A15 듀얼인 엑시노스 5250, Cortex-A9 쿼드인 테그라3 보다 나은 수준이고,
쿼드코어인 엑시노스5410이나 스냅드래곤600 에는 크게 떨어집니다.

그 때문에 정수점수와 부동소수점점수의 합인 총 CPU 점수에서는 클로버트레일+가 밀립니다.
아톰의 유리한 점만 부각되었다는 의혹을 피할 수가 없습니다.
물론 이런 의혹에 대해, CPU 성능을 대표하는 것이 정수연산이라는 반박도 가능합니다.
어느 쪽이 옳고 그른게 아니라 시각차이겠지만요.

7. 안투투가 AP 성능 평가에 절대적인 지표가 될만한가?
아니라고 봅니다.
그 한 예가 램점수입니다.
표에서 Z2580이 8703점, 엑시노스5410이 3838점.
엑시노스5410의 다른 자료 중에서 좋은 값을 빌려와도 5693점입니다.
Z2580의 최대 지원 메모리 대역폭이 8.5GB/s (32bit 듀얼채널 LPDDR2-1066)
엑시노스5410의 최대 지원 메모리 대역폭이 12.8GB/s (32bit 듀얼채널 LPDDR3-1600) 입니다.
엑시노스쪽이 50% 높은데, 점수는 35% 낮습니다.
그럼 이 결과가 실제 성능이 그렇기 때문이냐? 그렇지 않습니다.

 

(http://browser.primatelabs.com/geekbench2/1970892)
(http://browser.primatelabs.com/geekbench2/2052730
)

Geekbench를 보면 램 관련 점수에서 엑시노스5410이 60~80% 높게 나옵니다.
정수연산이나 부동소수점 연산도 앞도적으로 높네요.
안투투 결과로 추측되는 위의 표의 내용과 상반되는 결과지요.

결국 저 자료(표)의 내용이 실제와 일치하느냐.라는 문제를 논하기 이전에,
테스트에 사용된 것으로 추측되는 안투투가 AP의 성능을 평가하는 절대적인 기준이 될 수 있는가.라는 문제를 먼저 논해야합니다.
그리고 이에 대해서는 이미 중론이 나와있지요.
'참고는 되지만 각 항목의 성능을 비교하는 절대적인 기준은 될 수 없다.' 라고요.

8. 저 자료가 유효한가?
개인적으로 아니라고 봅니다.
저 자료의 가치는 각 제품의 성능, 소비전력을 보여주고 나아가 전력대성능비를 보여주는데 의미가 있다고 볼 수 있는데,
성능은 제대로 비교되지 않았으며, 소비전력은 전류만 표기하는 식의 불친절한 구성을 보여주고 있습니다.
저 표만으로 제대로 된 의미있는 자료를 도출해내는건 불가능에 가깝습니다.
물론 저건 Abi Research 측에서 일부만 공개한 것이고 전체 자료는 다르겠지요.
(아마도 돈받고 파는 자료같은데...)
그렇기때문에 Abi Research 자체의 신뢰도를 언급하는건 무리이지만,
(Abi Research 링크에서 진짜 전류량만으로 파워/성능 언급하는거보면 전류량만으로 소비전력을 논할 수 있는 테스트 셋팅이 갖춰진게 아닌가 하는 생각도 듭니다.)
제3자의 입장에서 저 표만으로 아톰이 뛰어나니 Cortex-A15가 뛰어나니 논쟁하는게 큰 의미를 갖는다고 볼 수 없습니다.


- 2013.06.18. 내용추가.

- 2013.07.27.
(
http://www.eetimes.com/author.asp?section_id=36&doc_id=1318894)
안투투 버전이 v3.3.2 로 업데이트되면서 아톰 기반 제품의 점수가 하락했습니다.
기존 버전에서 RAM 테스트 등에서 일부 테스트를 건너뛰었기때문에 아톰의 점수(특히 램)가 높게 나왔다고 합니다.


이전 버전과 비교해서,
총점 -20%
RAM 점수 -50%
CPU 점수 -20%


(갤럭시S4와 비교. 1.0 이 K900)

  ATOM Z2580  ATOM Z2580 (v3.3.2)  Exynos5 Octa
 RAM  8703  4352 (estimated)  5693
 CPU (Integer)  5547  4438 (estimated)  5276
 2D graphic  1579    1630
 3D graphic  6664    8577

점수 감소치를 반영하면 산술적으로 위의 표처럼 나오겠지요.
램 점수, CPU 점수 모두 역전당했습니다.
램 점수를 보면 엑시노스5 옥타가 30% 정도 높은데, 실제 최대지원 메모리대역폭은 엑시노스5 옥타가 50% 정도 높습니다.



Posted by gamma0burst Trackback 0 : Comment 12

댓글을 달아 주세요

  1. addr | edit/del | reply ㅁㄴ 2013.06.18 19:35

    그러니 실기기가지고 평가하는게 최고라는건가

    • addr | edit/del Favicon of https://gamma0burst.tistory.com BlogIcon gamma0burst 2013.06.18 19:45 신고

      저게 실기기가지고 테스트한거.
      그런데 테스트 결과가 안 맞는게 있다는거.

  2. addr | edit/del | reply ㅁㄴ 2013.06.18 23:06

    그럼 올바른 비교라고 판단하기는 어렵다는건가요?

    • addr | edit/del Favicon of https://gamma0burst.tistory.com BlogIcon gamma0burst 2013.06.18 23:16 신고

      성능 : 맞는 것도 있고, 틀린 것도 있음.
      전력 : 전류량으로 소비전력을 비교하는건 기본적으로 무리. 기타 조건을 맞춘다면 가능하겠지만 그게 이루어졌는지 알 수 없음.

      저 표만으로 올바른 비교인지 아닌지 판단할 수 없습니다.
      자료로써의 신뢰도가 확실하지 않아서 저것만으로 뭐가 좋고 뭐가 나쁘다 말하기 어렵습니다.

  3. addr | edit/del | reply yapenguin 2013.06.18 23:14

    폰의 소모전력 측정시 관례적으로 전류값을 쓰는 건 맞습니다.... 통상적으로는 타당한 방법은 아닙니다만 폰의 경우에는 보통 배터리 단자에서 전류를 측정하고 배터리 전압은 3.7 볼트 정도로 일정하기 때문에 폰에 한해서만은 어느정도 타당한 빙법이기는 한 것이죠....

    문제는 그 방법으로는 ap자체의 전류소모를 측정할 방법이 없다는 것. 뭐 ap자체의 전류소모를 정말 각잡고 측정하려면 Vcc쪽으로 들어가는 부분을. 전부 잘라서 테스트하는 수 밖에 없을건데 이건 회로도와 배치도 없이는 사실상 써먹을 방법이 없다는 문제가.........

    그 부분을 차치하고라도 전반적인 결과값을 보면 메모리 대역폭 측정이 엉뚱하다던가(이거뉴안투투 자체 문제일 듯...) 스냅600의 전류소모가 cpu 테스트서 이상하게 높던가 하는 부분이 걸리기는 하네요. 뭐 제 결론도 전반적으로 만ㅎㅎ이 이상해서 신뢰성을 담보할 수 없는 테스트라는 것이지만요.

    • addr | edit/del Favicon of https://gamma0burst.tistory.com BlogIcon gamma0burst 2013.06.18 23:20 신고

      배터리 전압이 일정하긴한데 말씀하신대로 AP 각 부분의 전류량을 따로 측정한다면 배터리 전압이 같다는게 의미가 없지요.
      CPU, GPU의 소비전력을 측정하는 방법이 아예 없지는 않은데 그런 번거로운 과정을 진짜로 했을런지, 했다면 개발자용 보드도 아닌 시판중인 완제품을 대상으로 제대로 했을런지 의문입니다.

      소비전력 평가방법도 문제가 있어보이고, 테스트 앱으로 안투투를 사용한 것도 문제가 있어보입니다.
      참고자료는 될지언정 절대적인 평가 자료로는 부족해보입니다.

  4. addr | edit/del | reply Favicon of https://random-ad.tistory.com BlogIcon JordanK 2013.06.18 23:53 신고

    클로버트레일 결과에서 3D 점수가 낮게 나온 게 아니고 높게 나온 거 아닌가요. "~게 나옴."문장은 실기기 점수와 비교시 Abi의 점수를 말씀하신 것 같은데(다른 AP에선 모두 그랬습니다만...)

    • addr | edit/del Favicon of https://gamma0burst.tistory.com BlogIcon gamma0burst 2013.06.18 23:56 신고

      표에는 K900 결과를 넣어서 Abi가 높게 나온 것처럼 됐는데,
      ZTE Geek 결과보면 8000점이 넘어서 실제보다 낮게 나왔다고 쓴겁니다.

  5. addr | edit/del | reply Favicon of https://rubp.tistory.com BlogIcon RuBisCO 2013.06.19 19:22 신고

    그런종류의 트릭에 능하다는 평은 아마 AMD랑 경쟁하던 PC시절 이야기일겁니다. 당시 AMD의 변명이 그거였죠. 뭐 전류값 자체는 스냅드래곤 빼곤 다 납득이 가는데 스냅드래곤 부분이 이상하군요.

    • addr | edit/del Favicon of https://gamma0burst.tistory.com BlogIcon gamma0burst 2013.06.19 19:40 신고

      전류 측정 방법이 불확실한 상황에서 맞는 부분, 이상한 부분을 논하는게 의미가 없다고 봅니다.

  6. addr | edit/del | reply Favicon of http://kc317317.blog.me BlogIcon 단무지 2013.06.19 22:45

    제 넥칠은 16000점. 어떤건 17000점도 넘는다더군요..