브레인박스, GTX460 벤치마크 조작 의혹.

시작하기전에
 - 브레인박스가 저의 경우엔 익스플로러8 에서 이미지가 안 보여서 저는 구글크롬으로 봤습니다.

브레인박스에서 다룬 유니텍, GTX460 소닉 플래티넘 1GB/768MB 리뷰입니다.
http://www.brainbox.co.kr/review/view.asp?cmid=1&csid=1&searchcolumn=&searchstring=&page=&id=3283&detail_id=28221&from=

3Dmark를 비롯해서 각종 게임에서의 성능을 벤치마크를 하는데 꾸준하게 HD5850 보다 앞서는 성능을 보이죠.
아무리 오버버전이라고해도 GTX460이 HD5850을 앞서다니.
기존 벤치마크 데이터를 생각하면 이상하죠.

그래서 확인해봤습니다.

게임벤치는 테스트 PC의 사양의 영향을 많이 받는지라 제외하고,
(순수 그래픽 카드 성능이라고 볼 수 있는) GPU 스코어가 확인 가능한 3Dmark vantage를 기준으로 잡았습니다.

비교할 다른 벤치는 이쪽 분야에선 진리 그 자체인 플레이웨어즈 벤치.
결과값만 덩그러니 주는 약간은 불친절한 벤치지만, 데이터가 방대하고,(테스트한 게임 종류만해도;;)
스폰서해주는 업체의 제품도 가감없이 깔건 까는 공정함이 장점이죠.

브레인박스 벤치결과.

플웨즈 벤치 결과.

엑셀로 정리해보면 다음과 같이 나옵니다.

엔비디아 부분이 녹색계열.
AMD 부분이 적색 계열.
문제가 되는 부분이 노란색.
5%이하의 차이는 오차범위로 생각해서 제외했습니다.

일단 GTX460의 부분.
플웨즈 벤치에 비해 평균 20% 수준으로 성능이 높습니다.
그런데 HD5850은 10%정도 성능이 낮게 나오죠.

- 테스트 시스템의 사양차이때문?
앞에서도 말했지만, 순수 그래픽카드 성능만 나오기때문에 사양 차이란 설명은 틀린겁니다.
설령 그럴 가능성이 있다고 하더라도 테스트 사양보면 그렇지 않죠.
플웨즈는 i7 920 3.6GHz, 브레인박스는 i7 870 3.2GHz
아무리 잘 봐줘도 비슷한 수준이지 브레인박스가 높다고 볼수가 없죠.
테스트 시스템의 사양 차이로 설명하려면 다른 그래픽카드의 결과값이 비슷한건 어떻게 설명해야할까요.

- 그럼 그래픽카드의 오버클럭때문이란 가정은 어떨까요?
플웨즈 벤치에서의 그래픽카드 오버클럭 수치입니다.
820 / 1640 / 4000
코어클럭 / 쉐이더클럭 / 메모리클럭 (단위 : MHz)

브레인박스는 다음과 같고요.
GTX460 1GB 제품.
800 / 1600 / 4000
GTX460 768MB 제품.
750 / 1500 / 3600

레퍼런스 클럭이 675 / 1350 / 3600 입니다.

플웨즈 벤치쪽 오버클럭이 더 높죠. 그런데 결과는 20%정도의 역전.

- 드라이버 문제?
플웨즈는 카탈리스트 10.6, 브박은 10.3 입니다.
이전의 10.3을 사용한 플웨즈 벤치를 보면, 3Dmark vantage 점수가 퍼포먼스 14529, 익스트림 6994 입니다.
여전히 브박 벤치값과는 거리가 멉니다.
엔비디아 드라이버의 경우 둘 다 최신버전이긴 합니다.
버전상 플웨즈가 약간 앞서긴하는데, 어차피 둘 다 베타버전이라 큰 차이는 없는듯.

브레인박스 스타일상 최근의 벤치값을 그대로 사용한듯한데, 그럼 대체 어디서부터 HD5850의 벤치값이 어긋난걸까요.
HD5850의 3Dmark vantage 점수. 익스트림 6264 퍼포먼스 12745 란 점수가 최초로 등장하는 벤치는 아래 링크입니다.
HD4860 리뷰죠.
http://www.brainbox.co.kr/review/view.asp?cmid=98&csid=1&searchcolumn=&searchstring=&page=3&id=2912&detail_id=26643&from=
이 리뷰 이후로 HD5850이 들어간 모든 벤치마크에서, HD5850의 3Dmark vantage 점수가
익스트림 6264 퍼포먼스 12745 로 통일됩니다. 재활용이란거죠.

그럼 이 리뷰의 작성일은 언제일까요.

놀랍게도 09년 11월.
카탈리스트 9.10 쓰던 시절입니다.

그런데 문제의 GTX460 벤치에서 뭐라고 했죠.

네네. 카탈리스트 10.3으로 벤치한 결과라네요.
카탈리스트 9.10의 벤치값을 썼으면서 10.3을 썼다고 거짓말을 한거죠. 이건 뭐.

카탈리스트 10.6은 9.10에 비해, 평균적으로 10%정도의 성능향상이 있습니다.
1차출처 : http://news.mydrivers.com/1/168/168593.htm
2차출처 : http://gigglehd.com/zbxe/4280402

HD5850의 점수가 낮은건 이걸로 해결되었습니다.

그럼 GTX460의 점수가 20%나 높은건 어떻게 설명해야할까요.
정말 걸리는게 하나도 없습니다.;;
드라이버도 아니고, 시스템도 아니고, 오버클럭도 아니고.
GTX460을 띄워주려고 의도적으로 올렸다고 밖에 볼 수가 없네요.

결국
HD5850은 낡은 벤치로 성능을 깎아서 표시하고,
GTX460은 나온 점수에서 더 올려서 표시했단겁니다.

스폰서의 압박이 있는지는 모르겠습니다만,(아니 애초에 유니텍이 스폰서인지도 모르겠음.)
가만있어도 사람들 입에 오르내리면서 엄청나게 주목받고 있는 제품에 굳이 그렇게까지 해야했는지가 의문이네요.

결국 공정하지 못한 벤치마크였다는건 부정할 수 없을겁니다.
공정치 못한 벤치마크란 자기 손으로 벤치에 대한 신뢰를 떨어뜨리는거고요.

맨 처음 의혹이 제기된 파코즈에선 전과도 있고하니 그러려니하는 분위기입니다만.
이미 신뢰를 잃고 있다는거죠.
양치기 소년같은 느낌이네요.