c't The Magazine for Computer Technique // June/2000, p. 92: MP3-Comparison // 작성자: Carsten Meyer
출처: http://www.geocities.com/altbinariessoundsmusicclassical/mp3test.html
독일어 원본: http://www.heise.de/ct/00/06/092/
한국어 번역 원본: http://www.abbagom.com/zeroboard/zboard.php?id=Broadcasting&page=1&sn1=&divpage=1&sn=off&ss=on&sc=on&select_arrange=hit&desc=desc&no=42&PHPSESSID=570d5de5774c1a1fbe7fb9323ad9ca57
(Neissy 주: 기본적으로 번역 원본의 레이아웃을 존중하였습니다만, 눈의 피로도와 제 블로그와의 통일성을 고려하여 강조 색상을 바꾸고 문단 편집도 바꾸었습니다. 읽어볼 만한 글이기에 붙여둡니다)
교차실험 테스트 - c't(독일 오디오 전문 잡지:역자 주)독자들의 청음테스트: MP3 대 CD
2000년 3월에 있었던 MP3인코딩의 근본적인 문제들에 관한 논란 이후에, c't 紙는 독자들에게 청음 테스트에 참가해 줄 것을 요청했다: (지난번 실험을) 믿지 못하겠다는 사람들은 음원에 대한 정보가 가려진 상태에서 다양한 음악을 듣고 그 음원의 정체를 밝혀내야 할 것이다. 이 실험 결과는 우리의 전문 청음가들을 놀라게 했을 뿐 아니라 편집진들도 새로 드러난 사실들로 당황하게 됐다. 우리는 벌집을 쑤셔 놓은 셈이었다.
유즈넷 포럼에서의 오랜 논란과, 편집자에게 날아오는 건설적이거나 혹은 거칠기도 한 편지들, 그리고 업무시간 중에 핫라인을 타고 오는 성난 메시지들로 보아 MP3 반대자들과 지지자들간의 전쟁은 테스트 후에도 결판나지 않은 듯 하다. 비판자들은 우리가 대중주의적인 견해를 내놓았다고 비난하면서, HiFi/Audio 스펙의 복잡성과 관련된 위대한 기술에 대해 논하고, MP3는 악마의 작품이라고 욕했다: 다른 한쪽에서는 우리의 명쾌한 설명이 읽을만한 가치가 있으며 오디오나 HiFi에 대한 밀교나 부두교 같은 미신을 몰아내는데 유용했다고 칭찬하기도 했고, 일부는 그저 단순히 오디오를 다양한 음질로 손실 압축했을 때 나타나는 효과를 들을 수 있는지(또는 듣지 못하는지)를 똑바로 보여줬다고 말하기도 했다.
이 같은 반응에 따라 우리는 추가적인 실험을 하고 그 결과를 c't紙 2000년 4월호에 싣기로 했다. 비판적인 독자들 본인에게 직접 청음테스트를 통해 MP3음악과 원본음악을 구분해주도록 요청했다. 가장 잘 맞춘 사람은 현금으로 1000마르크의 상금을 받게 된다. 당초에는 6명의 독자를 초청하려 했으나 응모자가 너무 많아서(1주일새 3백 명 이상의 진지한 응모자가 몰렸다), 12명의 응모자를 하노버로 초청했다. 응모자들은 먼저 자질 심사를 통해 걸러진 뒤, 해당 그룹의 최종 선정은 랜덤하게 이뤄졌다. 우리는 사운드 엔지니어인 Gernot von Schultzendorff 씨에게 심사위원 겸 표준 청음가로서 참가해달라고 부탁했다. Mr.Schultzendorff씨는 하노버에 있는 Deutsche Gramophon(도이체 그라모폰-음반회사: 역자 주)사에서 근무하고 있으며, 주로 클래식 음반의 마스터 판을 만드는 일을 맡고 있다. 이 두 번째 실험의 결과를 사전에 예단하기를 바라진 않지만, (실험 결과) 2000년 3월호에 실었던 도표는 여전히 타당하며, 지난번 실험 참가자들이 병원에 가서 청력검사를 받을 필요는 없다는 결과가 나왔음은 미리 밝힐 수 있다.
당시 상황
테스트 장소: 출판사 studio(흡음, 반사, 공명 등의 조건이 오디오 애호가들의 거실과 흡사)
장비: 최고 수준의 오디오 콤포넌트(B&W Nautilus 803 스피커 한 쌍, Marantz CD-Player CD14와 PM14 amplifier) 이러한 조합에는 약 3만 마르크가 들며 소수의 하이파이 매니아만이 갖출 수 있는 장비이다. 덧붙여 Sennheiser 사의 Axel Grell씨가 테스트기간에 Orpheus 정전형 표준 헤드폰과 거기 맞는 튜브 앰프를 제공하였다. 우리가 사용한 장비가운데 가장 비싼 2만 마르크짜리였다.
테스트방법
4분씩
- 임의로 아래와 같은 음악작품 17개를 선정
- 먼저 원본 CD에서 각각 1분 가량의 음악 1절을 들려주고 같은 절의 3개 샘플(128 kbps, 256 kbps, the original)을 불규칙한 순서로 들려줌
- 청음자들은 세가지 샘플의 정확한 소스를 설문지에 기재해야 함
- 128kbps 음원을 맞출 경우 샘플당 1점, CD 음원을 맞춰도 1점을 주고, 세가지 샘플을 모두 맞추면 3점을 주지만, 128k MP3 음원과 CD 음원을 거꾸로 쓰면 (256k 음원을 맞춰도 우연히 맞춘 것으로 보고) 0점 처리함
- 최대 점수는 51점, 아무렇게나 써도 평균 14.1 점이 나오므로 14.1점 이 넘으면 청음 감각이 있는 편임
- CD 플레이어와 MP3 player의 DA 변환 특성 때문에 나타날 수 있는 차이를 없애기 위해, 테스트 샘플들은 윈도우용 MusicMatch 4.4 로 인코딩하고 , Power Mac G3를 사용, Apple QuickTime Player용 AIFF format으로 바꿔, CD에서 추출한 Audio file과 함께 불규칙한 순서로 하나의 Audio-CD로 구워냈다.
(역자 주: 기존에 “MP3 음질이 CD 음질보다 떨어진다”는 평가가 나온 원인 가운데는 MP3 플레이어나 거기 딸려 있는 앰프와 스피커 등이 전문 오디오 CD 플레이어와 부속 방비보다 훨씬 값싼 제품이라는 점이 많이 작용했으므로, 이 같은 문제를 피하기 위하여 MP3로 압축한 음원을 다시 비압축 방식으로 풀어-이 경우 파일 크기는 커지지만 음질은 MP3 압축 시와 동일하다-같은 오디오 기기에서 재생하는 것이다)
청음 테스트
30분간 집중적인 청음을 하고 나자 참여자중 일부는 벌써 그만두고 싶어했다. ‘제비뽑기로군’ 하는 말이 여러 번 들렸다. 많은 청음자들은 뛰어난 마란츠 플레이어로 들으면 MP3 음악이 얼마나 멋지게 들리는지에 놀랐다. 사람들은 (불완전한) 청음실의 음향효과가 미치는 영향 같은 기술적 문제나, 그들의 청음 습관 등에 대해 이야기 했다. 그들은 좋은 케이블의 중요성에 대해 토론하거나 아날로그 LP판의 탁월함을 칭찬하기도 했다.(불행하게도 LP판은 청음 테스트를 해볼 수 없었다).
휴식시간 중이나 공동 테스트가 끝난 뒤, 몇몇 잘 모르겠다는 참가자들은 Orpheus 헤드폰으로 다시 듣고 샘플들을 구분할 수 있도록 허용했다. 그들은 한 소절에서 다른 소절로 바로 건너 뛰어가며 비교해볼 수도 있었는데, 이런 방식은 전원이 함께하는 청음테스트에서는 불가능한 것이다.
우승자
비공식 우승자(역자 주: 청음자가 아닌 심사위원으로서 초청된 사람이므로)는, 총점 26 점을 얻은 우리의 ‘표준 청음자’인 Gernot von Schultzendorff씨였는데, 한 시간 동안 집중적으로 듣고 나서는 지쳐버렸다. ‘힘들었다. 어떤 256 kbps MP3는 CD 원음보다 낭랑하고 더 유쾌하게 들렸다. 사람들은 이런 특성에서 벗어나기 힘들다’고 말했다. 사실상, 사람들은 종종 256 kbps MP3를 original CD라고 잘못 골랐다.
초청된 독자가운데서는, Schopp에서 온 전기공학도인 Mirko Eßling씨가 일등을 차지했다. 그는 응모서류에, 오디오 회로를 보기만해도 그 음질을 예상할 수 있다고 밝혔다. 그는 22점을 땄다. 외국산 음향기기에다, 점수에 대한 압박, 익숙하지 않은 설비, 그리고 최적이랄 수 없는 청음 조건 등을 고려하면 대단히 훌륭한 점수로서 본 대회 1등 상인 현금 1000마르크를 받게 되었다.
우리는 그의 음악적 취향에 대해 다소 놀랐다. “사실상 나는 응모서류에 기재내용을 약간 속였다. 나는 클래식 음악교육을 받은 적이 있지만, 활동적인 아마츄어 음악가로서 즐겨 펑크-락을 연주한다”고 그는 말했다. 테스트에 앞서, 그는 여러 종류의 MP3를 듣는 연습을 했다. 그는 심각한 장애 속에서도 128kbps 엔코딩의 90%를 가려냈다. “나는 폭발 사고를 겪고 나서는 왼쪽 귀로는 8kHz 까지만 들을 수 있고, 오른쪽 귀는 최근까지도 이명현상에 시달려 왔다. 그러나 나는 MP3 필터들이 만들어 내고는 하는 퍼지는 소리(flanging effects)를 가려낼 수 있으며, 아마도 청각 장애 때문에 오히려 경쟁자들보다 더 잘 구분해 냈을 것이다.”
이 말은 사실일 수 있다. MP3의 심리 음향학 모델의 기초는 정상적인 귀를 가진 사람에서 나온 것이다. 8kHz까지만 들리는 사람은 밝은 심벌즈 소리나 트라이앵글의 날카로운 소리는 듣지 못하겠지만, 아마 필터가 만들어낸 낮은 주파수의 정규화 노이즈는 고주파음에 가려지지 않음으로써 들릴 것이다. MP3 디코더에 적용되는 Sharp notch 필터는 신호가 급격히 변할 때 소리퍼짐(또는 제트 효과)를 만들어 낸다.
MP3의 잡티에 특히 민감한 것은 정상적인 청각을 가진 사람보다는 심한 청각 이상자들일 것으로 보인다. MP3 인코딩 알고리듬의 기저에는 심리음향학적인 마스킹 효과가 깔려 있다. (자명종이 울릴 때도 시계는 계속 똑딱거린다. [그러나 그 알고리듬에서는 똑딱소리는 종소리에 가려지기 때문에 인코딩하지 않는다]: 그 알고리듬은 또한 발생된 정규화 노이즈에 대해서도 같은 효과로 대응하는데, 그런 소음은 일반적으로 유용한 소리에 덮이게 된다. 그러나 청각 이상자에게는 그런 소리가 겉으로 드러나면 훨씬 쉽게 감지될 것이다.
공동 2위
Nuremberg 에서 온 Jochen Kähler와 Tom Weidner씨가 각기 20점을 얻어 공동 2위를 차지했고, 함부르크에서 온 Martin Eisenmann씨가 그 뒤를 이었다. Eisenmann씨는 대형 B&W Nautilus 801을 갖고 있으며, 음악에 대한 심취와 최고를 추구하는 성향으로 스테레오 시스템에 4만 마르크를 투자한 사람이다. Tom Weidner씨는 보청기를 개발하는 엔지니어로서 오디오 신호처리 알고리듬 분야에서 일하고, ‘주로 잡음과 음질 차이를 판별하기 위한 복잡한 사운드 테스트’에 종종 참석한다. Jochen Kähler씨는 Erlangen에 있는 Fraunhofer IIS(역자 주: 세계 최고의 오디오 코덱 개발사)에서 일할 때 AAC(Advanced Audio Coding)와 기타 MP3의 후속기술에 관한 업무에 참여했던 적이 있다.
Hambühren에서 온 Stefan Weiler씨는, 나면서부터 맹인으로서 클래식과 재즈, 그리고 “serious light 음악”의 열렬한 애청자이며, 완벽한 음감을 가지고 ‘Kunstkopf’ 녹음 장비의 개발에 적극 참여해 왔다. [그 장비는 사람 머리모양을 하고 있으며 귀에 해당하는 부분에 마이크로폰이 달려 있어서 녹음 시에 더욱 현실감 있는 음향효과를 내기 위한 장비이다] 그는 자기가 고른 것을 함께 온 사람에게 전달하는 과정에서의 실수로 4등에 머물렀다. 그가 브라암스의 샘플곡을 실수로 뒤바꿔 알려주지 않았다면 그 역시 20점을 얻었을 것이다. Weiler는 MP3 인코딩된 음악을 주로 “조용한 부분에서 살랑살랑하는 소리의 공간감”이 부족한 점을 이용해 가려낸다고 설명했다.
통계적 관점
우리가 수집한 데이터로 완벽한 결론을 내릴 수는 없지만, 흥미로운 사실을 알 수 있다. 우리는 어떤 음악이 원본과 구별하기 가장 어려운지, 또 어떤 음악을 청음자들이 가장 쉽게 가려내는지를 알고자 했다. 단순히 참가자들의 곡별 점수 합계만 내도 어떤 곡이 원음과 MP3 인코딩된 곡을 가려내기 쉬운지 어려운지를 간단히 알아낼 수 있다(점수표 참조).
이런 점에서 클래식이 항상 유리한 것은 결코 아니며, 어떤 음악의 경우에는 참석자들이 항상 잘못 고르고는 했다. 예를 들어 그리그의 페르긴트 중 아라비아 춤은 절반이상의 참석자가 원음보다 128kbps로 인코딩된 곡을 선호했다. 압축은 작고 약한, 아마도 목관악기의 거친 소리 같은 것을 제거할 것이다. 반면 On the other hand, 다이나믹하고 타이트한 펑크음악인 Chic의 ‘Jusagroove’ 같은 경우는 대부분의 청음자가 제대로 식별해냈다.
이런 현상을 좀더 깊이 이해하기 위해 테스트 결과를 추가 분석했다. 우리는 특히 무엇이 차이를 낳는지에 흥미가 있었다. 테스터들은 256k MP3와 128k MP3의 음질을 분간하기 어려워 하는가?, 또는 MP3가 CD 원음보다 더 좋게 들리는가?
이를 알기 위해 평가과정을 약간 수정했다. MP3 음질에 관한 사람들의 편견에 따르면, 사람들은 128 kbps 사운드가 가장 나쁘고, 256K는 그 다음이며, 오리지널 오디오CD 가 최고의 음질을 낼 것으로 기대한다. 그래서 우리는 테스트 결과에 다시 점수를 매겼다: 128 kbps로 인식된 샘플에는 모두 1점, 256 kbps로 인식된 샘플에는 모두 2 점, 그리고 오리지널 CD로 인식된 샘플에는 모두 3점을 부여했다. 이 점수는 해당 샘플에 대한 각 청음자의 인식이 옳던 그르던 상관없이 매겨진다. 만약 청음자가 세가지 샘플의 차이를 구별하지 못하면 모두를 CD 음질로 평가해서 다 3점으로 매긴다. 그리고 나서 각 샘플이 모든 청음자에게서 받은 점수를 더했다.
14명 모두 정확히 맞췄다면, 각 곡들은 그 샘플에 대해 동일한 점수분포를 나타낼 것이다: 128 kbps샘플들은 14점씩, 256kbps샘플들은 28점씩, 그리고 오리지널 CD샘플들은 42점씩을 받아야 한다. 그러나 전혀 다른 결과가 나왔다. 청음자들이 가장 많이 틀리는 곡의 경우에는 MP3 인코딩된 곡이 일반적으로 CD보다 더 음질이 좋은 것으로 평가됐다. 그러나 우리가 가장 놀란 것은 128 kbps, 256 kbps, 그리고 CD-ROM 샘플들이 받은 모든 점수를 더했을 때였다. 256 kbps 샘플들과 오리지널 CD 샘플들이 얻은 점수 합계는 완전히 똑 같은 501 점씩이었다. 128 kbps 샘플들의 점수는 확실히 더 낮아서 합계 439점이었다. 통계학에 관심 있는 사람들을 위해 말하자면, 501과 439라는 차이는 99% 신뢰수준에서 통계적으로 유의미한 차이이다. (과학적인 조사에서는, 오류 확률이 5%이하면 통계적 편차가 유의미한 것으로 간주된다). 256 kbps와 CD 샘플은 점수가 똑같으므로 당연히 통계적 차이도 없다.
요약
쉽게 말해, 이번 실험에 참가한 음악적으로 훈련된 청음자들은 저음질의 128kbps MP3는 다른 고음질 샘플과 신뢰할만하게 구별해낼 수 있다. 그러나 256 kbps MP3와 오리지널 CD는 모든 곡에 대해서 차이를 가려내지 못했다. 테스터들이 256 kbps 샘플을 오리지널 CD이라고 고른 회수는 진짜 오리지널 CD를 골라낸 회수와 똑같았다.
이들 숙련된 그룹들에게조차 어떤 128kbps 샘플들은 일관되게 오리지널 CD보다 좋게 평가됐다는 점은 편집자를 놀라게 했다. (편집자도 테스트에 참가했다. 그 점수는 테스트에 포함되지 않았지만, 15점밖에 못 얻었음을 고백해야 했다).
압축에 잘 맞거나, 잘 안 맞는 음악 장르는 없다고 선언해도 될 듯 하다. 낮은 비트레이트에서 결과물에 나쁜 영향을 미치는 또 다른 기술적인 요소가 있음이 명백하다. 이 기사는 현재 진행중인 MP3 압축을 쓰는 것이 합리적이냐 아니냐 하는 논쟁에 종지부를 찍는 것은 아니다. 유명 상표를 선호하는 사람들이나 스스로의 신분을 강하게 의식하는 음악애호가들은 아무리 많은 테스트에서 양자간의 음악적 체험은 똑같다고 밝혀지더라도 결코 MP3를 듣지 않을 것이다. 회의론자들은(“그 테스터들은 다 c’t에서 겁먹은 거야: 나 같으면 확실하게 차이를 가려 냈을 텐데”라고 하는 사람들은) 인코더와 CD 라이터기를 구해서-아마도 같은 곡에 대해 비슷한 조건으로-그 자신이 스스로 ‘펩시-챌린지’를 해봐야만 할 것이다.
References:
[1] Carsten Meyer, Doppelt blind, MP3 gegen CD: Der Hörtest [Double blind, MP3 versus CD: The Listening Test], c't March, 2000, p. 144
────────
간단요약:
① 256kbps 이상의 MP3는 인간의 귀로 구분해내지 못한다. (단 128kbps에서는 구분 가능하다)
② 속칭 '상위 1%의 사람들'이라 해도 같은 오디오 환경 (이 실험에서 그 환경은 최고의 환경이었다)에서 똑같이 MP3와 CD를 제공하면, 사실상 구분해내지 못한다: MP3와 CD의 차이라고 여겼던 것은 포맷의 차이라기보다는 구축 환경의 차이에서 왔다고 보는 편이 좋다.
③ MP3라고 해도 256Kbps 이상으로 인코딩하고 (더구나 요즈음은 초기의 MP3보다 인코딩 기술이 더욱 좋아져서, 음을 더욱 깨끗하게 뽑아낼 수 있다), CD를 들은 것과 완벽하게 같은 환경을 구축해 듣는다면 전혀 차이를 느끼지 못한다고 봐도 될 것이다.
④ 고급 MP3P를 한 번 사보고 싶어진다 ←
⑤ 하지만 사실상 CDP의 매력이란, 음질도 음질이지만, 음악을 '앨범'으로서 손에 쥐고 골라 듣는다는 데 있다. 이렇다 해도 CDP에는 그 나름의 존재가치가 있음..
