카메라 센서 사이즈의 영향
카메라 센서란?
통상적으로 카메라 센서는 카메라 내부 이미징 센서를 뜻한다.
이미징 센서는 빛을 받아드려 전자신호로 바꾸는 역할을 하는데, CMOS 와 CCD 타입이 있다.
카메라 센서 사이즈 종류
카메라 센서 사이즈에는 굉장히 많은 종류가 있다
위 이미지는 센서 사이즈 가이드라인이다. 많은 센서 제품들이 저 가이드라인을 따라 디자인 되지만, 사실 꼭 저 사이즈를 따르라는 법은 없다. 실제로 가이드라인을 따른 줄 알았던 센서를 직접 재봤을 때 사이즈가 가이드라인과 다를 때도 있다. 이런 경우에는 대부분 inch 단위의 사이즈 가이드라인을 정확히 따른게 아닌, mm로 개발을 마치고 나서 가장 가까운 inch 사이즈에 맞춰서 1/xx inch 센서로 표기한 경우이다.
- 아이폰 XS, 갤럭시 10에 들어간 센서 사이즈는 1/2.5” 이다.
- FLIR사의 BlackFly 시리즈에서 아무거나 골라본 카메라에는 1/2.9” 사이즈를 쓴다고 한다.
- 들고다니기 좋은 여행용 카메라에는 1” 센서가 자주 쓰인다.
- 카메라 커뮤니티에서는 1” 센서가 가장 무게/시간/가격/성능에 대한 최적화가 잘 되어있는 센서라고 알려져있다.
- 1”부터 APS-C 급 까지 진지한 취미용 카메라 취급을 받는다.
- 프로페셔널 이미징에는 Full Frame 카메라가 필요하다고 한다.
이와 같이 여러 용도로 카메라 센서 사이즈가 나뉘고, 오른쪽 이미지를 보면 이 카메라 센서들마다 실제로 사이즈가 많이 차이나는 것을 볼 수 있다.
해상도와의 관계
해상도는 카메라 센서를 얼마나 잘게 쪼개서 많은 픽셀을 만들 수 있는가에 대한 척도이다.
FullHD (1920 x 1080) 해상도의 경우, 이미징 센서 위에 가로로 1920개의 픽셀을 얹고, 세로로 1080개의 픽셀을 얹은것이다.
이 픽셀 하나하나가 0에서 255의 밝기 값을 가지고 픽셀들을 전부 다 같이 붙혀놓았을 때 이미지가 완성이 된다.
이 뜻은 큰 카메라 센서든 작은 카메라 센서든 똑같은 grid로 쪼개면 모두 같은 해상도를 가진다는 것이다.
예를 들어 Full Frame도 1920 x 1080으로 쪼갤 수 있고, 1/3.2”도 1920 x 1080으로 쪼갤 수 있다.
이 때문에 해상도와 카메라 센서 사이즈는 설계 상 관계가 없다.
하지만 그렇다고해서 해상도와 센서 사이즈의 성능 상 관계가 없다는 것은 아니다.
좋은 이미지를 찍기 위해서는 이미징 센서의 해상도와 사이즈의 성능/가격 상의 관계를 잘 이해하고, 이에 맞는 센서 구성을 선택해야한다.
해상도는 사진 속 공간에 대한 정보가 얼마나 오밀조밀한지 표현하는 척도가 된다.
해상도가 낮다면, 예를 들어 하나의 사진을 10개의 픽셀로만 표현하려고 하면, 단순히 10개의 블록 색상으로 표현해야하기 때문에 사진이 무엇을 의미하는지 알기 어렵다.
반대로 해상도가 높다면, 예를 들어 FullHD 라면 1920 x 1080개의 블록 색상으로 사진을 표현할 수 있고, 이는 꽤 정확한 이미지를 얻어낼 수 있다.
이미지 해상도가 높으면, 더 미세하게 공간을 표현할 수 있다.
하지만 높은 해상도는 더 잘게 쪼갠 이미지 센서를 뜻한다.
이미지 센서를 작은 픽셀로 쪼갰다면 각각의 픽셀은 작은 면적을 가지게 되는데, 빛을 받을 수 있는 면적이 작기 때문에 받을 수 있는 빛의 신호가 작게 된다.
작은 신호를 읽기 위하여 우리는 이 신호를 증폭시키는데, 이 때 고정적으로 들어오는 전자기적 신호 역시 함께 증폭이 되면서 높은 해상도의 센서에는 대체적으로 높은 노이즈가 측정된다.
그러면 카메라 센서 사이즈는 어떠한가?
카메라 센서가 크면 보통 빛을 받을 수 있는 면적이 더 커진다.
이 때문에 카메라에는 이미지 노이즈가 적고, 더 큰 dynamic range를 가지게 된다 (Dynamic range에 대해서는 추후 글에서 더 소개한다).
이 때문에 카메라 센서 사이즈가 더 크면 어두운 곳에서 촬영을 할 수가 있고, 또 이미지 노이즈가 적어지기 때문에 더 좋은 이미지를 얻어낼 수 있다고 볼 수 있다.
그러면 큰 이미지 센서에 높은 해상도를 쓰면 장땡 아닌가?
큰 센서에서는 픽셀을 잘게 쪼개도, 작은 센서에서 쪼갠거보다는 픽셀이 몇배나 클 것이다.
그만큼 노이즈도 적게 나올 것이니, 큰 이미지 센서 + 높은 해상도 조합을 사용하면 깔끔한 이미지가 나오게 된다.
하지만, 카메라 제조 공정을 생각했을 때… 큰 이미지 센서는 더 많은 반도체 wafer의 면적을 가져가는거고, 높은 해상도를 제조하는 공정 역시 비싸기 때문에…
큰 이미지 센서 + 높은 해상도의 조합은 상당히 비싸다*
작은 센서에 높은 해상도를 만드는게 더욱 정밀 작업처럼 보여서 비싸보일 수 있으나, 실제로는 큰 이미지 센서가 더욱 비싸다.
그 이유는, wafer에서 작은 이미지 센서를 100개 제작하고 그 중 5개가 실패했을때의 나오는 손실비용과, wafer에서 큰 이미지 센서 10개를 제작하고 그 중 5개가 실패했을때의 나오는 손실비용은 wafer의 고정 가격으로부터 나온다.
공정의 가격보다 재료 + risk의 가격이 더 크다.
사진 크기와의 관계
같은 구성의 렌즈를 사용했다는 전제 하에, 카메라 센서가 커진다면 담을 수 있는 사진의 크기도 커진다.
여기서 이야기하는 ‘사진의 크기’는 디지털 이미지 사이즈가 아니라 센서가 담을 수 있는 3D 공간의 크기이다.
디지털 이미지 사이즈는 작은 센서나 큰 센서나 같은 해상도를 가지고 있다면 똑같다.
다만 카메라 센서 사이즈에 맞춰서 3D 공간에서 온 빛을 받기 때문에, 큰 카메라 센서를 사용할 때는 더 큰 3D 공간의 형상을 사진에 담을 수 있다.
“어, 근데 내 DSLR로 찍으나 스마트폰으로 찍으나 사진 안에 담기는 3D 공간은 비슷한 것 같은데??” 라고 물어보실 수 있다.
스마트폰 카메라 센서의 경우 1/2.5” 정도로 작기 때문에 실제로 빛을 받을 수 있는 공간은 매우 적은게 맞다.
(어떻게 연결할지는 나도 모르지만), 스마트폰 카메라와 DSLR 카메라가 같은 렌즈를 사용했다면, 당연히 DSLR 카메라가 더 넓은 공간을 사진에 담을 수 있다.
하지만, 실제로는 센서 사이즈에 맞춰서 알맞은 focal length를 가진 렌즈를 이용하기 때문에, 빛이 같은 각도로 들어올 수 있게 만듬으로써 같은 시야각을 유지할 수 있다.
여기서 우리는 focal length를 이용함으로써 시야각을 다르게 바꿀 수 있다는 것을 알 수 있다.
그러면 이제 “다른 렌즈를 사용해서 시야각의 문제가 해결된다면, 굳이 큰 카메라 센서를 쓸 필요가 없는게 아니야?” 라고 물어보실 수 있다.
맞는 말이지만, 시야각이 넓은 렌즈를 사용할 때 보통 더 큰 distortion이 생긴다.
렌즈 distortion은 렌즈의 굴절에 따라 이미지 역시 구겨지는 현상을 뜻하는데, 보통 카메라 calibration을 통해서 보정처리를 함으로써 깔끔한 이미지로 펴낼 수 있으나, 렌즈의 외곽으로 갈 수록 (특히나 저렴한 렌즈는 더더욱) 이미지의 질이 급격하게 떨어진다.
아래 이미지를 보면, 이미지 중앙 부분은 깔끔하나, 외곽의 이미지의 질은 좋지 않은 것을 볼 수 있다.
작은 카메라 센서들은 큰 공간을 보기 위해 굴절률이 높은 렌즈를 사용해야하고, 이는 더 큰 이미지 질의 저하로 이어진다.
그에 비해 큰 카메라 센서는 굴절률이 그렇게까지 높은 렌즈를 사용하지 않아도 되기 때문에, 코너 부분에서 질이 떨어지는 정도이다.
큰 카메라 센서를 사용할때는 보통 이 코너 부분을 잘라내버려서 이쁜 이미지를 얻어낼 수 있는데, 작은 카메라 센서에서는 이 방법이 불가능하고 대신 이미지 전체에 보정처리를 해야한다.
정리하면, 카메라 센서가 크면 더 넓은 장면을 이미지로 담을 수 있지만, 렌즈로써 극복이 가능하다.
다만, 큰 카메라 센서의 경우에는 렌즈에 의한 이미지의 질 저하가 작은 카메라 센서보다 낮다.
이미지 노이즈와 Dynamic Range에 대한 관계
카메라 센서가 크다면 빛을 받을 수 있는 면적이 커지기 때문에, 같은 시간동안 더 많은 양의 빛을 받을 수 있다.
위의 그래프를 본다면, 그래프의 오른쪽으로 가면 갈수록 더 많은 양의 signal, 즉 빛을 받을 수 있다는 것을 볼 수 있다.
또, 밑에 노이즈의 양은 항상 일정하게 있다는 것을 볼 수 있는데, 이는 빛→전자로 변환할 때 생기는 오류, 렌즈를 통하면서 생기는 빛의 변화, 센서 내부의 노이즈 등등 여러가지 노이즈 인자들을 간단하게 모델링 한 것이고, 그래프에서 처럼 무조건 일정하지는 않으나 꽤 작은 값이라는 것을 표현한 것이다.
이 그래프가 의미하는 것은, 카메라 센서가 커질 수록 Signal-to-Noise Ratio 가 커진다는 것이다.
SNR이 커진다는 것은 노이즈가 있음에도 불구하고 선명한 화질의 사진을 만들 수 있다는 것이고, 큰 카메라 센서일수록 Signal은 많이 받지만 Noise는 일정하기 때문에 높은 SNR, 즉 선명한 사진을 만들 수 있다는 점을 말한다.
또 그래프에서 볼 수 있는 것은, 센서 사이즈마다 최대로 받을 수 있는 빛의 양이 정해진다는 것이다.
셔터 시간이 정해져있다면 센서의 면적이 넓은 편이 더 많은 빛을 받을 수 있고, 최대-최소 빛의 양을 정규화 한다고하면 큰 카메라 센서는 작은 카메라 센서에 비해 더 큰 빛의 양의 range를 가지게 된다.
이 range를 보통 Dynamic range라고 칭하며, 더 큰 dynamic range를 가진 이미징 장비의 경우 high dynamic range imaging (HDR)이라고 한다.
Dynamic range가 작다면, 0-30의 intensity range에서 어두운 부분은 0, 1, 1, 1, 3, 2 … 이렇게 나오며, 0,1,2,3의 차이를 알기가 쉽지 않은데, HDR의 경우 0-3000의 intensity range의 경우는 어두운 부분이 0, 24, 46, 64, 38 등으로 차이가 극명하게 나기 때문에, 같은 어두운 부분이라도 더 디테일하게 표현이 가능하고, 밝기보정에 더 강건하다 (0-30과 0-3000은 임의로 잡은 숫자이다).
이 때문에, 카메라 센서가 커질 수록, dynamic range는 더 커지며, 이를 통해 어두운 환경에서도 좋은 이미지를 얻을 수 있다.
우측이 훨씬 잘보인다. 우측은 HDR!
Dynamic range가 낮다면 찍기 어려울 사진이다.
사진 찍는 속도와 ISO에 대한 관계
카메라가 사진을 찍을 때, 우선적으로 내부 회로에서 센서에 빛을 담으라는 신호를 주고 셔터를 닫으면서 빛의 유입을 멈춘다.
더 이상 빛의 유입이 없을 때, 그때까지 모아온 신호를 전자화 시켜 사진을 reconstruct 한다.
큰 카메라 센서와 작은 카메라 센서가 있을 때, 셔터가 똑같은 속도로 내려온다면 큰 카메라 센서는 셔터가 이동해야할 거리가 작은 카메라 센서보다 길기 때문에, 셔터가 내려오는 속도가 같더라도 작은 카메라 센서의 셔터가 먼저 닫힐 것이다.
이 점은, 작은 카메라 센서가 더 빨리 사진을 찍을 수 있다 (셔터 시간이 적다)라고 생각할 수 있고, 이는 비디오 촬영 또는 초고속 비디오 촬영에 유용할 것이라고 생각할 수 있다.
하지만, 실제로 초고속 비디오 촬영에는 큰 센서를 이용한다. 이유는 아래에서 확인한다.
사진을 더 빠르게 촬영하려고 셔터 스피드를 늘렸다고 해보자.
셔터 스피드가 빨라지면 그만큼 센서가 빛에 노출되는 시간이 적어지기 때문에 signal 약해지고, 이는 사진 전체를 어둡게 한다.
빠른 셔터 스피드로 밝은 이미지를 촬영하려면 signal을 늘려야 하는데, 물리적으로는 불가능하니까 전자 신호를 증폭시키면 된다.
이때 빛을 전자신호로 변환시킬 때 신호 증폭에 대한 계수를 ISO라고 한다.
엄청나게 빠르게 사진을 찍으려고 하면 셔터 스피드를 엄청나게 빠르게 하여 부족해진 빛 만큼 ISO를 높혀 신호를 증폭시킬 수 있다.
또, aperture를 엄청 줄여서 depth 조정을 할 때 빛의 input이 많이 줄어드는데, 이때도 똑같은 방법으로 ISO를 높혀서 밝은 이미지를 얻을 수 있다.
다만 ISO를 높일 경우, signal에 기본적으로 내재되어있는 noise 값도 함께 증폭되며, 동시에 의미있는 signal의 range가 줄어들기 때문에 dynamic range가 줄어든다.
작은 카메라 센서는 SNR이 낮기 때문에 (전체 signal양 속 noise의 비율이 높기 때문에), ISO를 높히면 noise값도 빠르게 커진다.
그에 비해 큰 카메라 센서는 SNR이 높기 때문에, ISO를 높혀도 noise값이 차지하는 비율이 커지는 속도가 작은 카메라 센서보다 훨씬 느리다.
그러기에 큰 카메라 센서는 작은 카메라 센서보다 더 높은 ISO 한계를 가지고 있다는것을 알 수 있다.
(말 나온 김에 ISO와는 관계 없지만) 초고속 카메라에서 큰 센서를 이용하는 이유는 하나 더 있다.
초고속 촬영에는 높은 셔터 스피드와 높은 ISO 값을 가져야 하는데, 생각보다 이 ‘높은 셔터 스피드’를 구현하는게 쉽지 않다.
셔터는 소프트웨어가 아니라 기계적으로 움직이는 것이기 때문에, 정밀하고 빠르게 움직이기 위해서는 이를 다루는 장비 역시 복잡한 형태를 가지게 되고, 자연스럽게 크기가 커지게 된다.
또, 빠르게 이미지를 찍어내다보면 그 이미지 용량 역시 엄청나게 되는데, 이를 저장할 수 있는 메모리가 필요해지고, 또 내부 프로세서도 좋아져야 하며, 이걸 모두 감당하기 위한 파워도 좋아져야한다.
이 때문에 전체적으로 auxiliary circuit이 비대해지며, 카메라의 사이즈가 커진다.
그러기에 초고속 카메라는 어차피 소형화를 목적으로 한 것이 아니기에 큰 센서를 사용해도 무방하며, 또 큰 센서를 사용하면 ISO와 노이즈 문제를 해결할 수 있다.
또, 초고속 카메라의 원래 목적에 대해서 생각을 하면 ‘빠른 것을 촬영해서 느리게 봄으로써 분석을 할 수 있다’라는 것인데, 분석을 위해서는 깨끗한 이미지가 필요하고 깨끗한 이미지를 위해서는 초고속 촬영 중 노이즈가 적은 큰 카메라 센서가 요구된다.
낮은 ISO와 높은 ISO. 낮은 ISO는 빛을 받아드리는 동안 물체가 움직여서 blur가 나타날 수 있지만, 높은 ISO는 말 그대로 snapshot을 얻어낼 수 있다.
정리하자면, 큰 카메라 센서는 작은 카메라 센서보다 더 높은 ISO 값을 가지고 사진을 빠르게 촬영할 수 있으나, 기본적으로 같은 ISO 값에서는 작은 카메라 센서의 촬영속도가 더 빠르다.
특수 촬영효과를 노리고 ISO를 높힌게 아니라 촬영속도를 높히려고 ISO를 높힌것이라면, 큰 카메라 센서 vs 작은 카메라 센서에 대한 실험을 해보는 것도 좋을 것 같다.
휴대용성에 대한 관계
카메라 센서 사이즈가 커지면 당연히 그에 맞춰 센서의 무게도 늘어난다.
또, 카메라 센서 사이즈에 맞춰서 렌즈도 같이 커지기 때문에 무게가 급격하게 더 많이 늘어난다.
Full-Frame 카메라의 경우 다행히도 가방에 넣어서 들고다닐 수 있는 정보이고, 1/3” 센서의 경우 들고다니는 카메라라기 보다는 정말 작은 센서라고 생각하고 들고다녀야한다.
1/3” 센서 크기의 HTC One 카메라와, Full Frame의 Canon 5D Mark II 카메라
정리
목적에 따라 카메라를 잘 선정하는 것이 중요하다.
무게가 중요하다면 작은 카메라 센서, 좋은 이미지가 필요하다면 되도록이면 큰 이미지 센서를 찾겠지만, 현재 해결하려는 연구의 목적과 end-consumer가 어떤 형태의 비전 시스템을 사용하는게 자연스러울지 생각하는 것도 중요하다.
모바일 환경에서 비전 카메라가 필요하다면 당연히 모바일 카메라를 쓰는게 자연스러울 것이고, 별을 관측하는 카메라가 필요하다면 당연히 큰 이미지 센서를 찾는게 자연스러울 것이다.
Trade-off가 필요한 카메라 세팅도 있는데, 예를 들어 SLAM 연구를 한다고 할 때는 좋은 이미지도 필요하지만 빠른 속도와 가벼운 카메라가 선호되기 때문에, 원하는 specification을 잘 추려내서 카메라를 선정하는 것이 필요하다.
특수 카메라 시스템 (e.g. fibre imaging, spectroscopy)의 경우에는 HDR, 속도, 무게 등등이 고려대상이 아닐 수도 있으며, resolution만이 criteria가 된다거나, 또는 이미징 센서가 받을 수 있는 spectral band가 고려 대상일 수 있다. 이런 경우에는 원하는 specification을 만족하는 한, 작은 카메라를 쓰는게 아무래도 편할 것이다.
사진 출처 및 정보 출처 링크
Digital Camera Sensor Sizes: How it Influences Your Photography
Camera Sensor Size Photography Guide [Updated 2019]
Ultra-Wide Dynamic Range - WatchGuard Video
17 types of common screen resolutions
[Lesson 5] What is ISO Speed?