How Google Built the Pixel 2 Camera

지난 수년 동안 정말 다양한 카메라가 개발됐어요 우주에서 사진을 찍거나 인체 내부를 촬영하고 차 안에서 시야를 확보하는가 하면 일상 속 추억을 포착할 수도 있게 됐죠 요즘은 사진이나 동영상을 대부분 휴대전화 카메라로 찍죠 기능도 많이 발전해서 카메라로 360도 사진이나 4K 동영상을 찍고 새 친구를 만날 수 있게 됐고요 작년에 Google Pixel의 카메라를 테스트한 이후로 어떻게 이렇게 훌륭한 사진들이 손톱보다 작은 카메라에서 나오는 건지 또 카메라 안에서 어떤 일이 벌어지는 건지 궁금해졌죠 Pixel 2가 막 출시되었으니 Google을 돌아다니며 이 카메라를 만든 사람들을 만나 가능한 한 많이 배워볼 수 있는 절호의 기회인 것 같군요 Noodles, 준비됐니? 거북이 사진은 없지만 멋진 사진을 많이 볼 수 있을 거야 이제 시작해보죠 휴대전화 카메라를 만들 때 가장 어려운 점은 크기예요 휴대전화는 가볍고 얇아야 하니 블루베리만 한 공간에 카메라를 집어넣어야 하죠 휴대전화 밖에서 보면 렌즈가 있는데 Pixel 2 카메라에는 사실 렌즈 6개가 겹쳐져 있어요 모양도 굉장히 특이하죠 이상한 W 같은 모양으로 돼 있는데 아주 작은 공간을 활용해서 '수차'라는 오차로 인해 사진이 왜곡되지 않도록 해야 하거든요 올해는 광학식 손떨림 방지라는 기능도 추가되었어요 렌즈 주변을 둘러싸고 있는 물리적인 부품이 있는데 그 안에 모터가 달려 있어서 여러 차원으로 렌즈를 조정할 수 있죠 초점을 맞추면 렌즈가 앞뒤로 움직이고 광학적 손떨림 보정 기능이 – 렌즈를 상하좌우로 움직이죠 – 손의 움직임을 보정하려고 움직이는 모습을 실제로 볼 수 있어요 렌즈의 1mm 뒤에는 센서가 있어서 디지털카메라의 필름과 같은 역할을 하죠 이 센서는 빛을 포착해서 전기 신호로 변환하는 감광 화소, 즉 픽셀로 덮여 있어요 올해 나온 Pixel의 이미지 센서는 1,200만 개 픽셀을 갖췄는데 각 픽셀은 좌우로 나뉘므로 사실상 부분 픽셀이 2,400만 개라고 볼 수 있죠 이건 나중에 자세히 살펴볼게요 하지만 지금 짚어볼 흥미로운 점은 센서에 심도와 자동 초점과 관련된 새 기능이 탑재되었다는 거죠 사진이 찍히는 원리를 간단하게 설명해주실 수 있나요? 실리콘 조각으로 사진을 찍을 수 있다는 것 자체가 놀라운 일이죠 센서에서 찍힌 사진을 그대로 쓰지는 못해요 어두운 데다 온통 초록색이고 불량 픽셀이 붙어 있으니까요 컴퓨터 활용 사진 기술을 이용하지 않더라도 이 이미지를 그럴듯한 최종 사진으로 만들기까지 수많은 작업이 필요하죠 이러한 작업은 모든 디지털카메라에서 이뤄져요 카메라마다 방식은 조금씩 다르지만 Pixel 2에서는 30~40단계 정도를 거치죠 저는 첫 번째 단계가 가장 흥미로웠는데요 센서에는 적색, 녹색, 청색 픽셀이 격자무늬로 배치된 물리적 색상 필터가 있어서 픽셀이 빛의 모든 색을 감지하는 대신 적색, 녹색, 청색 중 하나만 감지하죠 우리 눈은 녹색에 더 민감하기 때문에 녹색 빛은 2배로 많이 감지하고요 이쪽에 있는 적색과 이쪽에 있는 녹색과 이쪽에 있는 청색을 합쳐 색상 이미지를 만드는 거예요 – 이 과정을 '디모자이크'라고 해요 – 이 이미지는 감마값 교정과 화이트 밸런스 조정, 노이즈 제거 선명도 조정 등의 단계를 거치죠 원래 이런 단계는 하드웨어로 처리했어요 이 작업을 위해 설계된 전기 회로망이 있었던 거죠 컴퓨터 활용 사진 기술이 발전하면서 점점 소프트웨어의 비중이 높아졌죠 컴퓨터 활용 사진 기술에는 여러 가지 의미가 있지만 기본적으로 이미지 처리를 돕는 고급 알고리즘을 의미해요 Pixel 2에는 HDR+와 인물 사진 모드라는 핵심 기능이 있죠 HDR+를 개발하기로 했을 때 작은 센서가 큰 센서처럼 작동하도록 만들어주는 알고리즘이 필요했어요 그러면 저조도 사진이 잘 나오고 동적 영역도 아주 커지겠죠 아주 어두운 피사체와 밝은 피사체를 한 사진에 담을 수 있도록 말이죠 휴대전화에서 이 기능을 구현하려면 사진을 한 번에 한 장이 아니라 10장까지 찍어서 조합해야 해요 모든 사진을 저노출로 찍어서 어두운 부분과 밝은 부분을 모두 포착하는 거죠 하지만 HDR+이 단순히 모든 사진의 평균을 내는 작업은 아니에요 손이 움직이거나 피사체가 바뀔 수도 있으니까요 이미지의 각 타일을 살펴본 다음 '이 부분이 움직인 건가?' '약간 옮겨서 맞출 수 있을까?' '이 부분은 어디로 갔는지 모르겠으니 그 프레임에서 타일 하나만 없애자' 하는 식으로 작업하는 거죠 유령이 나오지 않도록 세심한 주의를 기울여요 – '유령'이 기술 용어였군요 – 네, 이중 이미지를 말하죠 유령을 쫓아낸 다음에는 미학적 결정을 내려야 해요 사진의 어두운 부분과 밝은 부분을 얼마나 합칠 것인가 하는 문제인데요 아주 어두운 곳에서 사진을 찍으면 연속 사진을 찍은 다음 평균을 내서 꽤 보기 좋은 사진을 찍을 수 있죠 그런데 낮에 찍은 것처럼 밝게 만들어야 할까요? 어두운 음영을 모두 밝게 만들고 밝은 부분만 골라서 조합하면 초현실적이거나 만화 같은 이미지가 만들어지겠죠 그러니 무엇을 버릴지 결정해야 해요 여기서 잠깐! 영상에서 Mark에게 초점이 맞춰지고 배경은 흐리게 처리된 게 보이시죠? 이걸 낮은 심도라고 하는데 대구경 렌즈와 높은 조리개 설정을 사용하여 촬영하면 이런 결과를 얻을 수 있어요 인물 사진 모드는 이 효과를 만들어내는 Pixel 2의 새 기능이죠 물론 휴대전화에서는 이 효과를 만들기가 조금 더 까다로운데요 렌즈와 조리개가 정말 작거든요 휴대전화로 사진을 찍으면 모든 부분이 선명하게 보이죠 인물 사진 모드에서는 머신 러닝과 심도 매핑을 사용하여 – 이 문제를 해결하죠 – 각 픽셀을 일반적으로 처리하는 대신 '어떤' 픽셀인지 이해하려고 하죠 사람인지, 배경인지 등 픽셀의 의미를 이해하는 거죠 신경망을 학습시키는 데는 예시가 거의 백만 개나 사용됐어요 사람, 모자를 쓴 사람 아이스크림콘을 든 사람 친구나 강아지와 포즈를 취하는 사람 등의 예시를 사용해 어떤 픽셀이 전경에 있는 사람이고 어떤 픽셀이 배경인지 파악했죠 이를 통해 알고리즘이 마스크를 만들고 이 마스크 안에 있는 것은 모두 선명하게 처리하는 거예요 그런데 마스크 밖의 피사체를 얼마나 흐리게 처리할지도 문제죠 하드웨어를 선택할 때부터 듀얼 픽셀 센서로 정해놨어요 모든 픽셀이 사실상 하위 픽셀 2개로 나뉘는데요 눈이 2개라서 세상을 2개의 다른 시야로 보는 것과 같죠 왼쪽과 오른쪽의 아주 작은 카메라를 통해서요 연필 끝부분보다도 작은 원근감의 차이만으로도 대략적인 심도 맵을 만들 수 있어요 그래서 인식되는 거리감에 따라 배경을 얼마나 흐리게 할지 대략적으로 정하는 거죠 심도 맵을 사용하면 굳이 사람을 찍지 않아도 인물 사진 모드로 접사 느낌이 나는 근사한 사진을 찍을 수 있어요 셀카를 좋아하시는 분들은 전면 카메라로도 인물 사진 모드를 사용할 수 있어요 이 에피소드를 만들기 전에는 휴대전화 카메라가 얼마나 많은 테스트와 조정을 거쳐 만들어지는지 몰랐어요 엔지니어링 분야에는 제대로 테스트하지 않았다면 망가진 거나 다름없다는 말이 있어요 지금까지 잘하고 있는지 알려주는 테스트를 어떻게 설계하냐에 따라 카메라 품질이 결정되죠 카메라를 조정할 때는 예술과 물리학이 모두 필요하고 조정할 매개변수는 수천 가지나 되죠 문제는 모든 매개변수가 서로 간섭한다는 거예요 한 가지 매개변수를 바꾸면 거기에 영향을 받는 다른 10가지도 확인해서 바꿔야 해요 그래서 수많은 자동화 테스트를 통해 자동 초점, 화이트 밸런스, 전반적인 색상 및 색조, 해상도 등을 측정하는 연구실이 있죠 이런 테스트가 불가능했다면 어떻게 됐을까요? 데이터 세트 하나를 얻는 데 몇 주가 걸렸겠죠 엔지니어링을 활용해서 하듯이 반복 작업을 할 수는 없었을 거예요 제 마음에 들었던 단계 중 하나는 로봇을 활용한 '헥사포드'였는데 동영상 안정화를 테스트하는 단계였죠 이동할 좌표를 여러 가지 줘서 느리고 부드럽게 흔들거나 미친 듯이 흔들라고 명령할 수 있어요 올해는 광학식과 전자식 손떨림 방지 모두가 동영상에 적용되었어요 광학식은 손떨림 같은 작은 움직임을 보정하고 전자식은 큰 움직임을 보정하죠 먼저 동영상 프레임을 살펴본 다음 자이로스코프 측정값을 사용해서 앞쪽의 프레임 몇 개와 비교해요 어느 방향으로 움직였는지 자이로스코프를 통해 알아내서 의미가 있는 움직임인지 판단한 다음 그 움직임을 없애버리죠 휴대전화 카메라 속에서는 수많은 작업이 실행되고 있어요 Pixel 2의 카메라도 마찬가지죠 손떨림 방지라든지 자동 초점 하나만을 주제로 해도 동영상 하나가 나왔을 거예요 이 동영상을 만드는 과정에서 카메라에 대해 정말 많이 배웠는데요 예를 들어 어두운 곳에서 자동으로 초점을 맞추기 위해 Pixel 2에서는 아주 작은 적외선 레이저 빔이 사용돼요 후면 카메라는 15g 정도니까 거의 클립 하나 무게밖에 안되고요 휴대전화 카메라는 놀랍도록 복잡해서 지금까지 살펴본 것도 아주 일부분에 불과하죠 이 에피소드 중간중간에 Pixel 2로 촬영한 사진이 들어가 있는데요 Pixel 2 카메라는 DxO 테스트 결과 최고의 스마트폰 카메라로 평가됐죠 더 자세히 알고 싶다면 이 동영상을 확인해보세요 저와 제 친구 Lo가 Pixel 2로 촬영한 동영상이에요 오늘은 여기까지예요 안녕히 계세요! Noodles는 낮잠을 자러 갈 거예요 여러분은 다른 동영상을 확인해보세요 다음에 만나요!