자율주행 차량을 위한 센서 캘리브레이션 기법
캘리브레이션이 중요한 이유
ADAS와 같이 자동화된 퍼셉션 기능이 많아질 수록 캘리브레이션이 중요해진다. 자동차의 눈이 다른 곳을 향해있다던가 목표를 제대로 보지 못하고 있다면,차선변경이나 회피기동을 올바르게 하지 못할 수도 있다.
센서의 상태는 항상 바뀔 수 있다. 진동이나 온도 변화로 바뀔 수도 있고, 사고가 나서 펜더가 휘어버린다던지 차체바디가 뒤틀림으로써 생기는 문제도 있을 수 있다. 차를 한번 사면 최소 몇년씩 타기 때문에, 차의 lifecycle 동안에는 센서의 상태가 틀어질 확률은 굉장히 높다. 그에 비해 아직 제조사들은 차에 센서를 탑재해서 full lifecycle을 겪어본 경험이 적기 때문에, 센서 캘리브레이션이 틀어졌을 때의 악효과에 대해 충분히 알지 못하며 공장 캘리브레이션 + 정비 시 캘리브레이션으로 충분하지 않을까라고 생각하는 편이다.
정비소에서 ADAS 시스템 캘리브레이션 하는 방법
정비소에서 ADAS 시스템을 캘리브레이션 하는데에는 짧게는 15분에서 길게는 몇시간까지도 걸린다. 이 때, 정비소에는 캘리브레이션을 하기 위한 특수 장비와 차고가 있어야한다. 캘리브레이션을 하기 전 차는 완벽하게 정비가 되어있어야한다 - 수평이 잘 맞아야하고, 타이어 압력도 충분히 들어가야하며 트렁크도 비어있어야한다.
캘리브레이션이 잘못 될 경우 운전자도 위험하지만 주변인도 위험해진다.
캘리브레이션의 종류
- Intrinsic : 센서의 내부 파라미터에 대한 캘리브레이션
- Extrinsic : 센서들 사이를 잇는 파라미터에 대한 캘리브레이션
- Temporal : 센서 데이터가 들어오는 타이밍/싱크를 맞추는 캘리브레이션
왠만한 카메라나 라이다는 intrinsic 캘리브레이션을 쉽게 진행할 수 있다. 또, 대부분의 ADAS 시스템이 정확한 temporal 캘리브레이션이 필요하지 않은데, 왠만하면 대부분의 카메라/라이다 데이터는 가장 가까운 프레임끼리 엮어서 써도 적당히 결과가 잘 나오기 때문이다.
하지만 Extrinsic은 진짜 정확해야한다.
캘리브레이션 방법의 종류
Target 기반 캘리브레이션 방법은 target을 바라보는 여러개의 센서 데이터를 취합해서 reprojection error를 최소화하는 최적화 기법을 사용해 센서 파라미터를 추정한다. 다양한 종류의 센서가 이 타겟을 정확하게 바라볼 수 있는 (i.e. 체커보드의 코너를 검출하게 만드는) 방법을 찾는 것이 어렵기 때문에 난이도가 높다 - 라이다/레이더/초음파로 체커보드를 검출시키는 방법이라던가, 센서들 모두 field of view가 겹쳐야한다던가… 하지만 디버깅이 제일 쉽기 때문에 하나의 데이터셋만 가지고 센서 데이터를 골라 좋은 캘리 값을 얻는 것이 가능하기 때문에 제일 인기 있는 방법으로 꼽힌다.
Ego-motion 기반 캘리브레이션 방법은 사전에 잘 만들어놓은 지도가 있을 때 센서들의 위치를 추정함으로써 (i.e. localization) 캘리브레이션을 진행하는 방식이다. 이 때, 위치추정 기법이 정확하게 수행될 수 있어야 좋은 캘리브레이션이 가능한데, 보통 위치추정 기법이 잘 동작하려면 6dof 방향으로 큰 모션이 있어야 가능하다 - 자동차의 경우 위/아래로 움직일 수가 없다. 그렇기 때문에 위아래로 움직일 수 있는 드론이나 소형 로봇에서만 사용하는 방법이다.
Appearance 기반 캘리브레이션 방법은 여러 센서들에서 나타나는 intensity 정보를 기반으로 센서들간의 자세 차이를 구하는 방법이다. (영상에서 설명해주긴 하는데 명확하게 이해가 안된다)
대학교 연구소에서 진행중인 캘리브레이션 방법들
토론토 대학 STARS Lab의 셀프 캘리브레이션
STARS Lab은 캘리브레이션 작업 자체가 사람이 하기에는 너무 정교하기 때문에, 실시간으로 센서들 사이의 셀프 캘리브레이션이 수행되어야한다고 믿고있다.
Ground truth로 삼을 수 있는 센서를 하나 준비한 후, Figure 8을 돈다거나 또는 주변 환경에서 물체를 검출해서 (e.g. 신호등) 검출한 물체들을 align한다. 이를 통해 각각의 센서들을 align 시킬 수 있다.
이 외로도 여러가지 캘리브레이션 연구를 수행중이다. 꽤나 관심가는 논문 중 하나는 Giamou 2020 - Certifiably Globally Optimal Extrinsic Calibration from Per-Sensor Egomotion - GitHub.
스탠포드 드라이빙 팀
‘캘리브레이션이 잘 된 경우’와 ‘캘리브레이션이 잘 안된 경우’에 대한 error model을 사전에 학습함. 이를 통해 센서 캘리브레이션이 잘 안되었을 때 이를 인지할 수 있으며, 시간이 지날수록 틀어지는 캘리브레이션을 검출할 수 있음.
Zoox의 CEO Jesse Levinson이 이 랩에서 박사 졸업을 했는데, 이 사람의 박사논문을 보면 상당 부분이 캘리브레이션 관련인 것을 알 수 있다. 이를 통해 아마도 Zoox는 캘리브레이션을 엄청 잘하지 않을까… 라는 생각도 한다.
나고야 대학 Takeda 랩
‘어디서든 캘리브레이션을 할 수 있다’ (Any place, any time calibration)라는 생각은 잘못된 믿음이라고 생각하는 랩이다.
Target 기반 캘리브레이션이 굉장히 잘 되기 때문에, 이를 더 사용하기 쉽게 만드는 점에 초점을 둔 랩이다.
기업에서 진행중인 캘리브레이션 방법들
OEM
차량 제조사들은 캘리브레이션 관련 여러 특허를 걸어뒀지만, 뭔가 새로운 캘리브레이션 방법론을 찾기보다는 편하게 target 기반 캘리를 할 수 있는 악세서리 개발 등에 초점을 뒀다. 이 방법들은 사실 그렇게 scalable하다고 볼 수 없으며, OEM만 이걸 쓸게 아니라 사실 애프터서비스 쪽에서도 필요한거기 때문에 잘 된거라고 볼 수 없고, 그렇기 때문에 크게 주목할 부분은 아니다.
AV Fleet
Waymo 같이 fleet을 운영하는 곳에서는 캘리브레이션에 대해 연구를 하고 있지만, 실제로는 3rdParty 회사에게 위탁 캘리브레이션을 맡겨서 운영하고 있다. 왜냐하면 차량 한대를 캘리하는데 약 60분 정도 시간이 들고 이걸 매일 해야하는데, 이건 결국 유지보수 비용으로 나가기 때문에 소중한 연구 시간을 뺏길 수 없기 때문이다. 역으로 생각하면 3rdParty 업자들에게는 기회가 있다고 볼 수 있다.
센서 제조업체
AEye 라이다의 경우 자체 SDK를 통해 셀프 캘리브레이션을 수행하고 또 테크니션들에게 diagnostic을 줄 수 있는 기능이 있다.
사실 차량회사들 입장에서는 캘리브레이션을 최대한 적게 수행하는게 이득이다. 정기적으로 캘리브레이션을 수행해야한다면 그만큼 고객은 불편함을 겪게 되는 것이기 때문에, 최대한 캘리브레이션이 필요하지 않은 센서들을 선호하게 된다.
AEye는 이와 같은 점을 고려해서 정기적인 캘리가 필요한 Rotating lidar가 아닌 Solid state lidar로 변경했다. 단단한 케이스를 만들어서 진동과 온도 변화에 강하게 만들어 캘리를 덜 자주하게 만들 수 있다.
소프트웨어 업체
많은 AI 알고리즘들이 raw 센서 데이터를 인풋으로 받아 연산을 하는 경우가 많다. 이 때문에, 캘리브레이션 값이 정확하지 않으면 동작하지 않게 되는 경우도 있고, 캘리를 다시 할 경우 AI 알고리즘도 전부 학습을 다시해야하는 경우도 있다. 이러한 부분은 연구실에서는 문제가 되지 않을 수 있으나, 양산을 하기에는 큰 문제가 될 수 있다.
영국 스타트업 LGN은 raw 센서 값을 쓰기보다는 센서의 latent space를 인풋으로 받아서 사용하는 곳도 있다. 이 latent space는 캘리 값 변화로 인한 인풋 데이터의 변화에도 상당히 강인하며, 다양한 센서 조합을 사용하는데에도 유용하다. 또, raw 센서 데이터에 대한 redundancy로도 사용될 수 있다.
애프터마켓 솔루션
Bosch와 같은 곳에서는 캘리브레이션을 쉽게 할 수 있는 솔루션을 개발해서 판매하고 있다. 하지만 엄청 비싸다. 이런 부분에 대해 Bridgestone 같은 3rdParty 회사들에서 기회를 보고 있다 (Bridgestone은 타이어 회사인데, 여러 정비소 지점을 가지고 있기 때문에 정비소마다 캘리툴을 배치하려는 노력을 하고 있다 - 캘리 정비소 시장을 먹겠다는 것).