Lambertian reflection

Stereo Depth Estimation 복습하다 feature matching파트에서 pixel level matching이 힘든 이유로 non-lambertian 인 경우가 있어서 lambertian과 specular reflection을 복습해봤다. (foreshorteningd, noise도 있는데 foreshorening은 region matching이나 object matching에서 더 문제 아닌가 싶음) 그리고 NeRF가 왜 좋은지, 즉 어떻게 non-lambertian refelecting surface를 modeling할 수 있는 지 공부하겠다. 

Stereo Depth Estimation: 1. Calibrate cameras: get extrinsics and intrinsics -> 2. Rectify two images, so they are in the same plane and parallel -> 3. Feature matching and get disparity (x difference) -> 4. Compute depth

 Lambertian reflection을 보통은 어느 각도에서 보냐에 (viewing direction) 상관없이 luminance 가 일정하다는 개념으로 먼저 떠올리지만, 그건 하나의 특성이지 정확한 개념은 다르다. 정확한 개념은 geometry적인 개념이다. Lambertian reflection은 incoming light을 모든 방향으로 reflect한다는 것 (i.e., diffuse model), 그와 다르게 specular reflection은 incoming light을 입사각과 같은 각도로 normal vector기준 반대 방향으로 reflect한다는 것. (쓰고보니 그게 그거인거같네 ㅋㅋ 극소의 surface에서 모든 incoming light들의 적분을 한 luminance는 viewing direction에 invariant하니까.) Lambertian은 dull, matt 재질 (무광택, 울퉁부퉁한 재질)에서 나타나고 specular reflection은 mirror 재질에서 나타남. https://robotacademy.net.au/lesson/reflection-and-reflectance/ 이 분 말로는 lambertian이 더 realistic하다고 하네.

https://robotacademy.net.au/lesson/reflection-and-reflectance/

참고로 Lambertian reflection surface에서는 BRDF (Bidirectional Reflection Distribution Function)가 상수함수이다. 그래서 luminance, 여기서는 surface brightness 가 다음과 같다. 

https://en.wikipedia.org/wiki/Lambertian_reflectance

BRDF는 incoming direction과 viewing direction에 대한 함수로,  incoming light (irradiance, E)에 대한surface brightness from the viewing direction의 비율이다. 

 

NeRF가 중요한 이유는 타겟 scene 혹은 object surface의 BRDF공식을 몰라도 non-lambertian surface modeling을 data-driven (sufficient multi-view images) 방식으로 optimize할 수 있다는 것이다. viewing direction을 xyz coordinate과 같이 input으로 사용하기 때문에 viewing direction에 따라 달라지는 color를 modeling한다. SRN에서는 아마 xyz coordinate만 input으로 쓰는 것 같음. NeRF can model viewdependent effects such as specularities. 

https://medium.com/p/2a082e13c6eb

그렇지만 사실 neural volume 논문에서 decoder에 viewing direction을 conditional하게 주는 방법론을 제시하긴 했었음. 여러가지 면에서 NeRF가 Neural Volume과 하는 일은 똑같긴한데 접근하는 methodology가 다름. 선배가 자기는 NeRF가 Neural Volume과 뭐가 다른지 모르겠다고 부정적으로 말했었는데, NeRF가 그때당시의 선배를 리뷰어로 만났다면 떨어졌겠지. 리뷰를 하는 대부분의 리서치들이 같은 task혹은 같은 기능을 다른 방법으로 성취하는 것에 대해 관용적이지 못한 것 같은데 (ex. 그거 왜 그렇게 함. 기존에 하던대로 하거나 기존 걸 좀 tweak하면 너거보다 나을 거 같은데?), 좀 고칠 필요가 있다고 생각함.  그냥 유행하는 기법을 무지성으로 갖다 쓰는 것을 경계하는 것에는 동의하지만, 자기가 그냥 snobby한건지 신중한 건 지 자기객관화를 자주해야함.