본문 바로가기

전체 글73

Dynamic Surface Function Networks for Clothed Human Bodies 리뷰 이 논문은 RGB-D 이미지로부터 옷+사람 몸에 대한 3D mesh를 복원하는 방법을 제안했습니다. Abstact 정리 이 논문은 옷 입은 사람의 temporal으로 일관된 mesh 복원과 트래킹을 위한 방법을 제안했습니다. 주어진 RGB-D 연속된 이미지에서, dynamic surface function network를 기반으로 한 person-specific body model을 배웁니다. MLP를 이용하여 사람의 표면을 SMPL 모델의 canonical space로 임베딩합니다. 클래식한 forward 렌더링으로 represented surface는 template mesh의 topology를 이용하여 라스터화할 수 있습니다. template mesh의 각 표면 점들에 대해 MLP는 실제 표면 위치.. 2022. 3. 28.
Semantics-Guided Neural Networks for Efficient Skeleton-BasedHuman Action Recognition 리뷰 사람의 Skeletons을 이용하여 어떤 action을 하고 있는지 classification 하는 논문입니다. Abstact 정리 최근의 논문에서는 계산 복잡성을 고려하지 않고 네트워크를 만들었습니다. 이 논문에서는 효율적인 semantic-guided 뉴럴 네트워크를 제안했습니다. High level의 semantics of joints (예를 들어, joints의 type (발인지 머리인지..) 혹은 frame index (몇 번째 frame인지))를 이용하여 feature representation capability를 높였습니다. 추가적으로 위계적으로 joint-level module(같은 프레임에서 각 joints 간의 관계를 모델링)과 frame-level module(각 프레임 간의 의존성.. 2022. 3. 22.
Multi-Instance Pose Networks: Rethinking Top-Down Pose Estimation 리뷰 Abstract 정리 보통 top-down 방식의 pose estimation 방법은 bounding box 내부에 사람이 1명 있다고 가정을 합니다. 하지만 사람이 겹쳐서 있는 경우, 하나의 bounding box에도 2명 이상의 사람이 존재할 수 있습니다. 이러한 한계를 극복하고자 이 논문에서는 Multi-Instance Pose Network (MIPNet)을 제안했습니다. MIPNet은 2D skeletons을 추정합니다. 그리고 HRNet과 비교했을 때 성능이 좋았으며 부정확한 bounding boxes을 썼을 때 (when fewer, high confidence bounding boxes are used,), HRNet은 성능이 많이 떨어졌지만, MIPNet은 비교적 덜 떨어졌습니다. Int.. 2022. 3. 22.
Pose-Guided Human Animation from a Single Image in the Wild 리뷰 코드, 동영상, 논문 Abstract 정리 기존의 pose transfer 방법들은 새로운 scene에 대해 결함이 생깁니다. 이러한 문제를 해결하기 위해 이 논문에서 제안한 네트워크는 silhouette, garment labels 그리고 texture를 생성한다고 합니다. 각각의 모듈화된 네트워크는 합성 데이터를 통해 학습이 됩니다. 그리고 inference 과정에서, 학습된 네트워크는 appearance에 관한 통일된 representation을 생성하고 다양한 pose에 동일한 garment labels를 생성합니다. 통일된 represnetation은 완벽하진 않지만 pose change에도 강력한 일정한 appearnce를 생성합니다. Introduction 정리 기존의 방법들은 같은 데이터 .. 2022. 3. 17.
Everybody Dance Now 리뷰 Everybody Dance Now https://www.youtube.com/watch?v=mSaIrz8lM1U Abstract 정리 어느 한 사람(A)의 비디오와 다른 사람(B)의 춤 추는 비디오가 주어지면 A가 B의 춤을 따라 추는 동영상을 만드는 작업을 하는 논문입니다. 이를 Motion transfer라고 합니다. 위의 그림을 보면 남자가 여자의 춤을 따라하는 것을 볼 수 있습니다. Motion transfer를 하기 위해 source subject로부터 포즈 정보를 추출합니다. 그리고 pose-to-appearance 맵핑을 통해 target subjet를 생성합니다. 이 논문의 모델은 coherent video results를 위해 2개의 연속적인 프레임을 예측합니다. 그리고 현실적인 얼굴을.. 2022. 3. 16.
PIFu: Pixel-Aligned Implicit Function forHigh-Resolution Clothed Human Digitization 리뷰 PIFu는 이미지로부터 3D surface를 만드는 task를 수행하는 모델입니다. single-view도 가능하고 multi-view도 가능합니다. view의 개수를 자유롭게 설정할 수 있습니다. Introductino 요약 voxel representation은 memory 효율이 떨어집니다. global representation 방법은 local detail을 잃고 이미지 align도 잘 되지 않습니다. encoder가 global context를 가지고 있는 각 pixel에 대한 individual feature vector를 학습할 수 있도록 했습니다. 이 per-pixel feature와 특정 z-depth를 따라 outgoing 하는 camera ray를 이용하여 상응하는 3D 포인트가 s.. 2022. 3. 14.

티스토리툴바