본문 바로가기

전체 글73

MANUS 논문 자세한 정리 Markerless Grasp Capture using Articulated 3D Gaussians라는 제목의 논문이며 전체 논문 내용은 아래 링크에서 확인할 수 있습니다.https://arxiv.org/abs/2312.02137 MANUS: Markerless Grasp Capture using Articulated 3D GaussiansUnderstanding how we grasp objects with our hands has important applications in areas like robotics and mixed reality. However, this challenging problem requires accurate modeling of the contact between hand.. 2024. 9. 6.
CLIP score, CLIP aesthetics score 란? 목차1.CLIP score란?2.CLIP score 코드3.CLIP aesthetics score란?4.CLIP aesthetics score 코드 CLIP score란?CLIP score란 주로 text-to-image task에 사용되는 지표로써, 입력 text와 생성된 image 간의 embedding cosine similarity를 측정한 값입니다. CLIP은 CLIP text encoder와 CLIP image encoder가 있습니다. text encoder에 입력 text를 넣어서 text embedding value를 얻고, image encoder에 생성된 이미지를 넣어서 image embedding value를 얻습니다. 이후 두 embedding values에 대한 cosine si.. 2024. 9. 4.
ControlNet 논문 자세한 정리 ControlNetControlNet로 유명한 논문 Adding Conditional Control to Text-to-Image Diffusion Models에 대한 정리입니다. ControlNet에 대한 짧은 정리는 다음 게시물을 참고해 주세요.5분 안에 이해하는 ControlNet 간단 정리 자료 5분 안에 이해하는 ControlNet 간단 정리 자료ControlNet 무엇을 할 수 있을까?기존의 StableDiffusion은 유저가 입력한 text로부터 이미지를 생성합니다. Bird라는 text에 맞게 새 (bird) 이미지를 생성할 수 있지만, 내가 원하는  포즈를 하고 있는 새 (bgrow-up-by-coding.tistory.com ControlNet 논문 arxiv 주소: https://a.. 2024. 9. 4.
5분 안에 이해하는 ControlNet 간단 정리 자료 자세한 정리는 다음 링크를 참고해 주세요.ControlNet 논문 자세한 정리 ControlNet 논문 자세한 정리ControlNetControlNet로 유명한 논문 Adding Conditional Control to Text-to-Image Diffusion Models에 대한 정리입니다. ControlNet에 대한 짧은 정리는 다음 게시물을 참고해 주세요.5분 안에 이해하는 ControlNet 간단 정grow-up-by-coding.tistory.com  ControlNet 무엇을 할 수 있을까?기존의 StableDiffusion은 유저가 입력한 text로부터 이미지를 생성합니다. Bird라는 text에 맞게 새 (bird) 이미지를 생성할 수 있지만, 내가 원하는  포즈를 하고 있는 새 (bird.. 2024. 8. 30.
ControlNet 학습하기, huggingface 코드 ControlNet이란?ControlNet은 Stable Diffusion의 text prompt 이외 추가적인 condition을 통해 내가 원하는 이미지를 생성할 수 있게 해주는 network입니다. 자세한 내용은 다음의 링크를 참고해 주세요!논문, 짧은 정리, 자세한 정리 ControlNet 학습하기ControlNet을 학습하기 위해 제가 사용해 볼 코드는 다음과 같습니다.https://github.com/huggingface/diffusers/blob/main/examples/controlnet/train_controlnet.py diffusers/examples/controlnet/train_controlnet.py at main · huggingface/diffusers🤗 Diffusers:.. 2024. 8. 30.
PARE: Part Attention Regressor for 3D Human Body Estimation 리뷰 논문 제목 PARE: Part Attention Regressor for 3D Human Body Estimation (ICCV2021) 논문 바로가기 https://arxiv.org/pdf/2104.08527.pdf 위의 그림은 이 논문이 제안한 PARE 모델이 occlusion(가림)에도 mesh를 이미지에 맞게 복원할 수 있다는 것을 보여줍니다. PARE 모델 이전에 나온 기존 모델인 SPIN에 비해 occlusion sensitivity heatmap의 에러 값이 낮음을 확인할 수 있습니다. 논문 제목에서도 알 수 있듯이 Part Attention Regressor를 통해 3D human body를 추정하는 모델을 제안했습니다. Abstract Figure 1에서도 알 수 있듯이 기존의 모델이 p.. 2022. 6. 20.