전체 글120 VLM이란? AI는 어떻게 사진을 보고 대화할 수 있을까? 최근 ChatGPT와 같은 AI에게 사진을 하나 올리고"이 사진에 뭐가 있어?"라고 질문하면 사진 속 내용을 꽤 정확하게 설명해줍니다. 단순히 물체의 이름만 알려주는 것이 아니라,사진 속 사람이 무엇을 하고 있는지음식이 어떤 종류인지그래프가 무엇을 의미하는지문서에 어떤 내용이 적혀 있는지까지 설명할 수 있습니다. 이처럼 이미지를 보고, 그 내용을 언어로 이해할 수 있는 AI를 만드는 핵심 기술 중 하나가 바로 VLM(Vision-Language Model)입니다.VLM이란?VLM은 Vision-Language Model의 약자입니다.이름 그대로 두 종류의 정보를 함께 다루는 AI입니다.Vision → 이미지, 사진Language → 글, 질문, 문장 즉,이미지를 이해하는 능력과 언어를 이해하는 능력을.. 2026. 9. 29. Articulate-Anything | VLM이 Articulated Object을 스스로 코딩한다? Articulate-Anything: Automatic Modeling of Articulated Objects via a Vision-Language Foundation Model https://arxiv.org/pdf/2410.13882 로봇이 실제 환경에서 다양한 물체와 상호작용하려면 먼저 물체가 어떻게 움직일 수 있는지 알아야 합니다. 예를 들어 서랍장은 단순한 하나의 3D Mesh가 아닙니다.Cabinet ├── Body ├── Drawer 1 ── Prismatic Joint ├── Drawer 2 ── Prismatic Joint └── Drawer 3 ── Prismatic Joint각 서랍이 별도의 Part로 존재하고,어느 방향으로 움직이는지얼마나 움직일 수 있는지어느 위치를 기준으로 움.. 2026. 9. 29. 다이어트 때 칼로리 입력은 이제 그만? 음식 사진을 AI에게 요즘 AI에게는 텍스트뿐만 아니라 사진도 보여줄 수 있습니다.예를 들어 음식 사진 한 장을 보여주고이게 무슨 음식이야?라고 물어보면 꽤 그럴듯하게 음식 이름을 알려줍니다. 그렇다면 여기서 한 단계 더 나아가 볼 수 있지 않을까요?사진만 보고 이 음식의 칼로리까지 계산할 수 있을까?이번 글에서는 AI에게 음식 사진을 보여주고음식 인식 ↓재료 추정 ↓음식의 양 추정 ↓칼로리 계산까지 가능한지 알아보겠습니다.먼저 AI에게 음식 사진을 보여줘 보자 사진을 AI에게 보여주면서 다음과 같이 질문해볼 수 있습니다.이 사진 속 음식들을 분석해줘.1. 음식의 종류2. 각 음식의 예상 양(g)3. 각 음식의 예상 칼로리4. 전체 예상 칼로리5. 판단하기 어려운 부분을 표로 정리해줘.단순히칼로리가 몇이야?.. 2026. 9. 29. AI에게 방 사진을 보여주면 인테리어를 바꿔줄 수 있을까? 요즘 생성형 AI는 단순히 새로운 이미지를 만드는 것을 넘어, 기존 사진을 원하는 방향으로 수정하는 것도 꽤 잘합니다.그렇다면 이런 것도 가능할까요?내 방 사진을 AI에게 보여주고"좀 더 예쁘게 꾸며줘"라고 하면 실제로 인테리어를 바꿔줄 수 있을까?방을 직접 꾸미기 전에가구를 바꾸면 어떤 모습일지벽 색상을 바꾸면 어떤 분위기가 날지미니멀하거나 따뜻한 느낌으로 꾸미면 어떨지미리 볼 수 있다면 꽤 유용할 것 같습니다. 그래서 이번에는 방 사진 한 장을 AI에게 보여주고 실제로 인테리어를 바꿔보겠습니다.방 사진 한 장을 준비해보자먼저 AI에게 보여줄 방 사진이 필요합니다.가능하면 방 전체의 구조가 어느 정도 보이는 사진이 좋습니다. 예를 들어침대책상창문벽조명수납장등이 한 장의 사진에 함께 보이면 AI가 방의 .. 2026. 9. 28. Spring-Mass System이란? | 질량과 스프링으로 물체를 시뮬레이션하는 방법 천, 고무, 인형처럼 변형되는 물체(Deformable Object)를 컴퓨터에서 시뮬레이션하려면 어떻게 해야 할까요?가장 직관적인 방법 중 하나는 물체를 여러 개의 작은 점으로 나누고, 이 점들을 스프링으로 연결하는 것입니다.이러한 방법을 Spring-Mass System 또는 Mass-Spring System이라고 합니다.여기서질량을 가지는 ParticleParticle 사이를 연결하는 Spring로 표현합니다. 복잡한 물체의 변형을 직접 계산하는 대신,질량을 가진 점들이 스프링으로 연결되어 있다고 생각하고 물체의 움직임을 계산하는 것이 Spring-Mass System의 핵심 아이디어입니다.왜 물체를 Spring으로 표현할까?예를 들어 천의 양쪽을 잡아당긴다고 생각해 보겠습니다.천을 잡아당기면 늘어.. 2026. 9. 28. [Differentiable Physics 실습 #3] 물체의 움직임으로 가해진 힘을 역추정해보기 안녕하세요.지난 실습에서는 중력과 바닥 충돌까지 추가한 Spring-Mass System을 만들고, 물체의 움직임을 이용해 물리 파라미터를 역으로 찾아보았습니다. 이번에는 조금 다른 문제를 풀어보겠습니다.천이 움직이는 모습을 관찰했을 때, 어떤 힘을 가해야 이러한 움직임이 만들어지는지 역으로 찾을 수 있을까요?일반적인 Forward Simulation에서는External Force ↓Physics Simulation ↓Object Motion처럼 힘을 입력하고 물체의 움직임을 계산합니다. 이번에는 반대로Target Motion ↓Physics Simulation ↓Trajectory Loss ↓Gradient ↓External Force Update를.. 2026. 9. 27. 이전 1 2 3 4 ··· 20 다음
