영상 정리 · AI·개발

피지컬 AI 두뇌를 만드는 1인 기업, 오늘 시작합니다

로봇 없이, 유료 하드웨어 없이, 컴퓨터 한 대와 무료 도구만으로 로봇 팔에게 물건 옮기는 법을 학습시키는 실습 영상. 오픈AI의 2018년 로봇 손 연구부터 강화학습의 기초, 시뮬레이터의 함정, 코랩 실습, 피지컬 AI 사업 기회까지 이어진다

원본 · 이 글의 근거

원본 · 이 글의 근거

• 채널 CONNECT AI LAB
• 27분 38초
• 2026-08-22 공개
• 조회 4,483회 · 좋아요 233 (2026-08-23 기준)
• 영상 보기

목차 · 15개 장

1. 0장먼저 알아야 할 것
2. 1장인트로 — 로봇 없이, 0원으로, 오늘 시작한다
3. 2장오픈AI가 챗GPT 전에 몰두했던 것 — 2018년 로봇 손 연구
4. 3장강화학습이란 무엇인가 — 그리고 해설자가 걸어온 길
5. 4장손이 가장 어려운 과제인 이유 — 그리고 시뮬레이터 색깔이 계속 바뀌는 이유
6. 5장슈퍼마리오 1탄과 2탄이 알려주는 시뮬레이터의 함정
7. 6장학습 방법 두 갈래 — DQN vs PPO, 성공을 가르는 세 가지 과제
8. 7장왜 혼자 갖지 않고 나누는가
9. 8장짐나지움과 무조코 — 오픈AI가 만든 연습장
10. 9장코랩에서 첫 실행, 오류, PPO 재학습
11. 10장안티그래비티로 학습 상황판 만들기 — 보상 곡선과 로봇 팔이 배우는 과정
12. 11장허깅페이스에 두뇌 올리기, 그리고 피지컬 AI의 사업 기회
13. 덧붙임원문에서 더 확인한 것
14. 부록 A낱말 정리표
15. 부록 B못 믿을 것

0장먼저 알아야 할 것

이 영상은 낱말 여섯 개를 안다고 전제하고 말합니다. 하나씩 풀고 갑니다.

피지컬 AI (physical AI)

챗GPT처럼 글로 묻고 글로 답하는 AI와 달리, 몸을 갖고 실제 세상에서 움직이는 AI를 말합니다. 로봇 팔이 물건을 잡거나, 로봇이 걷거나, 자율주행차가 핸들을 꺾는 것처럼 몸의 움직임을 결정하는 두뇌가 피지컬 AI입니다. 이 영상은 그 두뇌를 처음부터 만들어 보는 실습입니다.

강화학습 (reinforcement learning)

정답을 미리 알려주지 않고, 여러 번 시도하고 그 결과에 따라 상과 벌을 주면서 스스로 잘하는 방법을 찾게 하는 AI 학습 방식입니다. 사람이 자전거를 처음 탈 때 넘어지고 다시 타고를 반복하면서 균형 잡는 법을 몸으로 익히는 것과 비슷합니다. 로봇의 몸 움직임을 학습시키는 데 가장 널리 쓰이는 방법이고, 이 영상 전체가 이 강화학습을 다룹니다.

에이전트 (agent)

강화학습에서 직접 행동하고 그 결과로 배우는 주체를 가리킵니다. 이 영상에서는 로봇 팔을 움직이는 AI 프로그램이 에이전트입니다. 사람이 하나하나 조종하는 게 아니라, 에이전트가 스스로 움직여 보고 잘된 것과 안된 것을 구분해 갑니다.

시뮬레이터 (simulator)

실제 로봇과 실제 물건 대신, 컴퓨터 안에 만든 가짜 세상입니다. 진짜 로봇 팔을 수만 번 움직여 가며 학습시키면 로봇이 망가지고 시간도 오래 걸리지만, 시뮬레이터 안에서는 공짜로 수만 번 실패해도 됩니다. 그래서 강화학습은 대부분 시뮬레이터 안에서 먼저 학습한 다음, 그 결과를 실제 로봇에 옮겨 넣습니다.

시뮬레이션-투-리얼 갭 (sim-to-real gap)

시뮬레이터 안에서 아무리 잘 학습해도, 실제 로봇에 옮겨 넣으면 잘 안 되는 경우가 많습니다. 가짜 세상과 진짜 세상 사이에 늘 존재하는 이 차이를 시뮬레이션-투-리얼 갭이라고 부릅니다. 이 영상에서 해설자가 "성공을 가르는 세 가지 과제" 중 하나로 꼽는 것이 바로 이 갭을 줄이는 일입니다.

에피소드 (episode)

시뮬레이터가 켜져서 로봇이 움직이기 시작한 뒤, 목표를 이루거나 실패해서 다시 처음부터 시작하기까지의 한 판을 말합니다. 슈퍼마리오가 시작해서 적에게 맞아 죽으면 그게 한 에피소드가 끝난 것이고, 로봇 팔이라면 물건 옮기기에 실패하면 한 에피소드가 끝납니다. "에피소드 5,000번 학습한다"는 이 한 판을 5,000번 반복한다는 뜻입니다.

1장 · 0:00–0:53인트로 — 로봇 없이, 0원으로, 오늘 시작한다

영상은 선언으로 시작합니다.

"저는 지금부터 피지컬 AI의 두뇌를 만드는 1인 기업을 만들 겁니다. 그리고 그 과정을 여러분들에게 모두 공유하도록 하겠습니다. 이 과정을 통해서 여러분은 피지컬 AI의 학습 방법인 강화학습의 기초부터 시뮬레이션, 그리고 사업으로의 확장, 수익 창출까지 이 모든 것을 자연스럽게 배우실 수 있을 겁니다."

제이 (CONNECT AI LAB) [00:00]

이 영상 하나를 다 들으면 로봇 팔을 움직이는 인공지능 두뇌를 직접 만들어 볼 수 있다고 말합니다. 조건은 하나입니다. 하드웨어(실제 로봇)는 필요 없고, 컴퓨터 한 대만 있으면 됩니다. [00:00]

해설자는 자신을 "커넥트 AI랩(CONNECT AI LAB)의 AI 멘토 제이"라고 소개합니다. [00:35]

2장 · 0:53–1:08오픈AI가 챗GPT 전에 몰두했던 것 — 2018년 로봇 손 연구

영상이 가장 먼저 꺼내는 것은 2018년 연구입니다.

"가장 먼저 우리가 봐야 될 건 요겁니다. 2018년도에 나온 연구인데, 여러분들이 알고 있는 챗GPT를 만든 오픈AI가 사실은 이 로봇, 피지컬 AI의 두뇌를 만드는 그런 연구를 아주 깊게 했습니다."

제이 [00:53]

3장 · 1:08–2:50강화학습이란 무엇인가 — 그리고 해설자가 걸어온 길

피지컬 AI, 특히 로봇의 학습 방법 중 가장 핵심이 강화학습이라고 설명합니다.

"강화학습이라고 하는 거는 시뮬레이션이라는 가상의 세상을 만들어 놓고, 그 세상에서 여러 개의 인공지능 에이전트들을 넣어서 실험도 하고 경험도 하고, 그 경험을 통해서 데이터를 쌓고 그것으로 학습을 하는 방법입니다."

제이 [01:08]

해설자는 강화학습이 자신의 전공이며, 이 방법만으로 논문 두 편을 썼다고 밝힙니다. 그가 처음 인공지능을 공부한 것은 2012년인데, 그때는 학습 방법이 아직 정착되지 않아 교과서도 거의 없었고 가르쳐 줄 사람도 없어 혼자 고생했다고 말합니다. [01:42]

"지금 이렇게 피지컬 AI 시대가 왔고 산업이 엄청나게 커지고 있고 돈이 막 들어오고 있는데, 여기에 참여자는 별로 없단 말이에요. 그래서 아, 내가 그렇게 고생을 했었던 게 바로 여러분들에게 이런 걸 교육하기 위함이었구나라는 생각이 듭니다."

제이 [01:42]

그리고 겉핥기로 배우면 안 되고 뿌리부터 흐름을 알아야 지금의 강화학습과 피지컬 AI를 쉽게 이해할 수 있다며, 그 뿌리로 다시 앞서 본 오픈AI의 로봇 손 연구로 돌아갑니다. [02:17]

4장 · 2:50–4:30손이 가장 어려운 과제인 이유 — 그리고 시뮬레이터 색깔이 계속 바뀌는 이유

2018년 연구 화면을 자세히 설명합니다. 로봇 손 주위에 여러 대의 카메라가 있고, 손안에 큐브가 하나 있습니다. 화면 오른쪽에는 목표(골)로 삼을 큐브 모양이 나와 있고, 로봇 손이 손가락 관절을 움직여 지금 쥔 큐브를 그 목표 모양과 똑같이 맞추는 것이 과제입니다. [02:50]

해설자는 실제로 뉴립스(NeurIPS, AI 학회) 현장에서 이 연구를 직접 봤다고 말합니다.

"손가락에 관절이 하나 둘 셋 넷 다섯, 굉장히 많은 관절들이 있어서 우리가 이렇게 손 까딱까딱 하는 거, 뭐를 풀고 잡고 하는 거. 아직까지도 가장 어려운 과제가 뭐냐면 로봇이 수건을 잡고 물병을 잡고 무언가를 접고 이렇게 하는 걸 가장 어려워합니다."

제이 [03:22]

사람 손은 이걸로 키보드도 치고 머리도 만지는데, 그만큼 손은 로봇에게 아주 어려운 과제라는 것입니다. [03:56]

그다음 해설자는 화면 속 시뮬레이터의 색깔이 계속 바뀌는 이유를 짚습니다.

"강화학습이라고 하는 거는 학습을 할 때 완전히 똑같은 상황에서만 학습을 해 버리면은, 이게 거기서 조금만 환경이 벗어나도 완전히 다른 걸로 인식을 합니다."

제이 [03:56]

5장 · 4:30–6:11슈퍼마리오 1탄과 2탄이 알려주는 시뮬레이터의 함정

해설자는 2018년 9월 3일 자신이 발표했던 강화학습 튜토리얼을 예로 듭니다. 그때 슈퍼마리오를 강화학습으로 학습시켰는데, 1탄을 잘 깨는 에이전트를 만드는 데는 성공했습니다 — 점프도 잘하고, 적이 나타나면 피하고, 불꽃도 쏘았습니다. [04:30]

"1탄과 2탄의 큰 차이점은 낮과 밤입니다. 1탄에서 잘하는 인공지능 에이전트를 만들어도 2탄에 가면 완전히 못 해요. 완전히 그냥 똥멍청이가 되어 버립니다."

제이 [05:04]

여기서 해설자는 이 영상 전체를 관통하는 핵심 문장을 말합니다.

"피지컬 AI 두뇌에서 가장 중요한 점은 다양한 형태, 다양한 환경, 다양한 상황들을 주면서 얘가 그 상황에서도 잘할 수 있도록 만드는 게, 피지컬 AI 두뇌의 가장 큰, 엄청나게 중요한 부분입니다."

제이 [05:04]

그래서 시뮬레이터 안에 여러 에이전트를 두고 다양한 상황을 학습시킨 뒤, 그 결과의 평균치를 실제 하드웨어에 넣는다고 설명합니다. 그리고 이 과정에서 발생하는 문제가 여러 개 있다며, 첫 번째로 "시뮬레이터를, 가상 환경을 얼마나 실제처럼 잘 만들 수 있느냐"를 꼽습니다. [05:37]

6장 · 6:11–7:54학습 방법 두 갈래 — DQN vs PPO, 성공을 가르는 세 가지 과제

문제의 두 번째는 어떤 학습 방법을 쓸 것인가입니다. 강화학습 안에서도 갈래가 여럿인데, 영상은 두 가지를 짚습니다.

"DQN이라는 것과 PPO라고, 이 두 개로 나눠져 있는데, DQN은 디스크리트 액션이라고 해서, 예를 들면 슈퍼마리오처럼 점프, 불꽃을 쏜다, 앞으로 간다, 뒤로 간다, 이렇게 명확하게 행동이 있는 것들에서 사용하는 알고리즘이고, PPO라는 건 확률적으로 접근을 하는 건데 이런 로봇처럼 여러 개의 근육이 한 번에 움직일 때 PPO를 씁니다."

제이 [06:11]

정리하면 DQN은 "점프한다/안 한다"처럼 선택지가 딱 정해진 행동에 쓰고, PPO는 로봇 관절처럼 힘의 세기를 이어진 범위 안에서 정해야 하는 행동에 씁니다.

문제의 세 번째는 시뮬레이터에서 아무리 잘 학습해도 실제 로봇에 넣으면 잘 안 되는 경우입니다. 시뮬레이터가 아무리 정교해도 실제 로봇과는 다르기 때문입니다(이 영상 0장에서 설명한 시뮬레이션-투-리얼 갭입니다). [06:45]

세 가지를 정리하면 이렇습니다.

1. 시뮬레이터를 실제처럼 잘 만들어야 한다
2. 적절한 학습 방법(DQN 또는 PPO)을 써야 한다
3. 학습한 것을 실제로 넣었을 때 생기는 차이(시뮬레이션-투-리얼 갭)를 최소화해야 한다

"이걸 얼마나 잘하느냐, 이 자체가 성공을 좌지우지할 정도로 굉장히 중요한 겁니다."

제이 [07:20]

해설자는 청소하기, 사람과 손잡고 횡단보도 건너기, 강아지 산책시키기 같은 과제가 이때(2018년)도 큰 목표였다며, 앞으로 3~4년 안에 피지컬 AI·로봇 분야가 크게 발전할 것이고, 지금 참여자가 적기 때문에 지금 뛰어드는 사람이 높은 성공 확률을 가질 것이라고 전망합니다. [07:54]

7장 · 7:54–9:34왜 혼자 갖지 않고 나누는가

해설자는 스스로 질문을 던집니다. "이걸 왜 혼자만 알지 않고 알려 주나요?"

"이런 공부를 여러분들에게 알려 드리고, 여러분들이 이 기회를 찾아서 뭐 회사를 만들건 아니면 수익 창출을 하건, 이 과정을 통해서 굉장히 많은 아이디어가 생길 거고 수익화 방법들이 생겨나게 될 텐데, 이 방법을 통해서 여러분들이 공부하고 사업화하고 돈도 벌고, 또 돈뿐만 아니라 꿈과 희망을 찾고 삶을 더 잘 사는 이 과정을 보는 것 자체가 제가 피지컬 AI로 성공하는 것보다 더 행복하고 더 의미가 있기 때문에 이걸 하는 겁니다."

제이 [08:28]

그리고 오늘 다룰 범위를 정리합니다. 앞서 나온 성공의 세 가지 조건 — 시뮬레이터, 학습 방법, 갭 줄이기 — 중에서 세 번째(갭 줄이기)는 실제 하드웨어가 있어야 해 볼 수 있으므로, 오늘은 첫 번째와 두 번째만 다룬다고 밝힙니다. [09:02]

8장 · 9:34–13:09짐나지움과 무조코 — 오픈AI가 만든 연습장

오픈AI가 강화학습에 진심이었던 회사였다는 것을 보여주는 도구가 나옵니다. 오픈AI가 만든 시뮬레이터 모음입니다.

"원래는 오픈AI 짐(Gym)이라고 했습니다. 여기 깃허브가 있어서 코드들이 쭉 있는데, 짐에서 2021년부터 짐나지움(Gymnasium)이라는 걸로 바뀌었습니다."

제이 [09:34]

짐나지움은 환경(environment)을 제공합니다. AI 에이전트가 학습할 수 있는 가상의 놀이터 같은 것으로, 클래식 컨트롤·박스2D·토이 텍스트·무조코(MuJoCo)·아타리 등 여러 갈래가 있습니다. 오늘은 그중 무조코를 씁니다. [10:08]

무조코 안에는 개미, 치타, 호퍼, 휴머노이드 같은 여러 캐릭터 환경이 있는데, 오늘은 2장에서 본 로봇 팔과 가장 비슷한 "푸셔(Pusher)" 환경을 다룹니다. [10:41]

이 환경을 이해하는 데 필요한 두 낱말이 나옵니다.

액션 스페이스 (action space)

로봇이 할 수 있는 행동의 종류를 정의한 정보입니다. 예를 들어 "삥 하며 움직인다, 탁 잡는다, 오른쪽으로 돈다" 같은 것들이 여기 담깁니다.

옵저베이션 스페이스 (observation space)

로봇이 지금 무엇을 보고 있는지에 대한 관찰 정보입니다. 로봇 팔의 위치, 옮기려는 목표물의 위치처럼 눈으로 보는 것과 비슷한 정보가 여기 담깁니다.

해설자는 이 모든 걸 다 알려면 10년 이상 강화학습을 공부해야 하니, 중요한 것만 뽑아서 바로 실습해 보자고 제안합니다. [11:50]

9장 · 13:09–19:13코랩에서 첫 실행, 오류, PPO 재학습

실습이 시작됩니다. 짐나지움을 불러와서 Pusher-v5 환경을 만드는 코드를 오른쪽 버튼으로 복사합니다. [12:25]

이 코드를 어디서 돌릴지가 문제인데, 해설자는 좋은 컴퓨터가 없어도 되는 방법을 제시합니다.

"구글의 코랩으로 들어가면, 구글이 빌려주는 컴퓨터를 우리가 사용해 볼 수가 있습니다. 여기서 연결 오른쪽 아래 있는 걸 누르면 런타임 유형 변경이라고 있고, 여기에 GPU를 사용할 수 있어요."

제이 [12:59]

코랩(Google Colab)에 복사한 코드를 붙여넣고, AI에게 이렇게 지시합니다 — "환경은 Pusher-v5, 행동은 익스플로레이션(탐험), 에피소드 50회로 학습해 줘." 여기서 익스플로레이션(탐험)이란, 시뮬레이터가 처음부터 잘 되지 않기 때문에 이렇게도 해 보고 저렇게도 해 보면서 경험을 쌓는 과정을 말합니다. [14:03]

실행하니 No module named mujoco라는 오류가 났습니다. 필요한 패키지가 설치되어 있지 않았던 것입니다. AI가 스스로 원인을 찾아 pip install gymnasium[mujoco]로 무조코를 설치하라고 코드를 고쳐 줍니다. 다시 실행하니 "50회의 에피소드 탐색이 완료되었습니다"라는 결과가 나왔지만, 학습이 실제로 어떻게 되었는지는 눈에 보이지 않았습니다. [14:57]

그래서 "시뮬레이션 시각화를 추가해 달라"고 요청합니다. 코랩은 별도의 시각화 창을 띄울 수 없어서, 50번 학습한 과정을 녹화한 영상으로 보여줍니다. 결과는 좋지 않았습니다.

"봅봅 돌면서 이 목표 자체를, 얘를 여기다가 놓는 걸 이제 학습을 해야 되는데 전혀 하지 못하고 있습니다."

제이 [15:45]

여기서 해설자는 PPO(Proximal Policy Optimization) 알고리즘을 적용해 보자고 제안합니다.

"이 PPO라는 논문인데, 인간을 휘온드는(능가하는) 오픈AI가 만든 그 PPO라고 불리는 알고리즘이에요. 어려워 보이는 수식들이 있지만 별건 아닙니다. 관절뿐만 아니라 여러 개의 근육들이 한 번에 움직이거든요. 이렇게 액션들의 스페이스가 많은 것들을 할 때 쓰는 방법입니다."

제이 [15:45]

AI에게 "PPO 방법을 사용해서 재학습해서 조금 더 잘 만들어 보자"고 지시하니, 코드가 pip install stable-baselines3를 실행합니다. 이건 누군가 이미 PPO 알고리즘을 구현해서 올려 둔 파이썬 도구로, 이걸 설치해서 바로 가져다 쓰는 것입니다. [16:52]

코드는 Pusher-v5 환경에 PPO 모델을 만들고, 10만 번(timesteps) 행동을 반복하며 학습하도록 짜여 있었습니다. 학습이 끝나면 모델을 압축해 저장하고, 그 모델을 다시 로봇 팔 환경에 불러와 실제로 잘 되는지 테스트합니다. [17:28]

실행 시간이 오래 걸렸습니다. 해설자는 이 환경이 작아서 GPU가 크게 필요하지 않고 대부분 CPU를 쓰는데, 코랩이 무료로 빌려주는 컴퓨터라 속도가 느린 것 같다고 짐작합니다. [18:37]

10장 · 19:13–24:14안티그래비티로 학습 상황판 만들기 — 보상 곡선과 로봇 팔이 배우는 과정

코랩이 계속 학습하는 동안, 해설자는 다른 방법을 하나 더 보여줍니다. 구글 안티그래비티(Google Antigravity)입니다.

"구글의 안티그래비티 자체는 바이브 코딩 툴인데, 여기에서 이 코드를 싹 가지고 와서 구글이 아닌 내 컴퓨터에서 학습을 시키고 환경도 만들고, 웹서비스처럼 만들어서 정말 멋있게 시각화할 수 있습니다."

제이 [19:11]

안티그래비티는 구글이 2025년 말 출시한 AI 코딩 도구(IDE)로, 자연어로 지시하면 AI 에이전트가 직접 코드를 짜고 실행하고 결과를 보여주는 방식으로 동작합니다. 학습 코드를 붙여넣고 "학습 과정을 시각화하고, 모델을 저장·압축하고, 특징을 최대화해서 과정을 모두 볼 수 있게 해 줘"라고 지시하자, 웹사이트 형태의 학습 상황판을 만들어 줍니다. [19:44]

상황판에는 5,000/2,000/500 에피소드 중 고를 수 있는 옵션이 있습니다. 500번은 약 12초, 2,000번은 약 45초, 5,000번은 약 1분 8초가 걸린다고 표시됩니다. 해설자는 5,000번을 선택해 학습을 시작합니다. [20:52]

학습 목표는 흰색 물체를 빨간색 위치까지 옮기는 것입니다. 로봇 팔이 이 동작을 여러 번 반복하면서, 목표까지의 거리가 0에 가까워지도록 일곱 개 관절의 모터값(액션 스페이스)을 찾아갑니다. [21:26]

화면에는 에피소드 누적 보상 곡선이 함께 뜨는데, 학습이 진행될수록 조금씩 높아지는 것이 보입니다. 해설자는 강화학습에서 보상 설정이 왜 중요한지를 이렇게 풀어 설명합니다.

"흰색의 목표물이 빨간색에 가깝게 가면 갈수록 보상을 더 많이 줄 겁니다. 로봇 팔이 여러 개를 이렇게 해보면서, 지금 빨간색에 가장 가깝게 오브젝트를 놓을 때마다 칭찬을 받는 거죠. '아, 너 잘했어, 더 가깝게 놔봐' 이렇게 하니까, '아, 이 근처에다 놓게 되면 내가 칭찬을 받는구나, 더 잘해야지' 그러면서 보상 자체를 점점 늘리는 행동들을 학습하고 선택을 하게 됩니다."

제이 [22:35]

중간중간 저장된 "학습 성장 마일스톤" 영상을 보면 변화가 뚜렷합니다. 학습하지 않았을 때는 로봇 팔이 아예 움직이지 않다가, 50번 정도 학습하면 팔을 조금씩 움직이고, 조금 더 지나면 물체를 살짝 밀어 보고, 그다음엔 잡으려고 시도하고, 더 지나면 목표에 더 가깝게 밀게 됩니다. [23:08]

"로봇 팔이 한 번도 움직이지 못하는 상태였었는데, 조금조금씩 팔도 꼬물꼬물하면서 배우다가, 이제는 한 1분 정도 2분 정도 학습을 하니까 얘가 이제 살짝 옮길 수 있게 되었네, 빨간색으로 조금 더 가까이 갈 수 있게 되었네."

제이 [23:40]

완전히 잘하려면 몇 시간은 더 학습해야 한다며, 교육용으로는 이 정도까지만 보여주고 다음으로 넘어갑니다. [23:40]

11장 · 24:14–27:38허깅페이스에 두뇌 올리기, 그리고 피지컬 AI의 사업 기회

학습된 PPO 모델을 저장하면 압축된 모델 파일(폴리시)이 나오고, 이 파일을 다운로드해서 실제 로봇에 넣을 수 있다고 설명합니다. 또는 허깅페이스(Hugging Face) — AI 모델을 모아 두는 커뮤니티 — 에 "강화학습(Reinforcement Learning)" 태스크로 분류해서 이 모델을 업로드할 수도 있습니다. [24:14]

해설자는 코랩이 10만 번 학습을 여전히 돌리고 있다며, 직접 따라 할 사람은 10만 대신 1 정도의 작은 숫자로 바꿔서 실행하면 훨씬 빠르게 테스트해 볼 수 있다고 조언합니다. 컴퓨터에 여유가 있다면 앞서 보여준 안티그래비티 방식을 쓰라고도 덧붙입니다. [24:46]

영상은 오늘 다룬 범위를 정리합니다 — 오픈AI의 2018년 연구부터 시뮬레이터·강화학습 기초, 그리고 시뮬레이터에서 실제로 학습해 보는 것까지 전부 해 봤다고 요약합니다. 그리고 피지컬 AI 산업은 계속 커지는 중이고 참여자는 여전히 적다고 다시 강조합니다. [25:18]

마지막으로 사업 기회를 구체적으로 나열합니다.

"이 과정에서 인공지능 두뇌만 하더라도 되게 많은 사업들이 있습니다. 데이터 사업도 있고요, 그리고 에이전트가 로봇 팔뿐만 아니라 휴머노이드도 있을 거고, 청소하는 것도 있을 거고, 자동차도 있을 거고, 굉장히 여러 가지로 나눠지게 되는데, 여기서 특화된 인공지능 모델을 만드는 것도 있고, 특화된 데이터셋을 만드는 것도 있고, 사람이 휴머노이드를 구입했는데 내 집에 맞게, 내 성향에 맞게 커스터마이즈 하는 일도 필요하게 될 겁니다."

제이 [25:52]~[26:26]

즉 이 영상이 직접 짚는 돈이 되는 지점은 네 갈래입니다. ① 로봇 학습에 쓸 데이터를 만들어 파는 사업, ② 특정 작업(청소·자동차 등)에 특화된 AI 모델을 만드는 사업, ③ 특정 용도에 맞춘 학습 데이터셋을 만드는 사업, ④ 이미 팔린 로봇·휴머노이드를 구매자의 환경에 맞게 재학습·커스터마이즈해 주는 서비스업입니다. 오늘 실습한 "시뮬레이터에서 로봇 팔을 학습시키는 것" 자체가 이 네 갈래 전부의 밑바탕 기술이라는 것이 영상의 논리입니다.

"제가 여러분들에게 이걸 알려 드려도 전혀 손해 될 게 없습니다. 같이 성장하면 되고, 그 과정을 모두 공유할 거고, 여러분들이 성장하면 저 또한 즐겁게 더 열심히 일하고 교육할 수 있으니까요."

제이 [26:26]

영상은 "지식과 경험은 다 드릴 테니, 여러분이 그걸 잡아서 여러분의 것으로 만들라"는 당부로 끝납니다. [26:59]

덧붙임 · 영상에 없음원문에서 더 확인한 것

영상이 언급한 세 원 출처 — 오픈AI 로봇 손 연구, Gymnasium, PPO 논문 — 를 직접 찾아본 결과, 영상이 말하지 않은 내용이 몇 가지 더 있었습니다.

반대로, 영상이 원문과 정확히 일치했던 부분도 확인됩니다. 2018년이라는 연구 시점, Gymnasium이 2021년에 이름을 바꾼 것, DQN은 이산적 행동에·PPO는 연속적 행동에 쓴다는 구분 — 이 셋은 원문·공식 자료와 그대로 맞습니다.

부록 A낱말 정리표

부록 B못 믿을 것

1. 왜 이 자막을 골랐나

이 영상은 원어가 한국어이고, 유튜브 원어 자막(ko-orig)이 30초 묶음 50개·약 3만 자로 영상 시간(27분 38초)의 거의 전부(27분 31초 시작 지점까지)를 채웠습니다. 그래서 ko-orig를 그대로 썼습니다. 유튜브가 별도로 주는 ko 트랙과 바이트 단위까지 비교해 봤는데 완전히 같은 파일이었습니다 — 손보지 않은 자동 생성 자막을 그대로 복사해 올려 둔 것으로 보입니다.

2. 깨진 고유명사

3. 숫자에 붙는 딱지

• 10만 번(timesteps) 학습, 에피소드 50회·5,000회, 학습 소요 시간(12초·45초·1분 8초) — 전부 해설자가 자기 화면에서 실시간으로 읽은 값입니다. 음성 자막만 받았기 때문에 화면에 실제로 뜬 숫자를 직접 보고 재확인하지는 못했습니다.
• "3~4년 안에 피지컬 AI·로봇 분야가 크게 발전할 것" [07:54] — 해설자 개인의 전망이며, 근거 데이터가 함께 제시되지는 않았습니다.
• "로봇 손이 실제로 평균 50회 회전에 성공했다" — 이 수치는 영상이 아니라 오픈AI 원문에서만 확인한 것입니다. 영상 속 숫자들과 혼동하지 않도록 구분해 둡니다.
• 조회 4,483회·좋아요 233 — 2026-08-23 확인 시점 기준입니다. 업로드 다음 날이라 아직 초기 수치입니다.

4. 확정하지 못한 것

• 해설자의 풀네임 — 자막과 설명글 모두 "제이"라는 이름만 밝힙니다. 설명글의 비즈니스 문의 메일(jay@connexionai.kr)에서 "Jay"라는 영문 표기를 짐작할 수 있지만, 성이나 본명은 확인하지 못했습니다.
• "로보트 8"이 화면에 실제로 어떻게 표기됐는지 — 음성만 받았으므로 화면 속 실제 자막·용어를 직접 보지 못했습니다.
• 코랩 실습이 실제로 몇 분/시간 걸려 끝났는지 — 영상은 10만 번 학습이 진행되는 도중에(7분 43초 지난 시점) 잘리듯 다음 내용(안티그래비티)으로 넘어가고, 끝까지 완료된 결과 화면은 나오지 않습니다.

5. 원문과 대조해서 확인된 것

• 오픈AI 로봇 손 연구가 2018년(정확히는 2018년 7월 30일) 공개된 것 — 확인됨
• Gymnasium이 2021년에 OpenAI Gym에서 이름이 바뀐 것 — 확인됨
• DQN은 이산적 행동, PPO는 연속적 행동(다관절 로봇)에 쓴다는 구분 — 원문과 일치
• PPO가 오픈AI가 만든 알고리즘이라는 것 — 확인됨(Schulman 외, 2017)