AI Robotics KR 세미나 회고, 정리

 

컴퓨터비전 영역에서 다양한 도메인이 존재하는데 그 중 자율주행과 로보틱스가 양대산맥이라고 할 수 있다.

앞으로의 커리어를 생각하면서, 로보틱스쪽에도 관심이 생겨서 오프라인 세미나에 참가하게 되었다.

 

이렇게 본격적인 세미나 참여는 처음이었는데 모든 강의가 유익했고 흥미로웠다.

컴퓨터비전 + 로보틱스에 관련된 내용은 적었지만 전반적인 로보틱스 분야의 흐름이나, 어떤 연구를 하는지에 대해 잘 파악할 수 있는 시간이었다.

 

그리고 각 연사분들의 발표도 인상적이었는데, 내용도 좋았지만 발표 애티튜드나 스킬부분에서 정말 본받을 점이 많았다.

(하드스킬과 소프트스킬을 두루 잘 하는 사람이 되고싶다.)

---

(오프닝)
<모두의 로보틱스> 강의 들어보기 


(세션)

[기하학과 로보틱스]

- 고등과학원 AI 센터 이용현님

 

🔑keyword

geometry 
2d, 3d...
symmetry...
DOF and C-space
운동방정식
motion planning test
:어떻게 안 부딪히고 경로를 설정할지 학습함

 

💥Challenges

1. high dimensional perception data
데이터가 많이 필요하고 차원이 높다

2. diverse physical environment
다양한 환경에서 구성된다

 

✅해결방법

1. manifold learning and dimension reduction
고차원의 데이터가 사실은 저차원의 데이터일 것이라는 가설 : manifold hypothesis
ex) 얼굴을 다양한 각도로 촬영한 이미지에서 위치 정보가 하나의 곡선으로 이어질 수 있음

경로 데이터를 생각해보면 차원이 높다. n개의 점으로 경로를 표현할 때 차원이 매우 높으나, 하나의 차원으로 나타낼 수 있을 것이다.
사람이 물을 따르는 동작을 측정 -> 하나의 차원으로 표현

그럼 어떻게 할 수 있는가?
- Autoencoder
저차원의 다양체를 학습
인코더 : 고차원 데이터 -> 저차원으로
복원이 되도록 학습한다.
기하학적 의미 : 평면에서 공간으로 
데이터의 노이즈나 정보가 부족하면 이런 방법이 어려울 수 있다.



2. principles of symmetry
환경이 가지고 있는 대칭성을 이해하고 이용한다

- invariance
회전을 해도 삼각형의 모양은 유지된다.


- equivariance
삼각형의 꼭지점은 회전해도 보존된다(?)


비전모델에서도 위 두가지 성질을 가져야 한다

물을 따르는 trajectory를 계산하는 모델에서
병의 회전, 컵의 회전 - 대칭성 이해 필요

->Equivariant neural networks

 

🚩conclusion

: 적절한 geometric prior를 사용하여 data efficient 를 확보한다.

qna 
symmetry가 항상 적용되지는 않는다. 문제의 정의에 따라 달라진다
로보틱스에서 foundation모델에 대한 연구가 활발하게 진행되고 있다.
물리적으로 형태가 유지되는 사물은 최적화하는 것이 유리
planning에서 data augumentation 

 

 

---

[인간과 로봇의 공존 및 협업을 통한 로봇기술의 혁신]

- 한양대 로봇공학 김완수 교수님

 

- 제조업의 사회적 이슈

다품종 소량생산 시대 -> personalized production
고령화된 노동인력 
산업재해
패러다임의 변화

생산연령인구 (15~64세 정도)
2030년 부터 세계 평균 대비 줄어들게 됨 45%까지 떨어진다
(현재 70%정도)

제조업 근로자 평균연령 증가

→ 생산 인구수가 줄어들고 있다.

산업재해로 발생되는 경제적 손실  :29조

우리나라 - 제조혁신 지수로는 순위가 낮다.
혁신동력의 부재

제조로봇 자동화 이슈

Industry 5.0
4차 산업 혁명에서 어떤 factor들을 고려해야하는가
-인간 중심적인 사고
-지속 가능한
-변화 가능한


인간과 로봇의 구분 → 인간과 로봇의 융화

인간 중심?
안전하고 질 높은 일자리, 근로자의 복지
노동력 증강, 지원, 회복


로봇을 도입한 역사에서 less flexibility, high productivity

convectional : 로봇의 구역이 정해져있고 사람이 들어가면 안 됨
서로의 작업영역을 침범하지 않는다.
점점 지날수록 작업영역을 공유하고 collaboration(가장 마지막 단계)

- exoskeleton
착용자 동작 의도 파악, 인간 로봇 협업 제어, 외골격 메커니즘
인간 관절의 축과도 다르기 때문에 고려할 것이 더 많음
rigid / soft 
종이를 부채꼴로 접으면 단단해지는 원리를 이용해서 soft 소재를 변형

AI 접목하여 개인화된 parameter 생성
보행 데이터 구축
parameter분석
-> multitask learning : 여러 환경적인 요소를 실시간 분석

근골격계 질환
-> 인간공학적인 피드백. 잘못된 자세, 하중에 대해서 비주얼라이징
-> 고정된 자세가 아닌 사람의 동작을 이해하여 로봇이 작업 각도, 위치를 맞춰줌.
유연하게 사람과 상호작용


💭QnA
HRC 평가지표
설문, 생체센서 이용해서 분석 등

안전에 대한 이슈
→안전을 가장 중요하게 고려
로봇의 동작을 soft하게

HRI 감정적인 상호작용도 중요하다.
사용자들이 불편함을 느낀다면?
trust 로봇을 신뢰하는 것

웨어러블 로봇의 착용감 불편함 → 보여지는 mess를 줄임. soft한 interface
interaction force 분석

---

 

[Expanding Human reach]

- 현대자동차 로보틱스랩 이재호팀장님



- Articulated robotics
착용, 관절 로봇
하반신 마비 환자
착용 로봇용 인증레벨이 다르다. 의료기기 인증 절차가 길다.
근육퇴행자 보조, 재활

상지로봇 BCI(뇌파제어) 연동 가능

입는 로봇, 간편한 착용, 근력 보조, 초경량

사족로봇 - 선행연구
바퀴에 비해서 효율성이 떨어지기 때문에 배터리 효율이 떨어진다. 충전시간 대비 구동시간이 길지 않다.


- Mobile robotics
이동성 목적, 모빌리티

DAL-e 안내용 로봇, 많은 기술들이 포함되어있음. 종합적 기능 수행

어린이들 : 길을 안 비켜주거나 발로 차거나.. 예상하지 못한 변수들
엘리베이터 승객이 n명 이상이면 타지 않고 보내는 시나리오 
중요 : 로봇이 새로운 불편함을 생성하면 안 됨.
로봇 연동이 안되는 엘레베이터도 많음.
사람이 항상 많이 타는 빌딩에서 시나리오를 어떻게 할 것인가도 문제.

공장 시설물 점검

사족보행 기술을 적용해서 4륜 로봇에 적용. 바퀴를 관절처럼 움직여서 높이가 다른 곳으로 이동가능


- service robotics
전기차 충전 로봇
자율 주차까지 연계되도록 연구중
스마트 빌딩 차에서 내리면 알아서 충전하고 주차하고 호출하면 입구로 오는 솔루션

localization,
local planning

Vision AI Team

detection → 세상 모든 클래스를 구분할 수 없음 성능이 떨어지는 trade off.
목적에 따라 최적의 네트워크를 빠르게 재학습
sementic segmentation
인도 / 차도 / 횡단보도
OCR - global localization등
유리를 잘 못 찾는 문제
특히 실내에 유리가 많고 GPS가 잘 터지지 않음

HRI
사람이 근처에 오는지 , pose 
ReID, Host 를 따라다닐 수 있게 occlusion을 개선함.
사람이 사라져도 path planning예측을 통해서 어느정도 따라감.

가장 중요한 이슈
임베디드 솔루션
로봇안에 이런 기술들을 어떻게 구성하고 돌릴 것인지 문제.

with human 지향

💭QnA
CPS(cyber physical system)
service - HW - SW 
devOps와 비슷한 개념

RGB-D 센서 기반으로 3차원 공간 해석
→ hardware dependency가 외부에 있다보니 어려움이 있다.
단종되면 부품을 다 바꿔야 한다든지.

---

 

[초거대 언어모델과 로봇의 미래]

- 전자통신부설연구소, 고우영님

AI 프렌즈 AI로봇랩

로봇전공 → 자연어처리로 전공 변경 (중간에 방어용 미사일..?)

- LLM
Foundation model 기반 모델
: data → f.model → task
현실은 아직 그정도는 안됨..
text만 해보자 ! → LLM

초거대 학습 데이터셋 : 200GB이상 (text는 데이터 사이즈가 매우 작은편인데 굉장히 사이즈가 큼..)

chatGPT
ask → model → answer
단순사용.

모델 사이즈를 키우는 이유?
(비용도 많이 드는데)
scaling laws
: loss 는
학습이 오래될수록, dataset size가 클수록, 파라미터가 많을수록 좋아진다.

AI 모델의 성능은 모델 크기에 비례적으로 증가하지 않음.
큰 모델을 적용하니 갑자기 확 성능이 좋아짐
fine tuning없이도 
얼마나 커야 few-shot learning이 가능?
GPT는 파라미터 수를 높게 해서 적은 것만 보여줘도 성능이 좋았다

최소 20B정도 모델이 되어야 최소기능.


LLM학습의 어려움
학습 비용이 너무너무 많이 듦 (300억...)



- LLM for Robot
API function call
ㅇㅇ한테 이메일을 보내줘

input을 해석해서 어떤 task들을 수행해야 하는지 계획하고 수행

현재는 LLM으로 다양한 로봇 제어가 가능해졌다.


LLM의 미래?

1. multi modal

2. LLM with KG
(지식그래프)


💥Limitation
OpenAI API로 충분한가?
only text data

→ customizing
멀티모델 학습
GPU..

API function call 이용해서 자연어로 로봇을 구동하기



💭QnA
대기업과의 경쟁에서 어떻게 이길수있는가?
: 이기기 어렵고 이기려고 하지말고 특정 부분에서 그들보다 잘 하면 된다.

---

 

[네이버랩스 로보틱스 기술 소개]

- 네이버랩스 최근준, 권재운님

네이버가 로봇을 만드는 이유?
플랫폼 = 연결
기존 네이버가 PC, 모바일을 이용해서 사람과 서비스를 연결했다면
미래에 physical적인 연결까지

- AROUND
일상공간 내에서 서비스 제공하기 위한 자율주행 로봇 플랫폼
→ 사람과의 interaction 이 중요
공장과는 다르게 비정형화 된 상황이 많음.

공간정보 습득, mapping, visual localization

로봇은 하나의 툴이다.
툴 자체만으로 가치가 있다기보다는 툴이 어떻게 이용되는가, 사용되는가에서 가치가 발생한다.

5G brainless기술
:로봇의 두뇌를 네이버 클라우드 플랫폼에 두고 5G 초저지연 네트워크로 고정밀 제어
로봇의 물리적 제약을 완화, 개선
전력소모 감소
여러 로봇 동시 제어 등

1784건물내에서 다양하게 테스트 중.
테스트를 실제 할 수 있는 물리적인 공간이 필요함.
세계 최조 로봇친화형 빌딩

- 2nDC
데이터센터의 자동화 수준을 높이기 위한 로봇 기술 개발

-AMBIDEX
일상 공간에서 로봇팔을 활용하여 서비스 연구
로봇팔? manupulate
아이로봇, 아이언맨

로봇 팔의 일상화
중요한 것 !
1. 안전성 
2. 사용성
→ 가벼우면서 강성이 높고 payload가 충분히 높게 나오는 팔 (가벼워야 부딪혀도 안 다침, 관성이 낮아짐)
모터부를 어깨쪽으로 구성해서 다른 부위를 가볍게, 케이블로 동력 전달
→ 수치적으로 가볍게 만들어짐.
충돌 표준 실험

 

💥
→ 사용성 성능이 잘 안나옴.
가볍게 만들다보니 외란의 영향도 잘 받음. 케이블에서 생기는 이상 현상
제어가 어려움.
낮은 관성과 기어비 → inertia coupling
각 파라미터간의 관계성을 반영함

dynamic calibration
: unified (kinematics + dynamics) identification

다른 차원의 안전성에 대한 고민이 필요


일상에서 로봇팔이 할 수 있는 일들
그런데 진짜 할 수 있는가?
사람의 지능 + haptic device  → 잘 됨

→ 햅틱 디바이스로 얻은 정보를 이용해보자. 
= physical intelligence
교시데이터를 활용하여 작업을 학습하는 방법 → 새로운 작업에 대해서는 할 수 없음
→ skill learning
: 재사용 가능한 움직임을 연구하고 학습함


→ unsupervised skill discovery
괴상한 스킬도 나온다(현실에서 사용할 수 없는)

- natural motion generation
로봇이 비일상적인 모션을 하면 사람은 불안을 느끼고 일상에 도입하기 어려워진다.


- 안전제어
→ state, reward, I
← action
 safety critic(미래 사고 발생 확률)
 
 안전한 상태 : 사고를 막을 수 있는 행동이 최소 1개 이상 있어야 함
 위험한 상태 : 어떤 행동으로도 사고를 피할 수 없음.
 
 로봇팔에서는 매우 복잡해짐
 
 
 제어기 목적에 따른 다양한 어플리케이션
 1) safe teleoperation
 유저의 입력대로 알맞게 움직이는 것
 vision-base :힘을 느낄수 없다는 단점
→ safe (vision-base) teleoperation
 
 2)safe RL
 작업 보상 함수 최대화
 
 3)safe skill learning
 기저변수 z와 상태 변수s'간 상관 관계 최대화
 스킬러닝을 단순하게 하면 다양한 스킬. 결과적으로 위험한 스킬들도 학습됨.
 safe-skill.github.io
 
 안전한 스킬 학습 → downstream task 풀기(스킬들을 어떻게 조합할 것인가?)
 
 안전한데 성능도 좋은 이유?
 
 
 ✅결론
 1. 안전은 오히려 학습속도와 성능에 기여한다.
 불필요하고 위험한 행동이 제외된다.
 
 2. 첫번째 사고는 실수가 아닌 소중한 정보
 목표는 무사고가 아니라 같은 실수를 반복하지 않는 것.
 unknown state-action 에 대한 바람직한 관점
 : training → optimistic (다양한 위험 경험 장려)
 deploy → pessimistic (잘 모르겠으면 하지 말자)
 
 3. 남은 과제
 sim-to-real
 강건성, 인지, recovery, 예절...
 
 
 paper : "learning to be safe"
 
 

---

 
 [물체인식 기반의 로봇 물체 조작 기법]

- SNU robotics lab 김승연님

object manipulation
아기들의 행동을 연구, 물체를 잡거나 밀거나...


robotic object manipulation
prehensile :grasping, 
non-prehensile :pushing, tossing

unknown object(라벨이 없는 물체)
오직 비전 센서만으로 

아기는 component별로 recognition이 가능하다는 논문.
→ shape recognition

patially obsevesed point cloud → shape recognition 

deformable superquadric
: ellipsoid에서 지수부만 바뀌게 된다. 두개의 파라미터가 추가됨
다양한 shape 표현이 가능.

deformable term을 추가하여 컵 손잡이처럼 휘어져있는 모양도 표현 가능, 두께가 달라지는 원기둥 등...

grasp pose들 다양하게 생성 → 가장 적절한 pose 채택

컵, 그릇, 식기 등 다양한 오브젝트를 가상환경에서 테스트 
→ superparabolic 추가

💥challenge
→ grashper보다 물체가 큰 경우, 물체들이 모여있는 경우...
→ pushing
밀거나 치우는 행동

→비전 이미지를 그대로 하지 않고 단순한 형태로 인식 → pushing dynamic 예상


- object searching on cluttered shelves
타겟 물체가 가려져서 보이지 않는 상황


💭QnA
마찰이나 질량을 고려하지 못하는지.
비전 only라서 고려하지는 못하지만 마찰 등에 의해 계산량이 달라지므로 고려가 필요하다. 비전으로도 알아낼 수 있는 방법 연구중

물체가 여러개 있는 상황에서는 point cloud가 정확히 나오지 않음
→ 주변 환경에 대한 point cloud를 같이 넣어줌.