LMBuild: 실제로 조립할 수 있고 작동하는 구조물을 만드는 LLM 에이전트 평가

문제

LLM 에이전트가 복잡한 3D 구조를 만들 수 있게 되었지만, 기존 평가는 기하·시각 품질과 의미 정렬에 집중한다. 실제로 조립할 수 있는지, 의도한 기능을 하는지, 물리 세계에서 만들 수 있는지는 체계적으로 평가되지 않았다.

방법

세 가지를 제공한다. ① 상호작용 환경: 에이전트가 도구로 부품을 검색하거나 새로 만들고, 배치·수정하며, 관절·재료·조립 순서를 지정한다. ② 벤치마크: 약 36.8만 개의 기존 3D·CAD 데이터(BrickNet, PartNeXt, Fusion 360 Gallery, Artiverse, 오픈소스 하드웨어 27개 프로젝트 등)에서 2,549개를 골라 Full 세트를 만들었고, 그중 200개를 Core 세트로 정했다. 각 객체는 위키백과 지식으로 기능 부품과 운동학 정보를 보강했다. ③ 평가: 구조적 건전성(S), 기능적 어포던스(A), 디자인 품질(D), 물리적 구현(R) 4개 차원과 12개 세부 지표를 0~100 척도로 매긴다. 검색 전용, 생성 전용, 다중 라운드 수정, 상세 설명 프롬프트 같은 변형 설정도 평가한다.

결과

• Core 세트에서 상용 모델들은 구조적 건전성 세부 지표 S.2가 90.3~97.4로 높았다. 반면 기능 부품 관련 A.1은 GPT-6 Astra가 63.0으로 가장 높았고, Claude Haiku 4.5는 36.7에 그쳤다.
• 물리적 구현의 세부 지표 R.3은 상용 모델에서도 11.0~22.1로 가장 낮았다(Claude Opus 5 22.1, GPT-6 Astra 19.2). 오픈 모델 Qwen3.5-27B는 10.5였다.
• 저자들은 강한 모델일수록 새 부품 생성을 잘 활용하고, 약한 모델은 검색에 의존하며 생성 기능이 오히려 부담이 된다고 보고했다.
• 저자들은 기능 명세를 프롬프트에 추가하면 기능 부품 완전성, 운동학 정확도, 물리적 작동성이 크게 개선된다고 보고했다.

한계

비용 문제로 모든 실험이 200개 Core 세트에서만 진행되었다. 평가 대상은 한 객체 카테고리당 최대 하나로 제한되었다. 기하만 출력하는 도메인 특화 시스템은 Particulate로 관절 정보를 추정해 평가하므로, 원래 능력과 차이가 날 수 있다. 기능·운동학 기준은 위키백과에서 보강한 텍스트 지식에 의존하고, 작동성은 시뮬레이션 기반 평가다.

의미

3D 생성 평가를 '보기 좋은 형상'에서 '만들 수 있고 작동하는 물체'로 넓혔다. 기능적 추론과 새 부품 설계가 다음 병목이라는 점을 수치로 보여줘, 설계·제조 자동화 에이전트의 방향을 잡는 기준점이 될 수 있다.

핵심 용어

기능적 어포던스(functional affordance)

물체가 의도한 기능을 하도록 필요한 부품, 관절, 움직임을 갖추고 있는지를 뜻한다.

운동학(kinematics)

관절로 연결된 부품들이 어떤 방향과 범위로 움직이는지를 다루는 개념이다.

부품 검색 vs 생성

주어진 부품 풀에서 맞는 부품을 고르는 방식과, 필요한 형상의 부품을 에이전트가 직접 새로 만드는 방식이다.

원문

• arXiv 초록
• PDF
• HTML 본문
• 코드
• 프로젝트
• Hugging Face

저자: Jiateng Liu, Rushi Wang, Cheng Qian, Xuejun Zhang, Sun Li, Jiayu Liu, Yifan Shen, Xu Cao, 외 · 게시 2026-10-03 · 라이선스 arXiv 비독점 배포 라이선스 · 본문 기준 분석

이 리뷰는 AI가 논문을 읽고 작성한 요약이며, 정확한 내용은 원문을 기준으로 확인해 주세요.