컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

도쿄 아키하바라를 360도 영상으로 통째로 재현한 도시 탐험 시험대에서, 최고 성능 AI도 사람의 5분의 1 수준 점수를 받았다

arXiv:2608.088142026-08-08

360CityArena: A Realistic Virtual Urban Navigation Benchmark for Embodied Agents

도쿄 아키하바라를 360도 영상으로 통째로 재현한 도시 탐험 시험대에서, 최고 성능 AI도 사람의 5분의 1 수준 점수를 받았다

360CityArena는 도쿄 아키하바라 거리를 602개의 360도 영상으로 이어붙여 만든 실사에 가까운 가상 도시에서, AI 에이전트가 길찾기와 공간 이해를 얼마나 잘하는지 평가하는 175개 과제 벤치마크다. 사람 참가자는 평균 77.3%의 정답률을 보인 반면, 시험한 AI 모델 중 가장 성적이 좋았던 Gemini 2.5 Flash도 17.1%에 그쳤다. 특히 지도 기반 길찾기, 물체 개수 세기, 랜드마크 간 위치 관계 추론에서 AI의 취약점이 두드러졌다.

METAL MEDIA 해설 도표

360CityArena 벤치마크 구조

증거 상태측정 결과가 보고됨

  1. 가상 환경 구축602개의 360도 영상 조각을 이어붙여 아키하바라 85개 거리를 193개 지점·305개 연결로 이루어진 이동 그래프로 재현
  2. 175개 과제 설계환경 이해, 경로 추론, 공간 추론 3대 범주와 7개 세부 유형(위치 추정, 랜드마크 찾기 등)으로 구성, 난이도는 쉬움·보통·어려움
  3. AI 에이전트 실행GPT-5, Claude Sonnet 4.5, Gemini 2.5 Flash, Qwen2.5-VL, InternVL3.5 등을 시각 입력·지도·기억 정보와 함께 Unity 환경에서 행동시킴
  4. 사람 기준선 측정아키하바라를 실제로 가본 5명의 참가자가 동일 과제를 수행해 평균 77.3% 정답률 기록
  5. 격차 및 실패 원인 분석AI 최고 성능(17.1%)과 사람(77.3%) 간 격차 확인, 행동·위치추정·지각·탐색·계획 5가지 실패 유형으로 원인 분류
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 기존 실외 벤치마크는 사진처럼 사실적이지 않거나(3D 시뮬레이터), 실사이지만 연속적으로 움직일 수 없거나(구글 스트리트뷰) 짧은 영상이라 넓은 거리망을 탐색할 수 없다는 한계가 있어, 저자들은 602개의 360도 영상(85개 거리, 남북 약 750m·동서 약 650m)을 이어 붙여 193개 지점과 305개 연결로 구성된 '이동 가능한 그래프' 형태의 아키하바라 가상 환경을 만들었다.
  2. 이 환경 위에 사람이 직접 하나하나 만든 175개 과제를 3대 범주(환경 이해, 경로 추론, 공간 추론)와 7개 세부 유형(위치 추정, 언어로 랜드마크 찾기, 이미지로 랜드마크 찾기, 지도 기반 길찾기, 언어 지시 따라가기, 상대적 위치 관계 추론, 물체 개수 세기)으로 나누고, 각 과제에 쉬움·보통·어려움 난이도를 매겼다.
  3. GPT-5, Claude Sonnet 4.5, Gemini 2.5 Flash 같은 상용 AI와 Qwen2.5-VL, InternVL3.5 같은 공개 AI 모델을 에이전트로 만들어 실행시키고, 이를 아키하바라를 실제로 가본 적 있는 사람 5명의 성적과 비교했다.
  4. 사람은 지도 기반 길찾기·이미지로 랜드마크 찾기·언어 지시 따라가기·위치 관계 추론에서 약 90%의 정답률을 냈지만, AI는 전 과제에서 사람에 크게 못 미쳤고 난이도가 올라갈수록 성적이 뚝뚝 떨어졌다.
  5. AI에게 현재 위치 정보(지도 위 표시)를 추가로 줘도 성적이 일관되게 좋아지지 않았고 오히려 떨어지는 과제도 있었는데, 이는 AI가 지도 정보와 실제 눈에 보이는 장면을 잘 연결짓지 못하기 때문으로 분석됐다.
Figure 1: 360CityArena. We introduce a benchmark for evaluating embodied agents in a photorealistic reconstruction of Akihabara, Tokyo, Japan, built from interconnected 360° video trajectories. The benchmark covers realistic urban streets and evaluates agents on diverse tasks requiring environment understanding, path reasoning, and spatial reasoning.
Figure 1: 360CityArena. We introduce a benchmark for evaluating embodied agents in a photorealistic reconstruction of Akihabara, Tokyo, Japan, built from interconnected 360° video trajectories. The benchmark covers realistic urban streets and evaluates agents on diverse tasks requiring environment understanding, path reasoning, and spatial reasoning.
Figure 2: Examples in each task type in 360CityArena. (i) Environment Understanding tasks include Localization, Landmark Search with Language, and Landmark Search with Image, where the agent infers its location or navigates to a specified landmark. (ii) Path Reasoning tasks evaluate the agent’s ability to plan and execute routes, such as following map-based paths or vision-language navigation. (iii) Spatial Reasoning tasks assess relational understanding and quantitative perception, including identifying spatial relations between landmarks and counting objects in the environment.
Figure 2: Examples in each task type in 360CityArena. (i) Environment Understanding tasks include Localization, Landmark Search with Language, and Landmark Search with Image, where the agent infers its location or navigates to a specified landmark. (ii) Path Reasoning tasks evaluate the agent’s ability to plan and execute routes, such as following map-based paths or vision-language navigation. (iii) Spatial Reasoning tasks assess relational understanding and quantitative perception, including identifying spatial relations between landmarks and counting objects in the environment.
Table 1: Comparison of urban navigation environments – realism, structural complexity, dynamics, interactivity, and exploration capability.
EnvironmentCategoryPhoto- realismStructural complexityDynamicsInteractionDistrict-scale explorationMotion
EmbodiedCity [12]3D simulatorLowLowMedium✓✓Continuous
MetaUrban [44]3D simulatorLowMediumMedium✓✓Continuous
CARLA [9]3D simulatorLowLowLow✓✓Continuous (clip)
Vid2Sim [45]Video-to-simHighHighMedium✓✗Continuous
StreetLearn [30]GSV-basedHighHighLow✗✓Discrete
360CityArena (Ours)360° videoHighHighHigh✗✓Continuous (trajectory)
Figure 3: Example of the visual observations in 360CityArena. The agent moves through the city while scanning its surroundings. At branching points, it must choose a route.
Figure 3: Example of the visual observations in 360CityArena. The agent moves through the city while scanning its surroundings. At branching points, it must choose a route.
Figure 4: Success rate by difficulty level across tasks and models (%). This graph shows model and human performance for each task, divided into three difficulty levels: Easy (E), Medium (M), and Hard (H).
Figure 4: Success rate by difficulty level across tasks and models (%). This graph shows model and human performance for each task, divided into three difficulty levels: Easy (E), Medium (M), and Hard (H).
Table 2: Overall Results (%). Comparison of model and human performance across seven spatial and reasoning tasks, grouped into three major categories. Gemini 2.5 Flash achieves the highest overall performance, while the strongest model varies across individual tasks. All LMMs still fall far short of human performance.
Environment UnderstandingPath ReasoningSpatial Reasoning
LocLandmark (Lang)Landmark (Img)Map NavVLNObj CountRel Reason
GPT-58.016.048.00.08.02.432.0
Claude Sonnet 4.54.04.016.04.04.010.88.0
Gemini 2.5 Flash12.028.036.00.08.024.012.0
Qwen2.5-VL-32B-Instruct4.016.020.00.00.018.84.0
InternVL3.5-8B4.020.020.00.012.02.80.0
InternVL3.5-38B0.016.00.00.012.07.24.0
Human68.064.092.092.088.045.292.0
Figure 5: Failure cause breakdown by task category across models (%). This figure shows the distribution of failure causes for each model across three task categories. Failures are categorized into five types: Action, Grounding, Perception, Explore, and Planning, and each stacked bar reports the percentage breakdown within the corresponding (model, task category) setting.
Figure 5: Failure cause breakdown by task category across models (%). This figure shows the distribution of failure causes for each model across three task categories. Failures are categorized into five types: Action, Grounding, Perception, Explore, and Planning, and each stacked bar reports the percentage breakdown within the corresponding (model, task category) setting.
Figure 6: Example of the agent’s views for Landmark Search with Language, resulting in failure. The agent is instructed to search for “Jonathan”. From t = 8 to t = 38, the gaze repeatedly moved up and down. At t = 39, the gaze briefly shifted to the right, but from t = 41 onward, it returned to the same up–down movement.
Figure 6: Example of the agent’s views for Landmark Search with Language, resulting in failure. The agent is instructed to search for “Jonathan”. From t = 8 to t = 38, the gaze repeatedly moved up and down. At t = 39, the gaze briefly shifted to the right, but from t = 41 onward, it returned to the same up–down movement.
Table 3: Comparison with and without location information. We observe that the performance did not improve consistently across tasks; in some cases, accuracy decreased instead.
Environment UnderstandingPath ReasoningSpatial Reasoning
LocLandmark (Lang)Landmark (Img)Map NavVLNObj CountRel Reason
GPT-58.016.048.00.08.02.432.0
GPT-5 (w/o location)-24.044.04.08.00.048.0
t = 8. Look above.
t = 8. Look above.
t = 40. Look to the right.
t = 40. Look to the right.

실제로 확인된 결과

  • 사람 참가자 평균 77.3% 대 최고 성능 AI(Gemini 2.5 Flash) 17.1%로 큰 격차가 확인됐다.
  • 이미지로 랜드마크를 찾는 과제가 언어로 찾는 과제보다 대체로 쉬웠다(예: GPT-5 48.0% 대 16.0%, Claude 16.0% 대 4.0%, Qwen 20.0% 대 16.0%). 단 InternVL 계열은 이미지를 줘도 뚜렷한 개선이 없었다(8B 20.0% 대 20.0%, 38B 0.0% 대 16.0%).
  • 과제 난이도가 쉬움에서 어려움으로 올라갈수록 AI 성적이 떨어졌다(예: GPT-5의 환경 이해 과제 정답률이 28.0%→25.0%→18.5%, 경로 추론 과제는 11.1%→0.0%→0.0%).
  • AI에게 현재 위치 정보를 추가로 제공해도 성적이 일관되게 좋아지지 않았다(언어 기반 랜드마크 찾기는 24.0%→16.0%로 하락, 관계적 공간 추론은 48.0%→32.0%로 하락, 물체 개수 세기는 소폭 개선).
  • 실패 원인을 분석한 결과 GPT-5는 실행 오류는 적지만(12%) 탐색 전략 실패(55%)가 두드러졌고, Gemini 2.5 Flash와 InternVL3.5-38B는 저수준 행동 제어 실패(약 40%)가 두드러졌으며, 모든 모델에서 공간 추론 과제 시 사소한 시각 정보를 놓치는 지각 실패가 급증했다(Gemini 38%).
t = 41. Look below.
t = 41. Look below.
Figure 7: Example of the agent’s views for Landmark Search with Image, resulting in success. The agent is instructed to search for “Jonathan” given in image form.
Figure 7: Example of the agent’s views for Landmark Search with Image, resulting in success. The agent is instructed to search for “Jonathan” given in image form.

어디에 쓸 수 있나

  • 도시 환경에서 활동할 안내 로봇이나 시각장애인 길안내 AI 비서를 개발하기 전에 실사에 가까운 조건에서 성능을 미리 점검하는 시험대로 쓸 수 있다.
  • AI 에이전트가 지도 정보와 실제 눈앞 풍경을 얼마나 잘 연결짓는지, 언어 지시와 이미지 지시 중 어느 쪽을 더 잘 따르는지 비교 분석하는 연구에 활용할 수 있다.
  • 임베디드 AI 모델을 훈련시키기 위한 사실적인 가상 도시 데이터를 구축하는 방법론의 참고 사례로 쓸 수 있다.
t = 5. Go past.
t = 5. Go past.
t = 16. Spot blue and white vertical stripes.
t = 16. Spot blue and white vertical stripes.

한계와 남은 검증

  • 환경이 사전 녹화된 360도 영상 경로로만 구성돼 있어 에이전트가 촬영된 경로를 벗어나 임의의 위치로 자유롭게 이동하거나 물체와 물리적으로 상호작용할 수 없다.
  • 현재는 도쿄 아키하바라라는 단일 지역만 다루고 있어, 다른 도시나 지역으로 결과가 그대로 일반화될지는 확인되지 않았다.
  • 촬영 경로 경계를 넘어갈 때 화면이 부자연스럽게 이어지는 경우가 있으나, 저자들은 실패 원인 분석에서 이것이 실패의 주요 원인은 아니었다고 보고했다.
  • 사람 평가 참가자가 아키하바라를 실제로 가본 5명으로 한정돼 있어, 이 수치는 일반적인 사람 평균이 아니라 해당 지역에 익숙한 사람 기준의 상한선으로 해석해야 한다.
  • 지도 정보와 실제 시각 정보를 정렬하는 능력 자체를 독립적으로 평가하고 이를 학습시키는 방법은 향후 과제로 남겨져 있다.

왜 중요한가

실외 도시 환경에서 사람을 돕는 AI 로봇이나 내비게이션 비서를 만들려면 사실적인 시험 환경이 필요한데, 360CityArena는 실제 거리와 매우 가까운 조건에서 AI의 약점을 구체적으로 짚어낸다. 특히 지도 정보를 눈앞의 풍경과 맞춰보는 능력, 목표를 찾을 때까지 헤매지 않고 탐색하는 전략이 현재 AI에 결정적으로 부족하다는 점을 보여준다.

이 논문의 용어

  • LMM(대형 멀티모달 모델) · 이미지와 텍스트를 함께 이해하고 답하는 대형 AI 모델
  • 포즈 그래프(pose graph) · 360도 영상 촬영 지점들을 위치와 방향 정보로 서로 연결해 놓은 이동 가능 경로망
  • VLN(비전-언어 내비게이션) · 자연어로 된 여러 단계 지시문을 읽고 그대로 이동하는 과제
  • MRA(평균 상대 정확도) · 숫자 추정 과제에서 오차 크기까지 반영해 여러 기준선으로 평균 낸 채점 방식
  • 임베디드 에이전트 · 카메라 등 감각 입력을 받아 환경을 지각하며 행동하는 AI 시스템

저자 · Kenta Watanabe

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Kenta Watanabe et al., arXiv:2608.08814, arxiv-nonexclusive