ARMeasureApp — AR 오버레이 “튐 현상” 원인 진단

무슨 일이 일어나는가

onDrawFrame()은 GLSurfaceView 렌더 스레드(RENDERMODE_CONTINUOUSLY)에서 돌며, 카메라 영상은 GL로 즉시 그리지만 실제 AR 그래픽은 UI 스레드로 던져서 그립니다.

// onDrawFrame() 내부 — GL 렌더 스레드
backgroundRenderer.draw(frame, cameraTextureId)   // ① 카메라 영상: GL에서 즉시 렌더 (최신 프레임)
...
val vp = /* 이 프레임의 projection × view 행렬 */

mainHandler.post {                          // ② UI 스레드로 비동기 전달 — 지연 발생
    measureOverlay.startWorld = finalStart
    measureOverlay.refresh(finalVp)          // invalidate() → "다음 UI vsync"에 그려짐
}

MeasurementOverlay·FloorGridOverlay·CrosshairView는 전부 FrameLayout에 얹은 일반 View(Canvas onDraw)입니다.

왜 튀는가 — 3중 문제

• ① 스레드/vsync 지연 — 카메라 텍스처는 GL 프레임에서 즉시 표시되지만, 오버레이는 Handler 메시지가 UI 스레드에서 처리된 뒤 다음 UI vsync에 그려집니다. 항상 ≥1프레임(16~50ms) 뒤처짐. 움직이는 동안 선/점이 뒤로 미끄러졌다 따라붙음.
• ② 두 루프 간 배리어 없음 — GL 프레임과 UI 프레임은 동기화 지점이 없는 독립 루프. 부하가 걸리면 GL은 여러 번 도는데 UI는 합쳐 한 번 그림 → 끊김/점프.
• ③ 서로 다른 Surface 합성 — GLSurfaceView(별도 SurfaceView 버퍼)와 View 오버레이(윈도우 버퍼)는 SurfaceFlinger가 별도 레이어로 합성. 하드웨어 레이어 + 비동기 invalidate라 스왑 타이밍이 어긋나면 그 자체로 어긋남이 보임.

핵심: 오버레이가 “과거 카메라 포즈”의 VP로 투영된 채 “현재 카메라 영상” 위에 얹힙니다. 정지 시엔 괜찮아 보이다 움직이는 순간 어긋남이 드러납니다 — 영상의 튐과 정확히 일치.

val floorPlane = planes
    .filter { it.trackingState == TRACKING && it.type == HORIZONTAL_UPWARD_FACING }
    .minByOrNull { it.centerPose.ty() }        // ← 매 프레임 "가장 낮은 평면"을 다시 선택
    ?: planes.firstOrNull { it.trackingState == TRACKING }

floorPlane?.let { plane ->
    val cp = plane.centerPose                       // ← 계속 미세하게 흔들리는 값
    floorGridOverlay.updateFromGl(vp, floatArrayOf(cp.tx(), cp.ty(), cp.tz()))
}

• 평면이 매 프레임 바뀔 수 있음 — ARCore가 평면을 새로 찾거나 병합/소실하면 minByOrNull이 뽑는 평면이 바뀜 → 격자 중심이 통째로 순간이동.
• centerPose는 계속 드리프트함 — 같은 평면이라도 ARCore가 범위/중심을 재추정하며 중심이 미세하게 이동. 격자를 이 움직이는 중심 ±2m로 매 프레임 다시 그리므로 격자 전체가 스르륵 미끄러짐.
• 이 격자 역시 1번의 View 오버레이라 프레임 지연까지 그대로 받음 → 이중 튐.

measureOverlay.lines.add(
    MeasurementOverlay.MeasureLine(
        floatArrayOf(sp.tx(), sp.ty(), sp.tz()),   // 배치 순간의 정적 월드좌표
        floatArrayOf(ep.tx(), ep.ty(), ep.tz()),   // 이후 앵커 갱신을 반영하지 않음
        distMm, label
    )
)

• 시작/끝 Anchor(startAnchor/endAnchor)는 만들어 두지만, 화면에 그리는 선은 배치 순간에 복사한 고정 좌표를 씁니다.
• ARCore가 이후 공간을 재국소화하며 월드 좌표계를 보정하는데, 선은 옛 좌표에 박혀 있어 실제 찍은 지점에서 서서히 어긋남(드리프트).
• 참고: 진행 중인 시작점 도트는 onDrawFrame에서 startAnchor.pose를 매 프레임 다시 읽어 올바르게 따라감 → “진행 중 점은 맞고 확정된 선은 어긋나는” 비대칭 발생.

val rotation = windowManager.defaultDisplay.rotation   // deprecated, 매 프레임 디스플레이 상태 조회
session.setDisplayGeometry(rotation, viewportWidth, viewportHeight)  // 매 프레임
session.setCameraTextureName(cameraTextureId)          // 매 프레임 (이미 onSurfaceCreated/onResume에서 설정)

• setDisplayGeometry는 지오메트리가 바뀔 때만(onSurfaceChanged/회전 변경) 호출해야 함. 매 프레임 호출 시 ARCore가 UV 변환을 매번 재계산 → 배경 변환이 미세하게 흔들릴 여지.
• windowManager.defaultDisplay.rotation은 deprecated이고 매 프레임 조회 불필요 → 캐시.
• setCameraTextureName은 텍스처가 안 바뀌면 1회면 충분.

단독으로 큰 튐을 만들진 않지만 배경 변환 안정성을 떨어뜨려 1~3번을 증폭합니다.