Feed-O-Meter (2026)

1. 연구 내용 핵심 요약

이 논문은 KAIST 산업디자인학과 연구진 4명과 전산학부 연구진 1명의 공동 연구로, Elsevier의 학술지 『International Journal of Human-Computer Studies』(IJHCS) 208권(2026년 1월)에 게재되었다.^{¹Lim, H., Choi, D., Choi, D. E., Nam, S., & Hong, H. (2026). Feed-O-Meter: Investigating AI-generated mentee personas as interactive agents for scaffolding design feedback practice. International Journal of Human-Computer Studies, 208, 103687. doi:10.1016/j.ijhcs.2025.103687} IJHCS는 중국컴퓨터학회(CCF)의 HCI·유비쿼터스 컴퓨팅 분야 추천 학술지 목록에서 ACM TOCHI와 함께 A급으로 분류된다.^{²중국컴퓨터학회(CCF). HCI·유비쿼터스 컴퓨팅 분야 추천 학술지 목록.}

교신저자 홍화정 교수가 이끄는 DxD Lab은 디자인·상호작용·데이터를 연결하며, 인간과 AI의 협력을 통해 인간의 역량을 확장하고 포용적인 사회를 만드는 것을 연구 목표로 삼는다.^{³DxD Lab. 연구실 소개 및 연구 목표 · KAIST 산업디자인학과. DxD 연구실 소개.} Feed-O-Meter는 이러한 방향을 디자인 피드백 교육에 적용한 사례로 읽을 수 있다.

Feed-O-Meter는 사용자가 멘토가 되어 초보 디자인 학생 역할의 AI 멘티에게 피드백을 제공하는 시스템이다. 피드백 성찰 인터페이스(FRI)는 평가 정보와 AI 멘티의 표정·속마음 등을 제시하고 되묻기를 지원한다. 사용자는 AI 멘티의 반응과 아이디어 변화를 관찰하며 자신의 피드백 방식을 돌아본다.

연구 질문은 학생이 AI 멘티에게 피드백하는 경험을 어떻게 받아들이는지(RQ1), FRI가 피드백 능력에 어떤 영향을 주는지(RQ2)이다. 개인의 상호작용과 수행을 보는 미시적 층위로, 초기 시스템 효과를 탐색하기에 적절하다. 한국인 디자인 전공 학부·대학원생 24명이 조건당 20분씩 FRI 유무를 모두 경험하고 조건 순서를 나누어 배치한 참여자 내 비교는 개인차와 순서 효과를 줄인다는 장점이 있다.

전문가 평가와 설문·인터뷰를 결합해 수행과 경험을 함께 살핀 것이 방법의 특징이다. FRI 조건의 진술형 피드백은 구체성·정당화·실행 가능성에서 유의하게 높은 점수를 받았으나, 질문형 피드백의 질과 세션의 전반적 도움 정도에는 유의한 차이가 없었다. 구체성 평균은 7점 척도에서 FRI 조건 4.64점, 기준 조건(FRI 없음) 4.34점으로 0.30점 차이였다. 통계적 유의성이 교육적으로 큰 향상이나 비판적 판단력 전반의 발전을 뜻하지는 않는다.

2. 비평

『논문, 쓰다』를 읽으며 내가 받아들인 기준은 질문의 중요성, 선행연구와의 관계, 그리고 논증의 흐름이다. Feed-O-Meter에서 질문의 중요성은 학생이 평가에 대한 부담 때문에 평소 피드백 연습을 충분히 하지 못한다는 교육적 문제에서 찾을 수 있다. 선행연구와의 관계에서는 동료 피드백과 AI 역할극 연구를 토대로, 초보 멘티를 가르치며 자신의 피드백을 성찰하는 방식으로 논의를 확장한다. 문제 제기에서 시스템 설계, 사용자 평가, 한계 논의로 이어지는 구성은 제안과 근거를 대조할 수 있는 논증의 흐름을 갖추고 있다. 인간과 AI의 역할 관계를 통해 피드백 교육의 가능성을 탐색하였다는 점에서 가치가 있는 논문이다.

또한 프로젝트 소스코드와 실행 안내를 공개해 후속 연구자가 구조를 검토하고 다른 실험 조건으로 확장할 기반을 제공한 점도 장점이다.^{⁴Lim, H. Feed-O-Meter. GitHub 공개 코드 및 실행 안내.} 이는 해당 연구를 공동체의 검토에 내놓는다는 관점과도 연결된다.

연구적 접근에서 본 반응의 차이와 교육 배경

참여자 24명 중 22명(91.7%)이 산업디자인 전공이며, 평가자 12명 모두 산업디자인 석사 이상의 학위를 보유한다. 참여자의 소속 대학은 공개되지 않아 KAIST 소속으로 단정할 수 없다. 다만 참여자·평가자의 전공 집중과 KAIST 연구진의 교육·연구 환경을 구분하면서, 이 연구가 어떤 디자인 문화를 바탕으로 설계되고 평가되었는지는 검토할 필요가 있다.

KAIST 산업디자인학과는 공과대학 소속으로 디자인과 공학·기술 지식의 결합을 중시한다. 공개 교육과정에도 과학·공학 기초, 디자인공학, 인터랙션 프로토타이핑, 소프트웨어 프로토타이핑이 포함된다.^{⁵KAIST. 공과대학 산업디자인학과 소개 · 산업디자인학과 학부 교육과정.} 나는 이러한 경험이 AI의 역할과 피드백 향상 기준에 영향을 미쳤을 가능성을 묻고자 한다.

참가자 P9은 Alex(AI 멘티)가 ‘기술적 한계’를 이해하지 못하는 모습을 초보 디자이너의 특징으로 해석했다. 물론 이는 한 참여자가 숙련도를 판단한 기준이지 집단 전체의 사고방식을 입증하지는 않는다. 따라서 공학적 편향을 단정하기보다, 익숙한 문제와 비평 방식이 기준의 적용·해석에 어떻게 반영되었는지 묻는 것이 타당할 것이다.

연구적 접근에서 본 좋은 피드백의 기준

기술의 작동 방식에 익숙한 사용자도 AI의 표정에 맞춰 발언을 조절할 수 있다. 인문·예술적 해석과 관계적 맥락을 중시하는 교육을 받은 사용자는 같은 페르소나라도 다르게 받아들일 수 있다. 두 교육 경험은 공존할 수 있어 문·이과 구분만으로 공감 성향을 예측할 수는 없다. 논문에는 피드백 자기효능감의 사전·사후 측정이 있지만, 교육 경험과 기존 AI 인식·의인화 성향에 따른 반응 차이는 확인할 수 없었다.

내가 주목한 대목은 참가자 P18이 Alex의 아이디어가 비현실적이라고 생각하면서도 상처받을까 봐 표현을 완곡하게 했다는 진술이다. 저자들도 인간과 유사한 AI 멘티의 반응이 비판적인 질문을 주저하게 했을 가능성을 논의한다. 여기서 더 묻고 싶은 것은 배려의 증가와 비판적 판단의 향상을 어떻게 구분할 수 있는가이다.

Alex는 피드백의 어조가 긍정적으로 판정되면 웃고 부정적으로 판정되면 슬픈 표정을 보이며, 품질 점수는 눈빛의 생동감으로 반영된다. 비판적 내용과 부정적 어조는 다르다. 표현을 부드럽게 하면서 문제를 정확히 짚었다면 배려와 비판은 양립하지만, 필요한 지적을 생략했다면 비판이 누락된 것이다. 대화 기록에 회고 인터뷰를 더해 참가자가 알아차린 문제 중 무엇을 말하지 않았는지 확인하고, 전문가가 지적의 타당성을 검토하면 두 경우를 구분하는 데 도움이 되었을 것이다.

FRI는 표정·속마음·평가 정보·되묻기를 함께 제공하므로 표정의 독립적 효과는 알기 어렵다. 참가자 P21이 멘티에게 필요한 내용보다 높은 점수를 받을 답을 하게 되었다고 말한 점도 주목된다. 후속 실험에서는 다른 기능을 같게 두고 감정 표현의 유무와 품질 평가 표시의 유무를 교차한 네 조건을 비교할 수 있을 것이다.

산학 지원의 맥락과 연구의 적용

논문은 감사의 글에서 한국연구재단·LG AI Research·Elice의 지원을 밝힌다. Elice는 2023년 홍화정 교수가 참여한 KAIST 연구팀과 생성형 AI 교육 기술·플랫폼에 관한 산학 협약을 체결하기도 했다.^{⁶Elice (2023. 6. 21.). 엘리스그룹-KAIST, 생성형 AI 교육 모델 산학 연구 협약 체결.} 이러한 협력은 이 연구가 놓인 교육용 AI 연구의 배경을 이해하는 데 참고할 수 있다.

다만 공개된 지원 및 협력 사실만으로 이 논문의 연구 설계나 결과 해석에 기업이 어떤 영향을 주었는지는 알 수 없다. 지원기관의 역할과 연구진의 의사결정 범위가 함께 설명된다면, 독자는 연구가 이루어진 조건과 결과를 보다 구체적으로 이해할 수 있을 것이다.

실무적 접근에서 본 직무 간 의도 조율

조직에서 디자인 피드백은 기획자·디자이너·개발자가 서로의 의도와 제약을 이해하고 실행하도록 도와야 한다. 같은 서비스에서도 직군에 따라 전환율, 이용 경험, 구현 가능성과 유지보수에 부여하는 우선순위가 다를 수 있다. 이 논문의 피드백·수정·재검토 구조는 판단 근거를 설명하는 연습으로서 실무적 가능성이 있다. 다만 이는 디자인 학생의 개인적 학습을 팀·조직의 협업이라는 중시적 층위로 확장하는 제안이다. 저자들도 조건별 20분의 경험만으로 장기적 교육 효과를 확인하기 어렵다고 밝힌다. 실제 동료가 의도를 이해하고 합의로 이어지는지, 오해와 재작업이 줄어드는지는 별도로 검증해야 할 것이다.

3. 질의

연구적 질의

첫째, 디자인 피드백 연구는 교육 문화에 따라 달라지는 좋은 피드백의 기준을 어떻게 다루어야 하는가? 본 연구에서는 산업디자인 중심의 표본과 KAIST 연구진의 배경이 설계·평가에 반영될 가능성을 어떻게 검토했는가? 후속 연구에서는 소속 기관, 실제 교육·비평 경험, AI 사용 경험과 의인화 성향을 사전에 조사하고 서로 다른 교육 배경의 반응을 비교할 것을 제안한다.

둘째, 교육용 AI 연구에서 배려와 비판의 정확성을 함께 평가하려면 무엇을 측정해야 하는가? 표현만 부드러워진 경우와 타당한 지적이 누락된 경우를 구분했을 때에도 FRI의 효과는 긍정적으로 평가될 수 있는가? 또 그 차이가 AI의 감정 표현 때문인지, 단순 평가 점수에 맞추려는 행동 때문인지 구분하려면 어떤 증거가 필요한가?

셋째, 기업 지원을 받는 교육용 AI 연구에서 지원기관의 역할과 연구진의 독립성을 어떤 방식으로 설명하면 연구 결과를 해석하는 데 도움이 될까? 연구 문제의 설정, 분석, 원고 검토 등 각 단계에서의 역할을 구분해 제시하는 방식을 생각해볼 수 있겠다.

실무적 질의

넷째, 본 연구의 피드백 연습이 조직에서의 디자인 협업 역량으로 이어지려면 어떤 조건이 필요한가? 같은 말을 다르게 이해하는 경우와 뜻은 이해했지만 직무별 우선순위가 다른 경우를 AI가 어떻게 드러내고 조율을 보조할 수 있을까? 기획자·개발자·디자이너가 참여하는 실제 과제에서 의도 이해, 합의의 실행, 재작업의 변화를 관찰한다면 실무적 가치를 검증할 수 있지 않을까?

Feed-O-Meter의 가치는 AI를 가르치는 경험을 통해 인간이 자신의 피드백을 돌아보게 했다는 데 있다. 이 가능성을 발전시키려면 배려와 정확한 비평이 함께 이루어지는 조건, 교육 배경에 따른 평가의 차이와 연구가 이루어진 조건, 그리고 실무로 이어지는 경로를 밝혀야 할 것이다.

참고문헌

썸네일: Feed-O-Meter의 Alex, © 2024 Hyunseung-Lim · MIT 고지.