평가 연구란 무엇인가? (방법 및 예시)

팀이 전적으로 추측과 직감에 의존하는 것만큼 프로젝트를 빠르게 망치는 일은 거의 없습니다. 새로운 제품을 위해 시장 조사를 하는 팀이든, 새로운 정책을 마련하는 학교나 정부 기관이든 상관없습니다. 확실한 데이터가 없다면, 여러분이 내리는 모든 결정은 예상했던 것보다 훨씬 더 큰 비용을 초래할 수 있습니다.

평가 연구는 조직이 당혹스럽고 완전히 예방할 수 있는 실수를 저지르지 않도록 돕는 방법입니다. 제품, 프로그램, 프로세스 또는 사용자 경험에 대한 질문에 답하는 데 도움이 되는 정보를 수집하고 평가하기 위해 다양한 방법을 사용합니다.

시간이 많이 걸리는 것처럼 들리고 실제로 그럴 수도 있지만, 동시에 매우 가치 있는 일이 될 수도 있습니다. Qualtrics에 따르면 너무 많은 연구 팀이 이미 편법을 쓰려고 하고 있습니다. 현재 약 95%의 연구원이 AI 도구를 정기적으로 사용하거나 실험하고 있습니다. 또한 NORC는 2026년 업계 프레젠테이션에서 2025년에 비확률 면접의 40%가 사기일 가능성이 높다고 주장했습니다.

피드백을 빨리 수집하기로 결정하는 것은 항상 유용하지만, 잘못된 피드백은 여러분을 더 빨리 잘못된 방향으로 이끌 뿐입니다. 이것이 바로 평가 연구가 필요한 이유입니다.

평가 연구란 무엇인가요?

그렇다면 평가 연구의 목적은 무엇일까요?

평가 연구 방법은 팀에게 프로그램, 제품 또는 정책의 효과와 가치에 대한 증거를 수집할 수 있는 방법을 제공합니다. 세상에 내놓는 솔루션이 올바른 목표를 달성하고 있는지, 아니면 의도치 않은 결과를 초래하고 있는지 판단하는 데 도움이 됩니다.

정부 기관이나 의료 팀에서 주로 사용하는 과학적 과정처럼 들리지만, 실제로는 다양한 사용 사례에서 매우 흔하게 쓰이는 데이터 수집 전략입니다. 조직은 제품 출시, 교육 프로그램, 비영리 프로젝트, 새로운 내부 프로세스, AI 도구 또는 온보딩 과정과 같은 작업에 평가 연구를 사용할 수 있습니다.

이 작업은 의도적으로 직접적인 방식을 취하며, 다음과 같은 가장 중요한 질문에 초점을 맞춥니다.

• 효과가 있었나요?
• 어느 그룹에 효과가 있었나요?
• 비용은 얼마였나요?
• 무엇이 잘못되었나요?
• 무언가 변경해야 하나요?

이러한 질문에 일찍 답하면 특히 수많은 사람들에게 영향을 미치는 제품 로드맵을 구축하거나 새로운 프로세스를 설계할 때 회사의 많은 리소스를 절약할 수 있습니다. 여러분이 작업 중인 것이 실제로 투자한 시간, 비용, 노력의 가치가 있는지 빠르게 파악할 수 있습니다. 그리고 이를 알게 되면 계속 진행할지, 다음 단계를 수정할지, 대상을 변경할지, 아니면 아예 중단할지에 대해 더 정보에 입각한 결정을 내릴 수 있습니다.

평가 연구의 일반적인 실제 사용 사례

가장 명백한 예인 제품 개발에 대해서는 이미 언급했습니다. 고객이 비용을 지불하지 않거나 애초에 의도한 바를 전혀 제공하지 못하는 제품을 계속 개발해야 하는 회사는 없습니다. 하지만 평가 연구 방법은 다음에 대한 인사이트를 얻는 데에도 도움이 될 수 있습니다.

• 사용자 경험(UX) 및 사용성: 제품 팀이 고객이 결제 시 언제 어려움을 겪는지, 혹은 앱 사용을 언제 포기하는지 실제로 확인할 수 있다면, 이러한 UX 인사이트를 활용해 더 큰 그룹으로 확장하기 전에 문제를 해결할 수 있습니다.
• 직원 교육: 평가 연구를 통해 회사는 교육 전후의 점수를 비교하고, 직원의 피드백을 검토하며, 행동을 실질적으로 개선하는 교육 변경을 수행할 수 있습니다.
• 공중 보건 프로그램: 병원에서는 진료를 놓칠 가능성이 높은 환자를 대상으로 알림 문자가 예약 참석률을 높이는지 테스트할 수 있습니다.
• 사회 프로그램: 비영리 단체는 취업 준비 프로그램이 단순히 출석률에 그치지 않고 면접, 취업 또는 더 나은 근속으로 이어졌는지 확인할 수 있습니다.
• AI 워크플로우: 지원 팀은 AI 분류 도구가 긴급한 문제를 잘못된 대기열로 보내지 않으면서 백로그를 줄였는지 측정할 수 있습니다.

평가 연구는 언제 수행해야 하나요?

평가 연구는 초기 아이디어 단계에서 사람들이 실제로 사용하는 단계로 넘어가려는 모든 제품, 프로그램 또는 전략에 유용합니다. 프로젝트나 프로그램의 전체 수명 주기 동안 이를 사용하게 됩니다. 

제품이나 새로운 비즈니스를 구축하기 전에 수행하는 시장 조사와 매우 유사한 형성 연구(formative research)로 시작합니다. 그런 다음, 중간 단계에서 프로세스를 평가하여 모든 것이 제대로 구현되고 있는지 확인하고, 미처 생각하지 못했던 과제를 해결합니다. 프로젝트가 끝나면 최종적인 영향을 측정하고 달성하고자 했던 바를 실제로 이루었는지 확인합니다. 

평가 연구 방법은 제품 로드맵에 새로운 기능을 추가하거나, UX를 변경하거나, 교육 프로그램을 제공하려고 할 때 이상적입니다. 투자자가 자금을 지원하기 전에 그들에게 보여줄 증거를 수집할 때도 사용할 수 있습니다. 

실제로 많은 회사가 AI 전략에도 평가 연구를 사용하기 시작했습니다. 영국 정부는 심지어 AI 개입을 현재 상황과 비교하여 측정하고 프로세스, 영향, 그리고 비용 대비 가치에 대한 질문을 통해 판단해야 한다고 명시하고 있습니다. 

평가 연구의 종류에는 어떤 것들이 있나요?

앞서 아주 간략하게 언급했지만, 평가 연구의 네 가지 주요 유형은 형성(formative) 평가, 총괄(summative) 평가, 과정(process) 평가, 결과(outcome) 평가입니다. 

형성 평가 연구는 초기 단계의 조사이며, 대부분의 회사가 건너뛰고 싶어 하는 유혹을 받는 단계입니다. 이 평가는 프로그램이나 제품을 개발하는 과정에서 수행됩니다. 전체적인 목적은 개선할 점을 파악하고, 출시 전에 프로그램에 긍정적인 변화를 일으키는 것입니다. 

총괄 평가 연구는 프로젝트가 끝날 때 수행되며, 이니셔티브가 목표를 달성했는지와 같은 주요 질문에 주목합니다. 예를 들어 제품을 테스트하는 회사의 경우, 이는 사람들이 실제로 제품을 사용하고 있는지, 회사가 약속한 이점을 제공하는지 확인하는 것을 의미할 수 있습니다.

과정 평가는 프로젝트의 진행 방식을 살펴봅니다. 예를 들어, 병원에서 예약 부도(no-show)를 줄이기 위해 환자에게 알림 문자를 자동화하기로 결정한 경우, 문자가 적절한 시간에 발송되었는지, 수신함에 도달했는지, 의료 표준을 준수하는지, 전화번호가 정확한지 확인해야 합니다.

마지막으로, 결과 평가는 프로젝트나 과정이 작동한 결과로 무엇이 일어났는지 살펴봅니다. 인사팀의 경우, 이는 직원 유지율 향상을 의미할 수 있습니다. 병원의 경우 예약 부도 환자 감소일 수 있습니다. 교육 팀의 경우 일상적인 업무 성과가 향상되는 것일 수 있습니다. 목표가 무엇이든 간에, 결과 평가는 그 일이 할 가치가 있었는지 알려줍니다.

평가 연구의 주요 방법

평가 연구의 두 가지 주요 유형은 양적(quantitative) 연구와 질적(qualitative) 연구로, 사실상 모든 형태의 연구에서 볼 수 있는 것과 동일합니다. 첫 번째는 숫자를 살펴보고, 두 번째는 그 숫자 이면의 의미와 생각을 살펴봅니다.

양적 평가 연구

양적 평가 연구는 숫자에 초점을 맞춘 옵션입니다. 응답자로부터 실제 수치를 얻기 위해 고안된 질문을 합니다. 분석 대상에 따라 비용, 완료율, 교육 점수, 만족도, 절약된 시간, 채택률 또는 오류 수를 찾을 수 있습니다. 여기서 얻는 결과는 대시보드에 매우 쉽게 표시할 수 있는 데이터입니다.

언뜻 보기에 양적 연구는 새로운 온보딩 과정이 실제로 활성화율을 개선했는지, 지원 AI가 티켓 백로그를 줄였는지, 또는 교육 프로그램이 시험 점수를 향상시켰는지 매우 빠르게 알려줄 수 있습니다. 하지만 데이터가 정확할 때만 신뢰할 수 있습니다. 표본이 나쁘거나 유도 질문을 하면 잘못된 수치를 얻게 됩니다.

질적 평가 연구

질적 평가 연구는 숫자를 넘어 더 깊이 살펴봅니다. 수집하는 데 더 많은 노력이 필요하지만, 도움을 줄 수 있는 다양한 연구용 설문조사 도구가 있습니다.

질적인 인사이트를 얻기 위해 인터뷰를 진행하고, 주관식 설문 질문이 포함된 양식을 보내며, 포커스 그룹을 관리하고, 관찰 결과나 사용자 의견을 수집합니다. 단순히 “얼마나 많은 사람이 이것을 사용했는가?”라고 묻는 대신, “사용하면서 어떤 느낌을 받았는가?” 또는 “어디서 막혔고, 그 이유는 무엇인가?”와 같은 질문을 던집니다.

집중적인 제품 설문조사 질문은 회사가 고객이 진정으로 필요로 하는 것이 무엇인지 표준 만족도 점수보다 훨씬 더 많이 알려줄 수 있습니다. 하지만 우연히 응답자를 특정 답변으로 유도하지 않도록 다시 한번 주의해야 합니다.

평가 연구의 단계는 무엇인가요?

평가 연구에서는 내려야 할 결정부터 시작하여 거꾸로 작업하는 것이 가장 좋은 방법인 경우가 많습니다. 

1. 목표 정의: 내려야 할 결정에 따라 정확히 무엇을 판단할지 결정합니다. 예를 들어, 새로운 도구를 대중에게 공개하기 전에 온보딩 과정을 개선해야 하는지 파악할 수 있습니다.
2. 누구에게 답이 필요한지 결정: 조사 결과를 누가 사용해야 하는지 파악합니다. 창업자, 제품 책임자, 전체 이사회, 부서장 또는 자금 지원 파트너가 될 수 있습니다. 사람마다 각기 다른 초점을 염두에 두고 정보를 읽게 됩니다.
3. 평가 유형 선택: 시기에 따라 형성, 총괄, 과정 또는 결과 평가 연구를 선택합니다. 초기 기획 단계라면 형성 평가를, 파일럿이 끝났다면 총괄 평가를, 출시에 문제가 있다면 과정 평가를, 실제 세계의 변화를 보려면 결과 평가를 선택합니다. 
4. 방법 선택: 건수, 비율, 점수, 비용 또는 백분율이 필요할 때는 양적 질문을 사용합니다. 숫자 이면의 이야기가 필요할 때는 질적 질문을 사용합니다. 대부분의 연구는 결국 두 가지를 모두 결합하게 됩니다.
5. 연구 도구 구축: 설문조사 질문 예시를 수집하고 설문조사, 인터뷰 가이드, 평가서 또는 체크리스트를 설계하세요. 모든 질문이 실제로 의사 결정을 내리는 데 도움이 되는지 확인하세요.
6. 데이터 수집: 정보 수집을 시작하세요. 설문조사로 데이터를 수집하는 경우, 적절한 대상에게 적절한 시간에 발송하고 실제로 응답할 수 있는 충분한 시간을 제공해야 합니다. 
7. 결과 확인: 설문조사 데이터 분석은 때때로 가장 어려운 부분일 수 있습니다. 여기서 찾아야 할 것은 문제가 되는 패턴입니다. 도구가 신규 사용자에게는 도움이 되었지만 숙련된 사용자를 불편하게 했나요? 교육이 행동 변화 없이 점수만 올렸나요? 프로그램이 의도한 대상을 놓치고 가장 접근하기 쉬운 대상에게만 도달했나요? 
8. 결정 내리기: 마지막으로, 적절한 형식(슬라이드쇼, PowerPoint, 시각적 그래프 등)으로 적절한 사람들에게 정보를 전달하세요. 그런 다음 해당 정보를 사용하여 결정을 내리세요.

평가 연구를 위한 데이터는 어떻게 수집할 수 있나요?

평가 연구를 위해 데이터를 수집하는 방법은 다양하며, 일부 사람들은 프로세스 속도를 높이기 위해 AI를 활용하기도 합니다. 사용하는 평가 연구 방법은 최종적으로 어떤 데이터가 필요한지에 따라 크게 달라집니다. 

일반적인 옵션은 다음과 같습니다.

• 설문조사와 질문지: 설문조사 만들기는 양적 데이터와 질적 데이터를 모두 빠르게 수집할 수 있는 가장 쉬운 방법 중 하나입니다. 사람들에게 온라인으로 설문조사를 보낼 수 있으며, 평가 척도, 객관식 옵션, 몇 가지 주관식 질문을 섞어서 구성할 수 있습니다.
• 인터뷰: 인터뷰는 시간이 더 걸리지만, 가치 있는 사람의 동의를 얻어 진행한다면 현명한 결정을 내리는 데 사용할 수 있는 훨씬 깊이 있는 질적 데이터를 얻을 수 있습니다. 구조화된 인터뷰를 하든 반구조화된 인터뷰를 하든 핵심 질문을 미리 결정하고 그에 충실하게 진행하세요.
• 문서 및 기록 검토: 기존 기록에는 생각보다 더 많은 정보가 숨겨져 있을 수 있습니다. 지원 티켓, 환불 메모, CRM 필드, 출석 로그, 교육 점수, 제품 분석, 불만 이메일, 통화 내역 및 예약 데이터 등은 모두 다른 방법으로는 눈치채지 못했을 패턴을 드러낼 수 있습니다.
• 포커스 그룹: 포커스 그룹은 인터뷰의 더 사회적인 버전입니다. 커뮤니티 프로그램, 제품 콘셉트, 공중 보건 메시지, 교육 자료 및 언어가 큰 비중을 차지하는 서비스 변경에 유용합니다.
• 테스트 및 평가: 테스트는 기술, 지식 또는 업무 수행 능력을 평가하는 데 적합합니다. 교육 프로그램, 온보딩 과정, 프로토타입 작업, 자격증 준비 또는 사람들이 해당 작업을 수행할 수 있음을 증명해야 하는 프로세스 변경에 사용하세요.

도구는 이 과정에서 매우 큰 도움이 될 수 있다는 점을 기억하세요. Jform은 팀이 평가 연구를 위해 데이터를 수집할 때 사용할 수 있는 최고의 설문조사 도구 중 하나입니다. 노코드 설문조사 빌더를 사용하면 누구나 모든 종류의 질문을 결합한 맞춤형 양식을 만들어 매우 통찰력 있는 피드백을 얻을 수 있습니다. 

효과적인 평가 연구 질문 예시

적절한 질문을 생각해 내는 것은 일반적으로 연구를 수행할 때 가장 어려운 부분 중 하나입니다. 연구 질문을 작성하기 전에 가장 가치 있는 일은 내리려는 결정과 평가해야 할 사항에 대해 신중하게 생각하는 것입니다. 

몇 가지 일반적인 영역에서 어떻게 적용될 수 있는지 살펴보겠습니다.

제품 및 사용자 경험

제품 팀은 마찰을 드러내는 질문이 필요합니다. 단순히 고객이 뭔가를 마음에 들어 했는지만 묻지 마세요. 사람들은 절대 사용하지 않거나, 비용을 지불하지 않거나, 추천하지 않을 많은 것들도 좋아할 수 있습니다. 대신 다음과 같은 질문을 사용하세요.

• 처음 사용하는 사용자 중 고객 지원팀에 문의하지 않고 설정을 완료한 비율은 얼마나 되나요? 
• 온보딩 과정 중 가장 이탈률이 높은 단계는 어디인가요? 
• 사용자가 주요 작업을 완료하는 데 얼마나 걸렸나요? 
• 경험 중 어떤 부분이 불분명하거나 짜증스럽게 느껴졌나요? 
• 어떤 기능이 다시 방문할 만큼 유용하다고 느껴졌나요? 
• 첫 주 이후에 이 제품의 사용을 중단하게 만드는 요인은 무엇인가요? 

교육 및 내부 프로그램

교육의 경우 자격증과 수료율에만 의존하지 마세요. 다음과 같은 질문을 해보세요. 

• 교육 후 평가 점수가 향상된 참가자의 비율은 얼마나 되나요? 
• 30일 이내에 새로운 프로세스를 사용한 참가자는 몇 명인가요? 
• 교육 중 실제 업무에서 가장 큰 도움이 된 부분은 무엇인가요? 
• 도움 없이 적용하기에 여전히 어렵게 느껴지는 것은 무엇인가요? 
• 관리자가 배운 내용을 활용할 수 있는 충분한 시간이나 지원을 제공했나요? 
• 성과 변화가 프로그램 비용만큼의 가치가 있었나요? 

공중 보건 및 소셜 프로그램

공중 보건 캠페인, 커뮤니티 프로그램 또는 비영리 서비스는 원래 도달해야 할 사람들을 놓치고도 성공적인 것처럼 보일 수 있습니다. 다음과 같이 질문해 보세요.

• 타겟 그룹 중 몇 명이 참여했나요? 
• 전체 프로그램을 수료한 비율은 얼마나 되나요? 
• 어떤 참가자 그룹에서 가장 큰 개선이 나타났나요? 
• 행동, 지식, 접근성 또는 자신감에 어떤 변화가 있었나요? 
• 예상보다 프로그램을 사용하기 어렵게 만든 요인은 무엇인가요? 
• 아무도 계획하지 않은 부정적인 부작용이 있었나요? 

개발 중 형성 평가

형성적 질문은 출시 파티, 유료 캠페인 또는 전체 출시에 앞서 팀이 물어야 하는 질문입니다. 다음과 같은 질문을 사용하세요.

• 테스터 중 주요 가치 제안을 이해한 비율은 얼마나 되나요? 
• 추가 지침 없이 프로토타입 작업을 완료한 사용자는 몇 명인가요? 
• 초기 테스트에서 어떤 버전의 콘셉트가 더 나은 성과를 보였나요? 
• 사용자가 처음 접했을 때 오해한 부분은 무엇인가요? 
• 이것을 시도하지 않게 만드는 우려 사항은 무엇인가요? 
• 준비가 완료되기 전에 변경해야 할 사항은 무엇인가요? 

빈 양식에서 시작할 필요는 없다는 점을 기억하세요. Jform의 바로 사용할 수 있는 평가 양식 템플릿은 팀에 유용한 기반을 제공합니다. 고객 만족도, 제품 피드백, 교육 평가, 코스 평가, 이벤트 피드백, 구현 검토, 직원 성과 및 서비스 품질에 대한 템플릿으로 시작할 수 있습니다. 그런 다음 실제로 내리려는 결정에 맞게 질문을 편집하세요.

Jform으로 평가 연구 수행하기

평가 연구 세션이 회사에 도움이 될 것이라고 생각하기 시작했다면, 적절한 기술을 갖추는 것이 많은 시간과 노력을 절약해 줄 것입니다.

Jform은 정보를 수집하는 복잡한 부분을 도와줍니다. 제품 팀이 새로운 온보딩 과정을 테스트하고, HR 팀이 교육 결과를 측정하며, 의료 기관이 방문 후 피드백을 수집한다고 가정해 보겠습니다. 이 세 가지 모두 다른 양식이 필요하지만, 더 나은 질문을 하기 위해 개발자를 기다려야 하는 사람은 아무도 없어야 합니다. Jform의 드래그 앤 드롭 양식 빌더를 사용하면 코딩 없이도 설문조사, 투표, 피드백 양식, 평가서, 접수 양식 및 프로그램 평가를 구축할 수 있습니다.

조건부 로직도 유용합니다. 즉, 누군가 결제를 포기했다고 답하면 무엇이 결제를 막았는지에 대한 후속 질문을 볼 수 있습니다. 교육 참가자가 새로운 프로세스를 사용하지 않았다고 답하면 장애물에 대한 질문을 받을 수 있습니다.

응답을 jform 테이블로 라우팅할 수도 있습니다. 여기에서 팀은 모든 것을 수동으로 짜맞추는 대신 제출물을 정렬하고, 패턴을 검토하고, 시각적 요약 보고서를 생성할 수 있습니다. 

민감한 평가 연구를 위해 Jform은 HIPAA 지원 양식과 GDPR 규정 준수 지원도 제공합니다.

Jform을 무료로 시도하여 평가 설문조사를 만들고, 더 깔끔한 데이터를 수집하며, 응답을 사람들이 실제로 변호할 수 있는 결정으로 바꿔보세요.