이것을 누르십시오: 테스트, Viola Gruner와 함께 추측하지 마십시오

WMR의 WordPress 커뮤니티 팟캐스트인 Press This에 오신 것을 환영합니다. 각 에피소드에는 커뮤니티 주변의 게스트와 WordPress 개발자가 직면한 가장 큰 문제에 대한 토론이 포함됩니다. 다음은 원본 녹음의 필사본입니다 .

RedCircle 제공

Doc Pop : WMR에서 WordPress 커뮤니티 팟캐스트인 Press This를 듣고 있습니다. 매주 우리는 WordPress 커뮤니티의 회원을 주목합니다. 저는 여러분의 호스트인 Doc Pop입니다. 저는 WP Engine에서의 역할과 팟캐스트를 만들고 만화와 튜토리얼 비디오를 그리는 TorqueMag.Io에 대한 기여를 통해 WordPress 커뮤니티를 지원합니다. 확인해보세요.

Red Circle, iTunes, Spotify, 좋아하는 팟캐스팅 앱에서 Press This를 구독하거나 wmr.fm에서 직접 에피소드를 다운로드할 수 있습니다.

이제 마케팅 및 웹 개발 영역에서 우리는 때때로 미신의 희생양이 될 수 있다고 생각합니다. 나는 확신한다. 예를 들어 사이트에서 연락처 양식을 디자인할 때 특정 결정으로 인해 수천 명의 고객이 비용을 지불해야 한다고 생각할 수 있지만 이러한 결정을 뒷받침할 데이터가 항상 있는 것은 아닙니다.

대신, 때때로 우리는 그러한 미신을 밀어붙이는 이전의 경험에 의존할 수도 있고, 그냥 직감, 또는 우리가 방금 마음에 새긴 누군가의 말을 들었던 것일 수도 있습니다. 오늘 저는 유럽에서 가장 큰 WordPress 대행사인 Inpsyde의 마케팅 책임자인 Viola Gruner와 이야기를 나누겠습니다.

Viola는 최근 WordCamp Europe 2023에서 "추측 대신 테스트: 그로스 해킹을 통해 더 많은 리드 생성"에 대해 강연했습니다. 우리는 오늘 그것을 하는 방법, 우리의 직감에 의존하지 않고 사물을 테스트하고 확인하는 방법에 대해 이야기할 것입니다. 비올라, 쇼에 오신 것을 환영합니다. WordPress 기원 이야기는 무엇입니까? 우리 커뮤니티에 어떻게 가입했습니까?

비올라 그루너: 안녕하세요. 초대해 주셔서 대단히 감사합니다. 그래서 WordPress에 온 이야기는 WordPress 커뮤니티에 오래 있지 않았습니다. 이제 딱 1년입니다. 나는 신생 기업에서 일했고 규모를 확장하여 WordPress를 사용하는 웹 사이트를 구축하고 있었습니다. 어느 날 이 웹사이트는 우리가 그것을 업데이트하지 않았기 때문에 충돌했습니다.

나는 이 전체 주제에 관여하지 않았지만 문제가 발생했을 때 거기에 있었습니다. 그래서 이번에 Inpsyde를 만났습니다. 그들은 내가 웹사이트를 고칠 수 있도록 도와주려고 노력했습니다. 그리고 우리가 신생 기업과 함께 성장하고 있을 때 설립자는 이렇게 말했습니다. "이봐, 우리는 다시 시작해야 해." 그래서 우리는 다시 시작하기로 결정했습니다. 그리고 창립자는 저에게 이제 WordPress 대신 Type3를 사용할 것이라고 말했습니다. 그리고 그 날은 내가 그만둔 날이었다. 그런 다음 Inpsyde에 와서 WordPress 커뮤니티를 보여주었습니다. 예, 이 커뮤니티를 보고 거기에 있는 것이 정말 놀랍습니다. 그리고 나의 첫 번째 WordCamp US에서 그것은 그것에 대한 나의 첫 번째 큰 경험이었습니다.

Doc Pop: 그게 몇년도였죠?

비올라 그루너: 작년이었습니다.

닥팝: 샌디에이고?

비올라 그루너: 네, 샌디에이고, 정말 놀라웠습니다. 훌륭한 사람들, 훌륭한 커뮤니티, 놀라운 정신. 물류 회사에서 일하기 전에는 항상 약간의 경쟁이 있었고 WordPress에 왔을 때 저는 하나의 큰 커뮤니티를 보았습니다. 그리고 우리는 하나의 큰 팀이며 WordPress를 더 크게 만들고 싶습니다. 놀라운 사람들과 함께 놀랍습니다.

Doc Pop: WordCamp Europe 2023에서의 강연을 축하합니다. “추측 대신 테스트”라는 제목의 강연을 하셨습니다. 그리고 당신은 마케터들에게 일종의 청중이라고 생각합니다. 가정에 따라 실행하는 것보다 아이디어를 테스트하는 것의 중요성에 대해 말입니다. 그 연설에 영감을 준 것은 무엇입니까?

Viola Gruner: 제가 마케팅 업무를 시작했을 때 저는 경험이 매우 부족하고 젊었습니다. 나는 여전히 공부했고, 신생 기업에서 일하고 있었는데 그들은 "이봐, 이제 당신이 이 회사에 대한 모든 결정을 내리고 있습니다."라고 말했습니다. 그리고 저는 어떻게 결정을 내리나요? 그래서 "내 직감이 무언가를 말하는 것"이라고 말하는 대신 테스트를 시작했습니다. 나는 모든 것 또는 모든 더 큰 결정을 테스트하기 시작했습니다. 그리고 이 과정을 통해 나는 모든 책이 이런 종류의 것을 말하는 것을 매우 자주 보았습니다. 그러나 대상 청중을 위해 테스트하면 때때로 다른 결과가 있습니다. 나는 많은 것을 테스트했고 우리 팀과 함께 많은 것을 테스트했으며 모든 것을 확장했고 이것을 보는 것이 놀랍고 배우는 것이 놀랍습니다.

대상 그룹이 항상 조금씩 다르다는 것을 확인하기 위해. 그리고 때때로 우리는 이 테스트가 성공할 것이라고 예상했고 때로는 성공했고 때로는 그렇지 않았습니다. 우리는 상당한 테스트를 시도했습니다. 또한 팀과 함께하는 마케터가 "이봐 요, 직감과 경험이 있기 때문에 이것 저것 해야합니다. "라고 말하는 것을 자주 들었 기 때문에 우리 팀에게도 좋았습니다.

하지만 경험상 누군가가 이렇게 말하면 위험이 있다는 것을 보았습니다. 내 경험에 따르면 실제로 효과가 있는지 여부를 확인하려면 자주 테스트해야 합니다.

Doc Pop: 나는 마케터들이 미신을 믿는다고 언급했습니다. 나는 분명히 그 학교 출신이라고 생각한다. 나는 WordPress 이전에 인쇄 작업을 했고 인쇄 및 마케팅 분야에서는 고객이 실제로 행동하기 전에 무언가를 세 번 봐야 한다는 것과 같은 믿음을 항상 가지고 있었습니다. 이 세 가지 규칙.

그리고 그것은 부분적으로 우리가 주간 신문을 하면서 실제로 테스트할 능력이 없었기 때문입니다. 얼마나 많은 사람들이 무언가를 보았고 그들이 그것에 대해 행동하는 데 몇 번이나 걸렸는지 정량화하는 것은 다소 어려웠습니다. 하지만 이 기술이 테스트를 허용하기 전이라는 사실을 넘어 지금도 마케팅에는 여전히 몇 가지 사항이 있다고 생각합니다. 우리가 이 행사를 후원해야 하는 것처럼, 수량화하기 어려울 수도 있습니다. 의지해야 잘 됩니다. 잘한 것 같았고 우리가 해야 할 일처럼 느껴졌다.

그래서 마케터들이 균형을 잡는 것 같아요. 그러나 당신은 누군가가 당신 사이트의 가장 중요한 부분 중 하나인 연락처 양식을 추가하기를 원할 수도 있다는 당신의 이야기에서 구체적으로 이야기했습니다. 사람들이 전환하도록 하고, 필요한 것에 가입하거나 뉴스레터에 가입하도록 합니다. 팀의 누군가가 어떤 이유로 추가 드롭다운 막대를 추가하려고 할 수 있습니다. 그리고 그것은 그들에게 매우 중요합니다.

그리고 그것은 당신에게 아마도 이것이 끔찍한 일이라고 느낄 것입니다. 이 흐름을 최적화했습니다. 그래서 같은 팀에서 일하는 두 사람이 있지만 우선 순위와 직감이 다릅니다. 그 갈등을 어떻게 해결하시겠습니까? 올바른 결정이 무엇인지 파악하기 위해 팀에서 가장 먼저 할 일은 무엇입니까?

비올라 그루너: 우리가 정확히 이런 종류의 작은 갈등을 겪었기 때문에 당신이 그렇게 말하는 것이 재미있습니다. 실제로 충돌은 아니었지만 영업 팀은 "이봐, 양식 필드가 하나 더 필요합니다."라고 말했습니다. 말씀하신 것처럼 양식 필드를 하나 더 추가하는 마케터의 경우 전환율이 떨어집니다. 조사하면 전환율이 떨어지기 때문에 양식 필드를 관리하라고 항상 말합니다. 그래서 가장 먼저 한 일은 영업팀에 "왜 우리가 양식 필드를 하나 더 추가하기를 원하며 어떤 양식 필드가 필요한가요?"라고 물었습니다. “품질 때문에 시간을 절약하고 싶습니다. 우리는 볼륨에 대한 양식 필드가 하나 더 필요하므로 더 잘 검증하고 시간을 절약할 수 있습니다.”

그래서 저에게 그 과정은 그들의 아이디어와 목표를 한 페이지에 적는 것이었습니다. 무슨 일이 있었던 것 같아요? 항상 숫자를 기반으로 가설을 세웠습니다. 양식 필드를 하나 더 추가한다는 것은 무엇을 의미합니까? 이런 종류의 질문을 조사하면 많은 데이터를 찾을 수 있으며 데이터는 일반적으로 양식 필드를 하나 더 추가하면 전환율이 떨어질 것이라고 말합니다. 그래서 전환율이 7%에서 6%로 떨어질 것이라는 숫자 기반 정보를 추가했습니다.

나는 실험 디자인, 어떻게 생겼을지, 필요한 기간, 중요한 결과를 얻기 위해 이것을 얼마나 오래 실행해야 하는지를 추가했습니다. 나는 그것을 우리 팀에 제시했고 아이디어를 제시한 후 팀은 ICE 모델을 사용하기로 결정했습니다. 이는 Impact, Confidence, Ease를 의미합니다.

전환율에 미치는 영향이 얼마나 큰지에 대해 이 아이디어를 평가했습니다. 예를 들어 0에서 10으로 떨어지면 오 마이 갓 그것은 큰 영향입니다. 우리는 이 테스트가 얼마나 효과가 있을지 또는 실패할지에 대해 자신감을 가지고 평가했습니다. 그리고 우리 팀 전체가 말했습니다. 예, 전환율이 떨어질 것입니다. 이 테스트를 구현하는 것이 얼마나 쉬운가요? 그리고 이러한 결과 중에서 시작하기에 가장 좋은 테스트를 결정했습니다. 그래서 우리는 종종 다양한 테스트를 많이 수집했습니다.

격주로 우리는 그로스 해킹 회의를 가졌으며 모두가 항상 같은 구조로 아이디어를 내놓았습니다. 우리는 그것을 평가하고 나중에 시작할 곳을 결정했습니다. 따라서 ICE 모델의 3개 숫자 중 끝에 있는 숫자가 높을수록 해당 테스트를 더 빨리 실행했습니다.

예를 들어 문의 양식을 사용하면 전환율이 떨어질 것이라는 데 동의했기 때문에 해당 테스트부터 시작해야 한다는 것을 알았습니다. 그리고 우리는 이 테스트를 시작했고 결과를 얻었고 그것에 대해 매우 놀랐습니다.

Doc Pop: 여기서 잠깐 쉬자. 그리고 우리가 돌아왔을 때, 무엇이 당신을 놀라게 했는지, 그 결과가 어땠는지, 그리고 테스트에 사용하는 일부 도구에 대해 조금 알려줄 수 있습니다. 따라서 빠른 광고 중단을 위해 계속 지켜봐 주시기 바랍니다. 그리고 돌아오면 Inpsyde의 마케팅 책임자인 Viola Gruner와 계속해서 추측 대신 테스트에 대해 이야기할 것입니다.

Doc Pop: WMR의 WordPress 커뮤니티 팟캐스트인 Press This에 다시 오신 것을 환영합니다. 저는 오늘 Inpsyde의 마케팅 책임자인 Viola Gruner와 이야기하는 호스트 Doc Pop입니다. Viola는 문의 양식에 수정 사항을 추가하는 것에 대한 이야기를 들려주었습니다. 그리고 이것이 아마도 더 적은 가입을 초래할 것이라는 가설이 있었습니다. 제 생각에는 많은 마케터들이 느끼는 것입니다.

Viola, 당신과 당신의 팀은 이것에 대해 많은 테스트를 했습니다. 그리고 휴식 직전에 놀랐다고 하셨습니다. 여기서 결과에 대해 놀랐던 점은 무엇입니까?

Viola Gruner: 양식 필드를 하나 더 추가하면 전환율이 7%에서 거의 6%로 떨어질 것이라고 생각했기 때문에 팀 전체가 놀랐습니다. 그리고 결과는 떨어지지 않았다. 그래서 전환율이 크게 변하지 않아서 너무 놀랐습니다. 우리는 이 A/B 테스트를 12주 동안 진행했고 약 45,000명의 사람들이 두 개의 서로 다른 페이지를 방문했습니다. 그리고 전환율 간에 차이가 없음을 확인했습니다. 즉, 새 양식에 양식 필드를 구현할 수 있습니다. 그것은 우리에게 큰 놀라움이었습니다.

Doc Pop: 그리고 그것이 당신이 말하려는 것을 정확히 보여주는 좋은 예라고 생각합니다. 누구도 자신의 직감에만 의존해서는 안 됩니다. 주간지에서 일할 때보다 요즘은 테스트하기가 훨씬 쉽습니다.

워드프레스에만 해당하는 것으로, 팀에서 테스트에 사용하는 도구는 무엇이며, 원하는 사람들에게 권장하는 것은 A/B 테스트가 요즘 테스트의 주요 형태가 될 것입니다.

Viola Gruner: 그래서 저는 개인적으로 두 가지 다른 A/B 테스트 도구를 사용하고 있었습니다. 따라서 Google Optimize라는 무료 도구가 하나 있습니다. 그리고 HubSpot의 또 다른 도구가 있으며 이미 포함되어 있지만 비용을 지불해야 합니다. 그래서 우리는 이 두 가지 도구로 테스트했습니다. 그러나 나는 또한 다른 시트로 우리만의 작업 흐름을 만들었고 모든 것을 구조화했습니다. 모든 것을 수집하는 이런 종류의 워크플로를 갖는 것은 간단합니다. 그런 다음 팀과 대화하고 거기에 모든 것을 기록하는 피치 카드가 있습니다.

성공적인 테스트와 예상대로 실행되지 않는 테스트를 문서화하는 것도 중요합니다. 따라서 시험을 마쳤다면 축하하고 잘 기록해야 합니다.

또한 예를 들어 실패하면 1년 후에 다시 확인하고 다음에 이 테스트를 어떻게 더 잘 할 수 있을지 생각해 볼 수 있습니다. 그리고 이것을 다시 테스트할 수 있을까요? 물론 수학에는 다양한 온라인 도구가 있습니다. 예를 들어 방문자 수를 확인하는 데 도움이 되는 A/B 테스트 가이드가 있습니까? 얼마나 많은 고유 방문자가 있습니까? 중요한 결과를 얻으려면 테스트를 얼마나 오래 실행해야 합니까?

Doc Pop: 마케터가 실수하는 부분이 있는지 궁금합니다. 과잉 테스트가 가능합니까? 아니면 여기에서 이야기하고 싶었던 다른 종류의 일반적인 실수가 있습니까?

Viola Gruner: 저는 테스트의 열렬한 팬입니다[웃음]. 하지만 과도한 테스트를 하지 않도록 주의해야 한다고 생각합니다. 큰 행사에 가려면 전에 말씀하신 것처럼 직감에 귀를 기울이는 것도 괜찮습니다. 여기서 테스트하고 의미 있는 데이터를 얻기가 더 어렵습니다. 그것이 내가 말하고 싶은 한 가지입니다.

또 제가 말하고 싶은 것은 테스트를 실행하면 예를 들어 문의 양식에서 테스트를 실행하면 전환율에 영향을 미친다는 것이 매우 중요하다는 것입니다. 따라서 동시에 다른 것을 테스트하려는 경우 전환율에도 영향을 미칠 수 있습니다. 따라서 항상 핵심 지표를 살펴봐야 합니다.

예를 들어 내 주요 측정항목이 전환율인 경우 서로 영향을 미칠 수 있기 때문에 두 가지 다른 테스트를 실행하고 있다고 즉흥적으로 말할 수는 없습니다. 전환율에 영향을 줄 수 있습니다. 그래서 당신은 말할 수 있습니다, 나는 소셜 미디어에서 소셜 테스트를 실행할 것이고, 나는 내 웹사이트에서 테스트를 실행할 것입니다. 그것은 당신이 할 수 있는 가능성이지만 동일한 주요 메트릭에 대해 두 가지 다른 테스트를 실행하지 않도록 주의하십시오.

Doc Pop: 네, 말이 되네요. 확실히 스트림을 건너지 말고 데이터를 엉망으로 만드십시오. 한 번에 하나의 테스트 우선 순위를 지정하거나 최소한 동시에 테스트되지 않는 다른 그룹을 만드십시오.

쇼 초반에 말씀하신 한 가지는 Inpsyde에서 일종의 주간 그로스 해킹 회의와 같은 그로스 해킹 회의가 있다는 것입니다. 그로스 해킹이란? 어떻게 설명합니까?

Viola Gruner: 그래서 그것에 대한 많은 다른 설명이 있고 많은 사람들이 이미 그것을 사용하고 있습니다. 그들은 이것저것 그로스 해킹을 하고 있습니다. 하지만 저와 제 팀은 많은 돈을 투자하지 않고도 숫자 기반 결정을 내리고 변경합니다.

따라서 실제로 그렇게 많은 돈을 들이지 않고 영리한 아이디어로 새로운 아이디어를 생각해 내고 테스트하는 것을 의미합니다. 이전에 일했던 회사에서는 그로스 해킹을 많이 했습니다. 그리고 우리는 일부 랜딩 페이지에서 매우 성공적인 테스트를 거쳤고 실제로 많은 비용을 지불하지 않고도 전환율을 크게 향상시킬 수 있었습니다. 그것은 우리의 시간이었고 그게 전부입니다. 그리고 우리는 많이 성장했습니다.

Doc Pop: 그곳이 우리가 마지막 휴식을 취하기에 좋은 장소라고 생각합니다. 그리고 우리가 돌아오면 Viola Gruner와 당신이 한 연설에서 얻은 마지막 메시지에 대해 이야기할 것입니다. 테스트 실패를 두려워하지 마십시오. 그것에 대해 더 듣고 싶습니다. 따라서 이 짧은 광고 시간 이후에 더 많은 Press This를 시청해 주시기 바랍니다.

Doc Pop: Press This에 다시 오신 것을 환영합니다. 저는 오늘 Viola Gruner와 추측 대신 테스트에 대해 이야기하는 호스트 Doc Pop입니다. 우리는 그로스 해킹이 무엇인지에 대해 이야기했습니다. 우리는 직감이나 이전 경험에 집착하기보다 아이디어를 테스트해야 하는 방법과 이유에 대해 이야기했습니다. 그리고 그것은 또한 언급되어야 한다고 생각하는데, 당신은 WordCamp Europe 강연의 끝에서 이것을 언급했는데, 당신은 모든 대상 그룹이 다르다고 말했습니다. 그리고 2년 전에 다른 회사에서 또는 같은 회사에서 한 번 이 테스트를 실행했다고 해서 다시는 테스트하지 말라는 의미는 아니라는 점을 상기시켜 주는 것 같습니다.

테스트할 때마다 항상 같은 결과를 얻을 수는 없기 때문에 이와 같이 상황을 재평가할 수 있는 기회일 것입니다. 또한 강연이 끝날 때 테스트 실패를 두려워하지 말라고 말씀하셨습니다. 그리고 저는 그것이 정말 흥미롭다고 생각했습니다. 그게 무슨 뜻인지 말씀해 주시겠습니까?

비올라 그루너: 당신이 테스트를 한다면 나에게는 실패가 없습니다. 내가 말했듯이 모든 완료된 테스트는 목표 그룹을 더 잘 알게 되므로 성공입니다. 그리고 팀이 있다면 그들과 함께 새로운 것을 만들었다는 좋은 부작용도 있습니다. 당신은 그들에게 그들의 목소리를 들을 수 있는 기회를 줬고 그들이 이 테스트가 효과가 있는지 아닌지를 보는 것은 형언할 수 없는 동기가 되었습니다. 그리고 당신은 많은 것을 배웁니다.

수행한 모든 테스트를 학습 기회로 보고 더 나아가야 합니다. 단계별로 대상 그룹을 더 잘 이해할 수 있습니다. 그리고 말씀하신 것처럼 다른 회사로 바꾸셨다고 해서 이 테스트가 잘 될지 안될지는 아닙니다. 너무 많은 사람들이 저에게 와서 우리 회사에 딱 맞는 테스트가 무엇인지 묻습니다. 귀사를 위한 완벽한 테스트나 완벽한 성장 해킹은 없다고 말씀드렸습니다. 당신은 테스트해야합니다.

Doc Pop: 음, WordCamp Europe 강연이 정말 즐거웠습니다. 다시 한 번 축하드립니다. 강연에서 사람들이 다운로드할 수 있는 워크플로가 있다고 언급했습니다. 사람들은 그것을 따라갈 수 있습니다.

저는 올해 WordCamp Europe에 가지 못했습니다. 그곳에서 좋은 시간을 보냈습니까?

비올라 그루너: 와, 네, 놀라웠습니다. 그것은 훌륭했다. 훌륭한 커뮤니티이며 사람들은 매우 친절하고 개방적입니다. 그리고 그것은 또한 매우 잘 조직되었습니다. 그리고 이 일에 참여할 수 있게 되었고 저에게 매우 중요한 이 주제에 대해 말할 기회를 갖게 된 것에 너무 감사하게 생각합니다.

닥 팝: 훌륭합니다. 오늘 우리와 함께 해주셔서 감사합니다, 비올라. 사람들이 당신을 팔로우하고 싶어한다면 당신이 하고 있는 일을 추적할 수 있는 좋은 방법은 무엇입니까?
Viola Gruner: Viola Gruner는 링크드인에서 제 이름입니다. 아니면 GrunerViola의 Twitter가 전부입니다.

Doc Pop: WMR의 WordPress 커뮤니티 팟캐스트인 Press This를 들어주셔서 감사합니다. 다시 한 번, 제 이름은 Doc이고 Twitter @thetorquemag에서 Torque 잡지와 함께하는 제 모험을 팔로우하거나 우리가 매일 이와 같은 튜토리얼, 비디오 및 인터뷰를 제공하는 torquemag.io로 이동할 수 있습니다. 따라서 torquemag.io를 확인하거나 Twitter에서 팔로우하세요. Red Circle, iTunes, Spotify에서 Press This를 구독하거나 매주 wmr.fm에서 직접 다운로드할 수 있습니다. 저는 귀하의 호스트 Doctor Popular입니다. 저는 WP Engine에서의 제 역할을 통해 WordPress 커뮤니티를 지원합니다. 그리고 저는 매주 Press This에서 커뮤니티 회원들을 집중 조명하는 것을 좋아합니다.