인간 VS AI 카피라이팅 대결

AB 테스트 가이드라인 시리즈
1부 - 인간 VS AI 카피라이팅 대결
2부 - 매출 만드는 AB 테스트, 시작이 막막한가요? 3단계 가이드
3부 - 처음 시작하는 구글 옵티마이즈 + AB 테스트 실무 팁

알파고와 이세돌의 바둑 대결도 2016년이니까 벌써 4년도 더 된 일입니다. 당시 알파고가 4승을 거둠으로써 최종적으로 승리했을 때만 해도 인간 시대의 끝이 도래한 듯 당혹스럽다는 분위기였는데, 지금 와서야 말하는 것이지만 세상이 크게 바뀌는 일은 없었습니다. 그럼에도 알파고의 승리는 여전히 강한 인상으로 남아 있습니다.

AI 기술은 하루가 갈수록 발전하고 있으며 이제 막 초등학교에 입학하는 꼬마라도 AI를 알고 있습니다. AI에 자신이 패배할지도 모른다는 의심은 그것에 동의하든 반대하든 한 번이라도 가져보지 않은 사람이 드물 겁니다. 체스 챔피언을 꺾은 딥 블루, 터미네이터, 심지어는 프랑켄슈타인에 이르기까지 인간과 그 피조물 인공지능 간의 대결은 항상 신선한 충격으로 그려졌습니다.

최근에도 인간 VS AI의 대결이 하나 있었습니다. 이번에는 디자이너와 마케터가 더 관심을 가질만한 승부입니다. 인간과 AI가 웹페이지의 카피를 가지고 승패를 가렸습니다.

AI가 카피를 쓴다고요? 🤔

AI는 머핀과 치와와 사진을 구별하고, 도로의 신호등과 사물을 파악해서 혼자 차를 굴리기도 합니다. 요즘 번역기는 번역체 문장을 매끄럽게 만들기 위해 AI 처리를 거치지 않은 경우가 드물 정도입니다. 페이스북, 구글 등에서는 적합한 광고 타깃을 찾기 위해 머신러닝 분석을 사용합니다. 이렇듯 경우의 수를 분석해서 최선의 답을 내놓는 AI는 익숙합니다. 하지만 창작하는 AI는? 고개가 갸우뚱합니다. 서비스 이름을 정할 때, 랜딩 페이지 메인 카피를 뽑을 때 쏟았던 창작 능력을 생각하면 감히 기계가 따라 할 수 있는 일인가 싶습니다.

이번 인간 VS AI 대결을 주관한 AB 테스트 플랫폼 VWO는 최근 AI로 카피를 만들어 AB 테스트에 활용할 수 있도록 기능을 내놓았습니다. 여기에 쓰인 AI가 바로 GPT-3입니다. IT 기술 쪽 해외 포럼을 자주 살펴보시는 분이라면 GPT-3이라는 이름이 낯설지 않을 것입니다. GPT-3는 OpenAI의 딥러닝 기반 자연어 처리 모델로 지난 6월에 공개되어 곧바로 화제가 되었습니다. 특히 ‘GPT-3는 비트코인 이후 가장 엄청난 것일 수도 있다.’(원제 : ‘Open AI’s GPT-3 may be the biggest thing since bitcoin’)라는 글이 관심을 모았습니다. 해당 글에서 글쓴이는 자신이 GPT-3로 만든 글을 비트코인 포럼 bitcoin.org에 게시했다고 말합니다. 이렇게 만든 글을 사람들에게 보여줬더니 봇인지 아닌지 잘 구분하지 못했다고 합니다. 그렇게 내용이 쭉 이어지다가 덜컥 ‘이제부터가 재미있는 부분입니다.’ (원문 : ‘Now for the fun part’) 부제목을 단 문단이 등장합니다. 그리고 글쓴이의 충격적인 고백이 시작됩니다. 사실 위의 내용, GPT-3로 만든 글을 비트코인 포럼에 공개하고 반응을 봤다는 내용을 설명한 글 자체가 GPT-3로 만든 것이었습니다. GPT-3 베타 사용 신청을 해서 사용 권한을 받아낸 지 단 하루 만에 만들어낸 글이었습니다. 약간은 짓궂은 이 글 외에도 말만 해주면 알아서 디자인해 주는 Figma 플러그인 등 GPT-3을 이용한 실험은 지금도 활발하게 진행되고 있습니다.

AI가 새로운 무언가를 만들어내는 일이 어떻게 가능할까요? AI가 가진 것은 수천억 개의 데이터를 가지고 가장 적절한 것을 내놓는 기능뿐인데 말입니다. 인간의 창작도 별반 다르지 않습니다. 완전히 새로운 것은 없습니다. 사람은 자신이 듣고 보고 경험했던 것을 조합해서 새로워 보이는 무언가를 만들 뿐입니다. 이러한 인간의 창작은 AI의 작동 방식과 놀랄 만큼 닮았습니다. 같은 조건이라는 이야기입니다. 결국 인간과 AI는 대결할 수밖에 없습니다.

심판은 사용자

본론으로 돌아와서 VWO의 대결을 좀 더 자세히 살펴보겠습니다. 인간이 쓴 카피와 VWO의 GPT-3 기반 카피 추천 기능이 쓴 카피의 대결은 제목에 해당하는 헤드라인, 본문에 해당하는 제품 설명, 그리고 CTA 버튼의 텍스트 이렇게 3종목에서 벌어졌습니다. 참가를 신청해서 선발된 사람들은 VWO의 카피 추천 기능 사용 권한을 얻었습니다. 참여자들은 AI 카피에 대항하는 인간 카피를 준비했습니다. 모든 준비가 끝나고 AB 테스트를 시작했습니다.

커머스, Saas, 모빌리티, 여행, 교육 서비스까지 다양한 분야에서 참여자가 선별되었습니다. 그중에는 Booking.com처럼 꽤 이름있는 서비스도 있습니다. AB 테스트는 3달 정도 이어졌습니다. 그래서 인간 VS AI. 카피라이팅의 승자는 누구일까요? 아직은 AI가 우세해 보입니다. VWO의 결과 페이지에서 내용을 확인할 수 있습니다. AI의 카피가 승리한 경우가 3건, 비등비등한 경우가 3건, 마지막으로 인간의 카피는 1승만을 남겼습니다.

[🤖AI 승리] 정수 관련 회사 Culligan Water의 랜딩페이지 설명카피

[🤖AI 승리] 독일 보험앱 CLARK의 랜딩페이지 헤드라인

[🤖AI 승리] 승마 용품 판매점 Schneiders의 이벤트 배너

[👩인간 승리] Booking.com 예약 CTA 버튼

아직 결과를 기다리고 있는 2건의 승부가 남아있기는 하지만 결국 AI의 승리입니다. 요즘 노 코드 툴도 잘 나오던데 앞으로 페이스북 마케팅부터 랜딩 페이지 제작까지는 돈만 내면 클릭 몇 번으로 끝낼 수 있는 때가 올지도 모르겠습니다.

진짜 승리자 : AB테스트를 돌리는 당신

그런데 위에 결과 이미지를 보면 ‘대안’, ‘유효 신뢰도’처럼 익숙하지 않은 단어가 등장합니다. 이게 다 뭘까요? 🤷‍♂️ 이는 모두 AB 테스트 관련 용어입니다.

앞서 말했듯 이번 대결을 주관한 VWO는 AB 테스트 플랫폼입니다. 새로 개발한 AI 카피 추천 기능을 홍보하기 위해 이런 이벤트를 진행했습니다. AB 테스트는는 같은 조건을 가진 특정 실험군 일부에 변수를 적용하는 가설 검증 방법입니다. 만약 당신이 신발을 파는 웹페이지를 운영하고 있다면 제품 목록 썸네일에 측면 사진 하나만 보여주는 것보다 위, 앞에서 찍은 사진도함께 보여준다면 상세 화면으로 진입할 비율이 늘어날 것이고, 그만큼 구매율도 늘어날 것이라는 가설을 세울 수 있습니다. 이렇게 가설을 세운 후 한쪽 사용자는 기존대로, 다른 한쪽 사용자는 가설에 맞게 수정된 제품 목록 페이지를보여줌으로써써 해당 수정 사항이 어느 정도 영향을 미쳤는지 직접적으로 비교할 수 있습니다.

제품을 기획하는 입장에서 AB 테스트는 정말 매력적인 도구입니다. 가정이 아닌 실제로 유저의 반응이 어떤지 확인하여 사용자에게 진짜 도움이 되는 제품을 만들 수 있습니다. 그러나 가설 세우기부터 실험 페이지를 만들어 특정 사용자에게 분기하고, 실제 데이터를 수집하기에 이르기까지 AB 테스트를 처음 시작하려는 사람에게는 이 모든 과정이 큰 도전이 될 수 있습니다.

저는 회사에 있으면서 지난 1년 반 동안 거의 혼자 100여 개의 AB 테스트를 진행했습니다. AB 테스트 문화가 국내에 막 유입되던 시점이라 마땅한 정보를 찾기도 어려워 몸을 부딪쳐가면서 배웠습니다. 이런 경험을 바탕으로 AB 테스트를 시작하는 현실적인 과정을 짧게 풀어보려고 합니다. 그 글을 읽고 나면 비록 VWO가 주관한 카피라이팅 대결에서 인간이 졌지만 그다지 풀죽을 일이 아니라는 점을 알게될 겁니다.

많은 관심 가져주세요!