AI를 AE로 만드는 방법

AI에게 광고 제안서 작성을 요청하여 나온 결과물을 보면, 실제로 활용할 수는 없다는 것을 알게 됩니다. 문장에 오류도 없고 구성도 잘된 것처럼 보이지만, 조금만 들여다보면 알맹이가 없거나 뻔한 내용이 대부분입니다. 그래서 AI가 만든 제안서를 실전용으로 쓰려고 하면, 결국 사람이 처음부터 끝까지 다시 만들게 됩니다. 문과 페이퍼웍의 정점이라고 할 수 있는 컨설팅 업계에서는 이미 정리가 끝난 이야기입니다. 슬라이드 디자인은 자동화 도구에게 맡길 수 있지만, 내용은 사람이 만들어야 한다는 것입니다. 보기 좋은 문서와 사용할 수 있는 문서는 다릅니다.

그래서 많은 수의 AI 기반 문서 자동화 도구들이 처음에는 '컨설팅 수준'임을 이야기하다가 이제는 디자인과 템플릿 자동화에 치중합니다. 그런데 정말 안 되는 건가, 되게 만드는 방법이 있지 않을까 궁금합니다. 실제로 같은 AI를 기반으로 비슷한 기능을 제공하는 도구 중 어떤 도구는 더 좋은 결과물을 만들어냅니다. 그래서 이제부터의 이야기는 프롬프트 엔지니어링에 관한 이야기라고 볼 수도 있습니다.

모델 위에 얹은 설계

AI 기반의 서비스를 자동차에 비유하면, 챗GPT나 제미나이 그리고 클로드 같은 AI 모델이 엔진에 해당합니다. 그런데 엔진 성능이 좋다고 해서 자동차 성능까지 우수한 것은 아닙니다. 그 엔진을 어떻게 세팅하고, 어디로 힘을 보내고, 어떤 상황에서 어떻게 반응하게 만드느냐 - 즉, 설계가 자동차의 성능을 좌우합니다.

AI 기반의 서비스에서 설계에 해당하는 것이 시스템 프롬프트입니다. 사용자 눈에는 보이지 않지만 AI 모델 위에 얹혀서 이 서비스가 무엇을 하는 도구인지, 어디까지는 하고 어디에서는 멈추는지, 무엇을 좋은 결과물이라고 판단하고 무엇을 걸러내는지를 시스템 프롬프트가 결정합니다. 같은 AI 모델이라도 설계가 다르면 만드는 결과도 다릅니다. 결국 AI 기반 서비스의 품질은 설계 - 시스템 프롬프트에서 갈립니다.

대부분의 사람은 AI에게 무언가를 시킬 때 대화창에 몇 줄만 입력하고, 바빠서 또는 귀찮아서 한 문장이나 심지어 단어 하나로 끝내기도 합니다. 그런데 그 몇 줄로 얻을 수 있는 것은 "그럴듯한 문서" 딱 거기까지입니다. AI로부터 일정 수준의 결과물을 안정적으로 얻어내려면, 여러 종류의 구조와 입출력 로직을 시스템 프롬프트로 설계해야 합니다. 그리고 그 설계는 오랜 시간과 많은 실패를 요구합니다.

세 계절에 걸쳐 완성한 프롬프트

Synapsis의 시스템 프롬프트는 800여 줄 5만 자가 넘는 분량입니다. 일반적인 지시문으로는 원하는 수준의 결과물을 만들어낼 수 없기 때문에 분량이 많습니다.

개발자도, AI 업계 사람도 아닌 문외한이기 때문에 저도 단순하게 시작했습니다. 브리프를 넣어 결과를 만들어보고, 이상한 지점을 찾아 고치는 과정을 수도 없이 반복했습니다. 시스템 프롬프트에 규칙을 넣었다가 부작용이 생기거나 기존의 규칙과 충돌하면 삭제하기도 하고, 다시 다른 방식으로 수정해서 넣기도 했습니다. 그 과정에서 시스템 프롬프트는 복수의 레이어로 분화되었습니다. 각 레이어가 서로 다른 기능을 수행하고, 그것들이 함께 작동해 하나의 결과를 만듭니다.

가상의 광고 캠페인 브리프를 기준으로 결과물을 만들고 판정하면서 시스템 프롬프트를 만드는 과정을 세 계절에 걸쳐 진행했습니다. 매 테스트에서 "이 결과가 실무에 쓸 수 있는 수준인가"를 확인하고 부족한 부분을 찾아 시스템 프롬프트를 고쳤습니다. 800줄 5만 자는 이 과정의 산물입니다. 단순히 "길게 썼다. 많이 썼다"는 뜻이 아니라, "그만큼 많이 고쳤다"는 뜻입니다.

감식안

여기까지 오려면 프롬프트 엔지니어링 외에 다른 능력이 필요합니다. 시스템 프롬프트를 수정하려면 먼저 "이 결과가 좋은가 나쁜가"를 식별할 수 있어야 합니다.

무엇이 말이 되고 무엇이 말이 안되는지, 어느 표현이 매끄럽고 어느 표현이 덜 매끄러운지를 식별하지 못하면 설계를 어떻게 뜯어 고쳐야 할지 알 수 없습니다. 평가 기준이 없는 상태에서의 반복은 방향을 잃습니다. 표현의 수준, 구성, 추상성과 구체성의 수준 등 세부적인 부분 하나 하나를 검토하고 판정해야 합니다.

Synapsis의 시스템 프롬프트 800여 줄은 식별과 판정의 지층입니다. 어떤 문구가 자연스러운지, 어느 정도까지 추상적이어도 되는지를 판정하는 기준이 없다면, 800줄은 장황한 문서일 뿐입니다.

질문이 바뀌어야 한다

AI 기반 서비스의 품질은 모델이 아니라 모델이 안정된 결과물을 생성하게 만드는 시스템 프롬프트가 결정한다는 것이 결론입니다. 그렇다면 AI 기반 도구를 고를 때 물어야 할 질문도 "무슨 모델을 썼는가"가 아니라 "어떻게 설계했는가"로 바뀌어야 합니다. 모델은 누구나 가져다 쓸 수 있습니다. 하지만 결과물의 차이를 만드는 것은 그 위에 무엇을 어떻게 얹었는가입니다.

Synapsis도 AI가 그 바탕에 있지만, 핵심은 시스템 프롬프트입니다. 단어와 문장의 생성, 단어끼리의 조합, 여러 문장의 연결, 슬라이드와 슬라이드가 이어지는 구조를 만들어내는 800여 줄의 설계입니다.

자료를 아무리 학습시켜도 왜 전략이 나오지 않는지는 경쟁 비딩 전략을 짜주는 AI가 없는 이유에서, Synapsis가 실제로 무엇을 만드는지는 AI AE는 어떻게 작동하는가에서 다룹니다.

자주 묻는 질문

AI로 광고 제안서를 작성할 수 있나요? 문장이 매끄럽고 구조도 갖춘 것 같은 문서까지는 나오지만, 실전용으로 쓰려면 사람이 처음부터 다시 만들게 됩니다. 다만 제대로 된 설계를 모델 위에 얹으면 같은 AI라도 결과가 달라집니다.

AI가 광고 전략까지 만들 수 있나요? 대부분의 AI 문서 작성 도구는 슬라이드와 템플릿을 채울 수는 있지만, 전략 방향은 작성하지 못합니다. 그럴듯한 방향과 실제로 검토할 가치가 있는 방향을 가려내는 기준이 없기 때문입니다. Synapsis는 그 기준을 설계에 담아, 광고 캠페인의 전략 방향을 설계합니다.

AI로 만든 제안서는 티가 나지 않나요? AI가 만든 제안서가 티가 나는 이유는 학습한 자료를 바탕으로 확률에 근거해 단어를 생성하고 그것이 결과물로 만들어지기 때문입니다. AI가 만든 결과물을 판정하고 생성 방향을 제어하는 것이 설계의 역할입니다. 결국 티가 나느냐 아니냐는 AI를 썼는지가 아니라, 어떻게 설계된 도구로 만들었는지에 달려 있습니다.