티스토리 뷰
ChatGPT에 똑같이 질문했는데 어떤 날은 쓸 만한 답이 나오고, 어떤 날은 교과서 같은 내용만 나올 때가 있습니다. 저도 처음엔 "오늘따라 AI가 이상하네"라고 넘겼습니다. 그런데 질문 방식을 바꾸고 나서 달라졌습니다.
결론부터 말하면, AI 성능보다 질문 구조가 결과를 훨씬 많이 좌우합니다.
질문 구조가 답변 품질을 결정한다
AI에게 "보고서 써줘"라고 요청했을 때와 "경영진이 5분 안에 읽을 수 있는 한 페이지 분량의 보고서를 써줘. 핵심 수치는 표로 정리해줘"라고 요청했을 때, 결과물은 완전히 다릅니다. 저는 이 차이를 직접 경험하고 나서야 질문 구조가 얼마나 중요한지 실감했습니다.
프롬프트 엔지니어링(Prompt Engineering)이라는 개념이 있습니다. 여기서 프롬프트 엔지니어링이란 AI가 원하는 결과를 출력하도록 입력값을 설계하는 기술을 의미합니다. 출처: OpenAI 프롬프트 엔지니어링 가이드에서도 명확한 지시와 맥락 제공, 원하는 출력 형식 명시가 품질 향상의 핵심이라고 설명합니다. 어렵게 들리지만 실제로는 사람에게 일을 부탁할 때의 방식과 다르지 않습니다.
제가 업무에 AI를 쓰기 시작하면서 가장 먼저 바꾼 것은 '무엇을 해달라'는 목적 앞에 맥락(Context)을 붙이는 습관이었습니다. 맥락이란 AI가 답변 방향을 잡기 위해 알아야 할 배경 정보, 즉 대상, 상황, 조건 등을 뜻합니다. 이걸 붙이고 나서 제가 원하는 방향에 훨씬 가까운 초안이 나왔고, 수정에 쓰는 시간이 눈에 띄게 줄었습니다.
질문 구조를 만들 때 저는 다음 다섯 가지를 먼저 머릿속으로 정리합니다.
- 목적: AI에게 정확히 무엇을 시킬 것인가 (설명, 요약, 작성, 비교 등)
- 대상: 결과물을 누가 읽거나 사용할 것인가 (전문가인지, 초보자인지)
- 조건: 반드시 지켜야 할 제한사항은 무엇인가 (분량, 포함 항목, 금지 표현 등)
- 결과물 형식: 표인지, 목록인지, 서술형인지 미리 지정한다
- 역할: 어떤 관점에서 검토 또는 작성할 것인지 설정한다
이 다섯 가지가 갖춰진 질문은 AI가 판단해야 할 범위를 좁혀줍니다. AI가 모호한 판단을 덜 해도 되니 결과가 달라질 수밖에 없습니다.
한 가지 더 말씀드리면, 역할 지정(Role Prompting)도 효과적입니다. 역할 지정이란 AI가 특정 전문가의 관점에서 답변하도록 설정하는 방법입니다. "행정문서 검토 경험이 많은 편집자의 관점에서 문장의 모호성과 중복 표현을 찾아줘"처럼 요청하면 단순히 "검토해줘"라고 했을 때보다 구체적인 피드백이 나옵니다. 제가 직접 써봤는데, 같은 문서를 두 방식으로 검토시켜봤을 때 결과물의 구체성 차이가 꽤 컸습니다.
그리고 처음부터 완벽한 질문을 만들어야 한다는 부담을 가질 필요는 없습니다. 첫 번째 답변을 보고 부족한 부분을 확인한 뒤 "이 부분만 더 구체적으로 설명해줘", "표로 바꿔줘", "초보자가 이해할 수 있는 표현으로 다시 써줘"처럼 반복적으로 요청을 조정하는 방식, 즉 반복적 개선(Iterative Refinement)이 실제로 훨씬 효율적입니다. 이 방식은 OpenAI 파워 프롬프팅 강의에서도 핵심 방법론으로 소개하고 있습니다.
질문을 잘해도 답변 검증은 따로 해야 한다
질문 구조를 신경 쓰면서 AI 활용이 훨씬 편해진 건 사실입니다. 그런데 솔직히 이건 예상 밖이었습니다. 질문이 구체적일수록 오히려 AI 답변을 그냥 믿게 되는 경향이 생긴다는 점입니다. 잘 정리된 표와 깔끔한 문장이 나오면 "이 정도면 맞겠지"라는 생각이 저도 모르게 들었습니다.
일반적으로 구체적인 프롬프트를 쓰면 좋은 답변이 나온다고 알려져 있지만, 실제로 써보니 질문이 구체적이어도 AI가 사실관계를 틀리는 경우는 여전히 존재합니다. 할루시네이션(Hallucination)이라고 불리는 현상입니다. 여기서 할루시네이션이란 AI가 실제로 존재하지 않는 정보나 잘못된 수치를 마치 사실인 것처럼 자신 있게 제시하는 현상을 말합니다. 프롬프트가 아무리 정교해도 이 가능성이 사라지지는 않습니다.
제 경험상 이건 좀 다릅니다. 법령 조문이나 행정 절차, 통계 수치처럼 정확성이 핵심인 내용은 AI가 만들어준 문장을 그대로 사용하지 않고 반드시 공식 자료를 따로 확인했습니다. 그렇게 하지 않았을 때 실제로 날짜가 잘못 표기된 경우를 몇 번 발견했기 때문입니다. 그때부터 AI 답변은 초안이고, 사실 검증은 제 몫이라는 생각이 확실히 자리 잡았습니다.
비판적 읽기(Critical Reading)도 습관으로 들일 필요가 있습니다. 비판적 읽기란 텍스트를 수동적으로 받아들이지 않고, 근거의 타당성과 사실 여부를 능동적으로 검토하는 읽기 방식을 의미합니다. AI 답변에 이 습관을 적용하면 "그럴듯한데 실제로 맞나?"를 자동으로 점검하게 됩니다.
결국 AI를 제대로 쓰는 능력은 두 가지로 나뉜다고 봅니다. 질문을 잘 설계해서 유용한 초안을 뽑아내는 능력, 그리고 그 초안을 사람이 직접 검토하고 책임지는 능력입니다. 전자만 익히고 후자를 건너뛰면 그럴듯해 보이지만 틀린 내용을 그대로 쓰게 될 가능성이 있습니다. 제가 초반에 몇 번 겪어본 일이라 더 확신 있게 말씀드릴 수 있습니다.
자주 묻는 질문
Q. 프롬프트를 길게 쓸수록 좋은 건가요?
A. 반드시 그렇지는 않습니다. 중요한 것은 길이가 아니라 AI가 판단하기 위해 필요한 정보가 제대로 포함되어 있는지입니다. 간단한 사실 확인이나 단순 변환 작업에는 짧은 질문이 더 효율적입니다. 작업의 복잡도에 맞게 질문 구조를 조정하는 것이 핵심입니다.
Q. AI에게 역할을 지정하면 실제로 답변이 달라지나요?
A. 달라집니다. 다만 "세계 최고의 전문가처럼 행동해줘" 같은 막연한 표현보다 실제로 필요한 전문 관점과 검토 기준을 구체적으로 설명하는 것이 더 효과적입니다. 예를 들어 "문장의 모호성, 논리적 연결, 중복 표현을 중심으로 검토해줘"처럼 기준을 명시하면 훨씬 구체적인 피드백이 나옵니다.
Q. 첫 번째 답변이 마음에 안 들면 어떻게 하나요?
A. 처음부터 다시 쓰기보다는 부족한 부분을 이어서 요청하는 방식이 더 효율적입니다. "이 부분만 더 구체적으로 써줘", "표로 바꿔줘", "사례를 하나 추가해줘"처럼 단계적으로 좁혀가면 원하는 결과에 빠르게 도달할 수 있습니다. AI와의 대화는 한 번에 완성하는 것이 아니라 반복적으로 개선하는 과정입니다.
Q. AI가 만들어준 답변을 그대로 써도 되나요?
A. 상황에 따라 다르지만, 법령·통계·날짜처럼 정확성이 중요한 내용은 반드시 공식 자료로 따로 확인하는 것이 필요합니다. AI는 자신 있는 어조로 틀린 정보를 제시하는 경우가 있기 때문에, 결과물의 사실관계는 사람이 직접 검증하고 책임지는 것이 맞습니다.
결론
AI를 쓰기 시작한 초반에 저는 답변이 마음에 안 들면 AI 탓을 했습니다. 그런데 질문 구조를 바꾸고 나서 같은 AI에서 전혀 다른 결과가 나왔습니다. 결국 달라진 건 AI가 아니라 제가 질문하는 방식이었습니다.
질문할 때 목적, 대상, 조건, 결과물 형식을 미리 정리하는 습관을 들이는 것만으로도 초안의 완성도가 달라집니다. 여기에 답변을 비판적으로 검토하는 습관까지 더하면, AI는 단순한 검색 도구가 아니라 실제로 함께 작업할 수 있는 도구가 됩니다. 오늘 한 번이라도 질문 구조를 의식하며 써보시길 권합니다.