2. AI 질문법 제대로 익히기: 프롬프트부터 이해 검증까지 (프롬프트, 답변 품질, 팩트체크)

AI한테 질문했는데 답변이 영 엉뚱하게 나왔던 경험, 저도 꽤 오래 반복했습니다. 문제는 AI가 아니라 질문 방식에 있었습니다.

 

프롬프트(prompt), 즉 AI에게 전달하는 작업 지시문을 어떻게 구성하느냐에 따라 같은 AI도 전혀 다른 결과물을 냅니다.

 

이 글에서는 제가 직접 시행착오를 겪으며 정리한 AI 질문법과, 그 한계까지 솔직하게 풀어놓겠습니다.

프롬프트가 뭔지 모르면 AI가 늘 아쉽게 느껴진다

처음 생성형 AI를 쓰기 시작했을 때 저는 거의 매번 짧은 문장 하나만 던졌습니다. "보고서 작성해줘", "이 내용 정리해줘" 같은 식이었는데, AI가 제 머릿속에 있는 목적을 알아서 읽어줄 거라고 막연하게 기대했던 것 같습니다. 당연히 결과는 늘 기대치에 못 미쳤고, 수정 요청만 서너 번씩 반복하다 보면 그냥 직접 쓰는 게 낫겠다 싶었던 적도 있었습니다.

프롬프트(prompt)란 생성형 AI에게 원하는 작업을 지시하거나 질문하기 위해 입력하는 문장 또는 명령을 의미합니다. 쉽게 말해 AI에게 넘기는 작업 지시서라고 보면 됩니다. 사람에게 업무를 부탁할 때도 "보고서 만들어줘"보다 "지난달 민원 처리 현황을 부서장 보고용 2페이지 분량으로 정리해줘, 핵심 통계와 개선 방안을 나눠서"라고 말하는 편이 훨씬 원하는 결과에 가깝게 돌아오는 것과 같은 원리입니다.

미국 국립표준기술연구소(NIST)가 발표한 생성형 AI 위험 관리 프레임워크(출처: NIST, Artificial Intelligence Risk Management Framework: Generative AI Profile)에서도 생성형 AI의 출력 품질은 입력 정보의 명확성과 직접적인 관련이 있다고 밝히고 있습니다. 기술적으로도 입력의 질이 출력을 좌우한다는 뜻입니다. 제가 경험으로 느낀 것을 공식 문서가 뒷받침해 주는 셈이었습니다.

 

요약: 프롬프트는 AI에게 전달하는 작업 지시서이며, 입력 정보의 명확성이 답변 품질을 직접적으로 결정합니다.

 

답변 품질을 바꾸는 프롬프트 구성법

저는 처음에 '프롬프트를 길게 쓰면 좋다'는 말을 듣고 그냥 조건을 잔뜩 늘어놓는 방식으로 시도했습니다. 그런데 막상 조건들이 서로 충돌하거나 같은 내용을 반복하는 경우가 생기면서, 오히려 이상한 답변이 나오기도 했습니다. 길이보다 중요한 건 AI가 판단하는 데 필요한 정보를 얼마나 명확하게 담았느냐입니다.

제가 실제로 효과를 본 구성 방식은 다섯 가지 요소를 순서대로 생각하는 겁니다.

 

역할(어떤 관점에서 답할 것인지), 목적(무엇을 만들거나 해결하고 싶은지), 대상(누가 쓸 결과물인지), 조건(분량·수준·포함·제외 내용), 결과물 형식(표, 보고서, 단계별 설명 등)입니다. 이걸 하나의 공식처럼 외울 필요는 없고, 질문을 쓰기 전에 이 다섯 가지를 한 번 훑는 습관만 들여도 충분합니다.

예를 들어 같은 이메일 요청도 "상사에게 이메일 써줘"와 "금요일 오후 2시 회의가 다음 주 월요일 오전 10시로 변경됐다는 내용을 부서장에게 공손하고 간결한 업무용 이메일로 작성해줘"는 완전히 다른 결과물이 나옵니다.

 

제가 직접 써봤는데, 후자처럼 쓰면 수정 요청 없이 바로 쓸 수 있는 초안이 나올 때가 훨씬 많았습니다.

• 역할: "당신은 공공기관 문서 작성 전문가입니다" 처럼 관점을 지정
• 목적: 무엇을 해결하거나 만들고 싶은지 한 문장으로 정리
• 대상: 초보자·직장인·부서장 등 결과물을 읽을 사람을 명시
• 조건: 분량, 난이도, 포함할 내용, 제외할 내용을 구체적으로
• 결과물 형식: 표·목록·단계별 설명·보고서 등 원하는 형태를 지정

요약: 좋은 프롬프트는 길이가 아니라 역할·목적·대상·조건·형식 다섯 요소가 명확하게 담긴 지시문입니다.

 

첫 답변에서 끝내지 않는 것이 실제 활용법이다(팩트 체크 필수)

솔직히 이건 예상 밖이었습니다. 처음에는 '완벽한 프롬프트 하나를 만들어야 한다'는 부담감이 있었는데, 실제로 AI를 업무에 쓰다 보니 오히려 대화를 이어가면서 다듬는 방식이 훨씬 자연스럽고 효율적이었습니다. 첫 답변은 일종의 초안으로 보고, 그걸 바탕으로 후속 질문을 더하는 식입니다.

제가 문서 작업할 때 자주 쓰는 패턴이 있습니다. 처음엔 방향만 잡는 질문을 던지고, 답변을 보면서 "전문용어를 줄이고 초보자용으로 다시 써줘", "핵심 내용은 유지하면서 1,000자 이내로 줄여줘", "이 부분만 공문서 스타일로 바꿔줘"처럼 구체적으로 수정을 요청하는 방식입니다. 이렇게 하면 처음부터 조건을 열 개씩 나열하는 것보다 결과물이 더 깔끔하게 나오는 경우가 많았습니다.

이터레이션(iteration), 즉 반복 수정 과정이라는 개념인데, 여기서 이터레이션이란 첫 결과물을 기반으로 방향을 조금씩 조정하며 완성도를 높이는 반복적 작업 방식을 의미합니다. 소프트웨어 개발에서 쓰던 개념인데, AI 활용에도 그대로 적용됩니다. 한 번에 완성하려다 막히는 것보다 질문 → 답변 확인 → 추가 질문 → 수정의 사이클을 도는 게 훨씬 현실적입니다.

 

요약: 완벽한 프롬프트보다 첫 답변을 초안으로 삼고 후속 질문으로 다듬는 이터레이션 방식이 실제 업무에서 더 효과적입니다.

 

팩트체크 없이 쓰면 좋은 프롬프트도 소용없다

제 경험상 이건 좀 다릅니다. 질문을 아무리 구체적으로 만들어도 AI 답변의 사실 관계까지 보장해 주는 건 아닙니다. 프롬프트를 잘 쓰면 답변의 방향과 형식이 좋아지는 거지, 내용이 정확해지는 건 별개의 문제입니다. 이 부분을 혼동하면 꽤 위험한 상황이 생깁니다.

생성형 AI는 할루시네이션(hallucination)이라는 특성을 가지고 있습니다. 여기서 할루시네이션이란 AI가 실제로 존재하지 않는 정보를 마치 사실인 것처럼 그럴듯한 문장으로 만들어내는 현상을 의미합니다. 특히 통계 수치, 법령 내용, 의료 정보처럼 정확도가 중요한 영역에서 이 문제가 자주 발생합니다.

 

저도 한 번은 AI가 자신 있게 써준 수치를 공식 자료에서 찾아봤다가 다른 내용이 나와서 식은땀을 흘린 적이 있습니다.

NIST의 생성형 AI 위험 관리 프레임워크(출처: NIST, AI Risk Management Framework: Generative AI Profile)에서도 생성형 AI의 주요 리스크 중 하나로 사실 오류(factual inaccuracy)와 기만적 출력(confabulation)을 명시하고 있습니다. 따라서 법률, 세금, 의료, 정부 정책, 통계처럼 정확성이 중요한 내용은 반드시 공식 출처를 별도로 확인하는 습관이 필요합니다.

 

"확인되지 않은 사실은 추가하지 말아줘"라는 조건을 프롬프트에 넣는 것도 도움이 되지만, 그것만으로는 충분하지 않습니다.

결국 AI를 잘 활용한다는 건 프롬프트를 잘 쓰는 능력과 함께, AI의 답변을 비판적으로 읽고 필요한 부분을 직접 검증하는 능력이 동시에 필요한 일입니다. AI에게 일을 맡기는 것이 아니라, 사람이 목적을 정하고 질문을 설계한 뒤 결과물을 검토하면서 함께 완성해 가는 과정이라고 저는 생각합니다.

 

요약: 좋은 프롬프트는 답변의 방향을 잡아줄 뿐, 할루시네이션(사실 오류) 리스크는 별도의 팩트체크로 반드시 관리해야 합니다.

 

자주 묻는 질문

Q. 프롬프트는 길수록 답변이 좋아지나요?

A. 꼭 그렇지는 않습니다. 같은 조건을 반복하거나 서로 충돌하는 지시를 잔뜩 넣으면 오히려 결과가 어긋나는 경우도 생깁니다. 길이보다는 목적·대상·조건·형식이 명확하게 담겼는지가 더 중요합니다. 제 경험상 핵심 조건 3~4개를 깔끔하게 정리한 편이 열 가지를 나열한 것보다 나을 때가 많았습니다.

 

Q. 첫 번째 답변이 마음에 안 들면 어떻게 해야 하나요?

A. 바로 포기하지 않는 게 핵심입니다. 첫 답변을 초안으로 보고, "이 부분을 더 쉽게 써줘", "핵심만 남기고 줄여줘"처럼 구체적으로 수정을 요청하면 됩니다. 처음부터 완벽한 프롬프트를 만들려는 부담보다, 대화를 이어가며 다듬는 이터레이션 방식이 훨씬 현실적입니다.

 

Q. AI 답변을 그대로 업무에 써도 되나요?

A. 중요한 내용이라면 반드시 확인이 필요합니다. 생성형 AI는 할루시네이션, 즉 없는 정보를 그럴듯하게 만들어내는 특성이 있습니다. 특히 법률, 수치, 정책처럼 정확성이 중요한 내용은 공식 자료를 별도로 대조하는 습관이 필요합니다. 프롬프트를 잘 썼다고 해서 사실 관계까지 보장되는 건 아닙니다.

 

Q. AI 질문할 때 개인정보를 넣어도 괜찮나요?

A. 가능하면 피하는 편이 좋습니다. 업무 자료나 개인정보에는 별도의 보안 기준이 적용될 수 있습니다. AI에 입력하기 전에 민감한 정보는 제거하거나 익명 처리하고, 소속 조직의 AI 이용 규정이 있다면 먼저 확인하는 것을 권장합니다.

 

결론

저는 복잡한 프롬프트 공식을 외우는 것보다, 질문 전에 "무엇을 원하는지"를 먼저 글로 정리하는 습관이 더 빠른 길이었습니다. 역할·목적·대상·조건·형식 다섯 가지를 순서대로 한 번만 훑어도 질문의 완성도가 달라집니다. 처음부터 잘 안 되더라도 후속 질문으로 다듬으면 됩니다.

다만 좋은 프롬프트를 쓰는 능력과, AI 답변을 의심하고 검증하는 능력은 세트입니다. 어느 하나만으로는 부족합니다. AI가 내놓는 결과물의 방향을 설계하는 사람, 그리고 그 결과물의 사실 관계를 마지막으로 책임지는 사람은 결국 저 자신입니다. 앞으로 답변이 기대에 못 미친다면, AI를 탓하기 전에 질문을 먼저 다시 들여다보는 것이 가장 빠른 해결책입니다.

 

참고: NIST, 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」

 

---