2편은 가설을 두 번 세우고 두 번 다 반박당한 끝에, 지침을 고쳐서 배포하는 것으로 끝났다. 합성 마커로 잰 재검증에서 보존율이 뚜렷이 올랐고, 실제 vault에서 다시 돌려본 예시도 좋아 보였다. 이슈를 닫았다. 이번 편은 그게 끝이 아니었다는 이야기다.
닫은 지 몇 시간 만에, 내가 다시 읽었다
배포한 지침 문구를 다시 읽은 건 같은 날이었다. “구체적인 수치·통계· 실명 사례를 생략하지 말고 보존하라”는 문장이었는데, 그 문장 자체가 스스로 범위를 좁혀놓고 있다는 게 눈에 들어왔다. 숫자가 아닌 구체적 사실은 어떻게 되나. 마침 손에 있던 다른 요약 노트 하나(비폭력대화 관련 원문)를 다시 보니, “변호사·엔지니어·군인은 각자 다른 직업 규범을 따른다”는 식의 나열이 통째로 빠져 있었다. 숫자도 통계도 아니었다. 그냥 구체적인 사실 하나가 문장째로 사라진 것이었다.
N=1이었다. 하지만 지침을 고친 근거였던 그 문구 자체가 문제의 실제 범위보다 좁게 적혀 있다는 걸 확인하기엔 충분했다. 몇 시간 전에 내 손으로 검증해서 닫은 이슈를, 같은 날 내 손으로 다시 열었다.
옆에서 또 하나 걸렸다
같은 검증 과정에서 완전히 다른 버그도 하나 걸렸다. 여러 각주를 인용하는 원문에서, 위키 노트가 통계의 출처를 실제와 다르게 적고 있었다. 원문 도입부는 “HBR과 리더십 전문가들의 연구를 바탕으로”라고 뭉뚱그려 적었는데, 정작 “신임 매니저 70%“라는 구체적 통계의 진짜 출처는 열다섯 번째 각주(한 대학 사이트)였지 HBR이 아니었다. 노트가 도입부의 뭉뚱그린 표현을 그대로 따라가면서, 그 밑에 있던 개별 사실의 진짜 출처를 놓친 셈이다. 원문에 없던 “팀 이동” 같은 구체화도 같은 자리에서 발견했다. 별개 이슈로 남겨두고, 밀도 문제로 다시 돌아왔다.
재검증을 두 번 더 돌렸다 — 합성 마커(synthetic marker) 회귀 테스트
지침 문구를 더 넓히기 전에, 지금 배포된 버전으로 실사용 규모를 키워 다시 돌려보기로 했다.
여덟 번째 재검증은 새 픽스처 하나(“Good Strategy, Bad Strategy” 요약) 였다. 결과는 인상적이었다. IBM과 거스트너의 1993년 사례, DEC의 1988년과 1992년 수치, 인텔과 앤디 그로브의 1992년 일화, 토요타의 10억 달러 하이브리드 투자, 스타벅스의 26억 달러(2001년), 한니발의 칸나이 전투(85,000 대 55,000, 전사자 50,000 대 5,000, 기원전 216년)까지 — 숫자 하나 안 틀리고 다 살아 있었다. 다만 은행 예시 하나는 통째로 빠졌고, 일본 매장 진열 수치(“200개 넘는 브랜드 중 매장당 50종만”)와 휴대폰 통화 중 사고 확률(5배) 통계는 누락됐다.
아홉 번째는 규모를 훨씬 키웠다. vault를 통째로 리셋하고 원본 40개를 전부 다시 넣은 뒤, 그중 13개 노트를 골라 원문과 나란히 놓고 하나씩 비교했다. 결과는 뒤섞여 나왔다. “대졸 실업률 5.6%” 같은 수치가 빠지고, “챗GPT 대화량 8배”가 같은 문장 안의 다른 통계와 함께 부분적 으로만 누락되고, “2만명 설문”과 “이혼확률 50% 감소” 통계에 “증기차” 일화까지 통째로 사라진 노트도 있었다. 다섯 편 앞에서 봤던 그 패턴이 이번 배치에서도 가장 흔하게 나타났다.
그런데 같은 배치 안에서 개선도 함께 보였다. 이전 세션에서 빠졌던 항목들 — Stanford AI Index의 특정 자율주행 서비스 채택률 수치, 로봇 설거지 기사의 구글 딥마인드 언급, Superteams 시리즈의 인용구 몇 개 — 이 이번엔 오히려 복원돼 있었다. 반면 다리오 아모데이의 초지능 비유(“노벨상 수상자 5000만 명”)는 이전 세션에 이어 이번에도 그대로 빠졌다. 같은 항목이 여러 세션에 걸쳐 반복적으로 누락되는 경우와, 전에는 빠졌다가 이번엔 살아남는 경우가 한 배치 안에 같이 있었다.
남는 생각
지침을 고치고 합성 마커로 검증했을 때는 명확한 개선(40%대에서 80%대로)이 나왔다. 실제 예시 하나로 다시 확인했을 때도 좋아 보였다. 그래서 닫았다. 그런데 그 두 가지 검증 모두 표본이 작았다 — 하나는 합성 마커 4종, 하나는 실사용 예시 1건. 진짜 규모(원본 40개, 그중 13개 정밀 대조)로 다시 돌려보고 나서야, “고쳤다”가 결정론적으로 해결됐다는 뜻이 아니라 확률이 눈에 띄게 좋아졌다는 뜻이었다는 게 드러났다. 같은 항목이 어떤 세션에선 살고 어떤 세션에선 죽는다.
고치라는 지시부터, 다시 봐야 했다 2편에서 확인했던 “확률적 재현”이라는 결론이, 이번엔 합성 테스트가 아니라 실제 vault 전체 규모의 데이터로 한 번 더 쌓인 셈이다. 그리고 그 데이터를 얻기 전에, 정작 배포한 문구의 사각지대(숫자가 아닌 구체적 사실)를 먼저 찾아낸 것도 큰 표본이 아니라 그날 다시 읽은 한 문장 이었다. 검증 규모를 키우는 것과, 이미 배포한 결론을 몇 시간 뒤에 다시 의심해보는 것은 서로 다른 종류의 확인이었고, 이번엔 둘 다 필요했다.