Series: 고치라는 지시부터, 다시 봐야 했다
재설계 이후, '고치라'는 지시나 문서 자체가 틀렸던 기록. 죽은 주석을 고치다 또 틀린 것, 가설이 반만 맞았던 것, 고치기 전에 한 번 더 물어서 막은 것, '지우라'는 지시와 '어떻게 지울지'가 다른 질문이었다는 것, 프롬프트 규칙을 두 번 고쳤지만 정작 고칠 자리는 노트를 나누는 단계였던 것, 정성껏 만든 탐지 코드가 실측해보니 한 일이 없었던 것, 과분할을 막을 장치를 설계하다가 전날 만든 같은 장치를 못 알아본 것까지.
-
고치라는 지시부터, 다시 봐야 했다 1편 — 죽은 주석을 고치다가, 또 틀렸다
다음에 뭘 할지 고르는 것부터, `create_file`이 경로가 겹치면 조용히 기존 파일에 이어붙이는 데이터 오염 버그를 고치고, 그 김에 죽은 주석 하나까지 정리하기로 했다. 그런데 그 주석을 고치라고 지시한 문서 자체가 반대 방향으로 또 틀려 있었다.
-
고치라는 지시부터, 다시 봐야 했다 2편 — 가설은 반은 맞고 반은 틀렸다
사용자가 세운 가설을 실측으로 검증했더니 절반만 맞았다. 그 가설을 고치는 지시문 자체에도 오류가 있었고, 고쳐졌다는 걸 확인한 검증 스크립트에도 버그가 있었다.
-
고치라는 지시부터, 다시 봐야 했다 3편 — 고치기 전에 한 번 더 물었다
어제 일부러 넣어둔 안전장치를 하마터면 되돌릴 뻔했다. 그리고 같은 날, 사용자의 질문을 완전히 다른 질문으로 잘못 알아듣고 한 바퀴를 돌았다. 둘 다 '한 번 더 확인'이 없었으면 그대로 틀릴 뻔했다.
-
고치라는 지시부터, 다시 봐야 했다 4편 — 지우라는 지시와, 어떻게 지울지는 다른 질문이었다
실제 vault에서 임베딩용 API 키(`embeddingApiKey`)가 계속 비어 있는 걸 발견하고 추적해보니, 설계 문서에 열려 있던 질문이 사용자 확인 없이 조용히 결정돼 있었다. 그런데 그걸 고치라는 지시를 받고 나도 똑같은 실수를 반복할 뻔했다.
-
정답은 이미 있었고, 안 쓴 쪽이 문제였다
위키링크가 전체 경로 없이 베어(bare) 제목으로 남는 버그를 고치려고 사후 복구 방식을 두 번 제안했다가 두 번 다 정정당했다. 마지막 정정은 질문 하나였다 — 링크를 만들 때 이미 정답 정보를 받았을 텐데, 그걸 안 쓰는 쪽이 문제 아니냐는 것.
-
LLM 프롬프트 규칙을 두 번 고쳤는데, 정작 노트를 나누지 말았어야 했다
LLM이 만든 형제 노트가 링크만 남기고 텅 비는 버그를 프롬프트 규칙으로 두 번 고쳤다. 원문을 다시 보니 두 강좌의 설명이 같았고, 노트를 나누지 말고 합쳐야 했다.
-
LLM 언어 혼입을 잡으려 정성껏 만든 코드가, 실측해보니 한 일이 없었다
LLM이 만든 노트에 한국어 문장이 섞이는 문제를 코드로 탐지·수정하게 만들었는데, 실측해보니 고친 건 0건이었다. 진짜 원인은 언어 지시가 빠진 프롬프트 하나였다.
-
LLM 노트 과분할을 막을 장치를 설계하다가, 이미 있는 장치를 못 보고 있었다
LLM이 노트 하나를 5개로 나누자고 제안했는데 조각마다 근거가 20~30단어뿐이었다. 과분할을 막을 감사 장치를 설계하다 보니, 같은 질문을 하는 장치가 전날 이미 만들어져 있었다.