Series: 확신을 실측 앞에 세워봤다
재설계 이후, 그럴듯해 보이는 확신을 실측 앞에 세워본 9편의 기록. few-shot 반례의 함정, 정보 밀도 손실, 위키링크 오탐, 근거 없이 만든 RAG 주장, UTF-8 파싱 버그, 태그·링크 실험, reasoning effort와 격리 조건, 임베딩 검색으로 판단력을 보강하기까지.
-
확신을 실측 앞에 세워봤다 1편 — 반례는 어휘만 가르쳤다
Obsidian 플러그인 `/refactor`로 병합된 노트를 다시 돌렸더니, 방금 자기가 합친 걸 다시 쪼개라는 제안이 나왔다. 원인을 찾아보니 프롬프트 반례(few-shot example)가 특정 어휘만 막고 있었다.
-
확신을 실측 앞에 세워봤다 2편 — 하나만 보고 두 번 틀렸다
Obsidian 플러그인 `/ingest`가 만든 요약 노트 몇 개를 봐달라는 부탁을 받고 가설을 세웠다. 세 번째 예시가 그 가설을 확인해주는 것 같았고, 네 번째 예시는 또 다른 가설을 하나 더 만들게 했다. 여섯 번씩 반복해보니 둘 다 틀렸다.
-
확신을 실측 앞에 세워봤다 3편 — 닫은 지 몇 시간 만에, 내가 다시 열었다
Obsidian 플러그인 지침을 고치고, 합성 마커로 재검증하고, 배포하고, 이슈를 닫았다. 그날이 끝나기 전에 그 이슈를 내가 다시 열었다. 그리고 며칠 뒤 실사용 규모를 훨씬 키워 다시 돌려보니, 좋아진 것과 그대로인 것이 섞여 나왔다.
-
확신을 실측 앞에 세워봤다 4편 — 끊어진 링크는 잡아주는데, 안 끊어진 채 엉뚱한 곳을 가리키는 링크는 못 잡았다
Obsidian 플러그인 `/ingest`가 같은 배치 안에서 파일명이 충돌해 리네임되는 경우와, 다른 노트가 원래 이름으로 링크를 거는 경우가 겹치면 어떻게 되는지 오래 미뤄뒀던 이슈였다. 코드를 읽고 '이미 잡아준다'고 확신했는데, 실제로 테스트를 돌려보니 걱정했던 것보다 훨씬 조용한 버그가 있었다.
-
확신을 실측 앞에 세워봤다 5편 — 왜 관련있다고 생각했냐고 물으니, 답을 못했다
Obsidian 플러그인의 RAG(검색 증강 생성) 컨텍스트 조회가 놓친 노트 두 개를 찾아서, 이게 새 기능의 근거라고 보고했다. '왜 관련있다고 생각하냐'는 한 줄 질문에 실제 노트를 열어보고서야, 하나는 근거 없는 추측이었다는 걸 알았다.