[완결] Series: 두 변수를 하나로 착각할 뻔했다

같은 원본, 같은 플러그인인데 기기만 바꿨더니 결과가 3배 차이 났다. 원인을 찾아가다 보니 진짜 원인 하나인 줄 알았던 게 사실은 서로 다른 설정값 두 개였고, 그 둘을 가르는 데만 실험을 여덟 번 다시 돌려야 했다 — 그리고 그 과정에서 전혀 다른 버그 세 개를 더 찾아 고친 기록.

Read in English →

• LLM이 정리한 노트 189개가 어느 날 63개가 됐다

  9 Oct, 2026

  같은 원본 30개를 LLM으로 Obsidian 노트로 정리했는데, 기기만 바꾸자 노트가 189개에서 63개로 줄었다. 원인은 청크 크기 하나가 아니라 설정값 두 개였다.

• LLM 청크 크기를 낮추기만 했는데 fidelity 문제가 사라졌다

  10 Oct, 2026

  원본을 LLM에 몇 개씩 묶어 보낼지 정하는 청크 크기만 바꿔 같은 원본 30개를 비교했다. 인물·기관·인용이 빠지는 요약 오류가 40%에서 0%로 줄었다.

• 실험을 다시 준비하던 중에 git 충돌 마커가 그대로 커밋됐다

  11 Oct, 2026

  청크 사이즈 실험을 집 노트북에서 이어 가려던 밤, 두 노트북으로 같은 git 저장소를 번갈아 쓰다 충돌 마커가 파일 77개에 커밋됐다. 수습 직후 reasoning effort를 의심했다.

• OpenAI reasoning effort는 fidelity 문제의 범인이 아니었다

  12 Oct, 2026

  OpenAI reasoning effort를 High에서 Medium으로 낮춰도 LLM 요약 오류는 늘지 않았다. 대신 노트 개수와 처리 시간이 크게 바뀌었고, 정확도는 청크 사이즈가 좌우했다.

• 한국어 노트와 영어 노트가 안 합쳐지는 이유를 임베딩 유사도로 확인했다

  13 Oct, 2026

  같은 개념의 한국어·영어 노트가 병합되지 않았다. OpenAI 임베딩으로 재 보니 한영 쌍의 코사인 유사도는 0.77로 같은 언어 중복보다 낮았고, 임계값을 0.70으로 낮춰 고쳤다.

• LLM 요청 동시성을 2에서 4로 올렸더니 다른 버그 두 개가 나왔다

  14 Oct, 2026

  LLM 병렬 요청 수를 2에서 4로 올려도 요약 정확도는 그대로였다. 대신 전수 감사에서 한영 중복 노트 병합 누락과, 영어 노트에 한글 소제목이 붙는 버그가 나왔다.

• 노트북 2의 OpenAI reasoning effort 값이 Medium으로 확인됐다

  15 Oct, 2026

  회사 노트북의 OpenAI reasoning effort는 기본값 Medium이었다. 이 값 하나로 LLM 요약 오류의 원인이 청크 사이즈 단독 효과로 확정됐고, 두 설정이 서로 다른 손잡이라는 결론을 냈다.