Series: LLM 노트 정리를 실측으로 고친 기록
Obsidian 플러그인에서 LLM이 만든 노트의 중복 정리를 고치고, 고친 결과를 실제 노트로 다시 잰 기록. 판정이 볼 수 없는 정보 손실이 통과한 일, 정리를 기다리느라 늘어난 수집 시간을 줄이고 결과가 같은지 증명한 일, 맞는 병합 제안을 버그로 보고 고치려 한 일, 합친 노트의 이름을 LLM에게 묻다가 이름 비교 규칙으로 바꾼 일 등.
-
LLM 판정에 걸린 노트를 고쳐 쓰게 했더니, 판정이 못 보던 손실이 통과했다
Obsidian 플러그인에서 LLM 판정에 걸린 중복 정리 결과를 되돌리는 대신, 판정이 찾은 문제를 주고 고치게 했다. 96회 측정하니 대부분 원문으로 돌아갔고, 판정이 못 보는 정보 손실이 통과했다.
-
LLM 노트 수집 시간을 44% 줄이고, 결과가 같다는 건 재생으로 증명했다
LLM 중복 정리가 묶음마다 차례로 기다리던 구간을 없애 Obsidian 플러그인의 수집을 554초에서 313초로 줄였다. 결과가 같다는 건 LLM 응답 재생으로 증명했고, 디버그 로그의 동시 기록 버그도 찾았다.
-
LLM이 제안한 노트 병합을 버그로 보고 세 번 고쳤는데, 맞는 제안이었다
Obsidian 플러그인에서 LLM이 제안한 노트 병합을 버그로 보고, 노트 만드는 프롬프트를 세 번 고쳐 측정했다. 다시 보니 설계대로 나온 맞는 제안이었고, 틀린 건 병합을 막은 내 감사 판정이었다.
-
LLM에게 병합 노트 이름을 물었더니 판정이 흔들렸고, 이름 비교 몇 줄로 끝났다
Obsidian 플러그인이 합친 노트의 이름이 상위 개념이 아니라 하위 노트 쪽으로 잡혔다. LLM에게 제목을 물으면 판정이 흔들리거나 호출이 늘어, 이름 포함 관계를 비교하는 규칙으로 고치고 실제 노트로 확인했다.