Tag: Empirical
All the articles with the tag "Empirical".
-
OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다
OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.
-
네이버 403이 38시간 쉬어도 안 풀렸는데, 원인은 코드 한 줄이었다
네이버 뉴스 검색 크롤러의 403이 38시간을 쉬어도, 배치를 줄여도 안 풀렸다. 원인은 HTTPError만 폴백하고 Connection refused는 바로 포기하던 Python 예외 처리 한 줄이었다.
-
노트북 2의 OpenAI reasoning effort 값이 Medium으로 확인됐다
회사 노트북의 OpenAI reasoning effort는 기본값 Medium이었다. 이 값 하나로 LLM 요약 오류의 원인이 청크 사이즈 단독 효과로 확정됐고, 두 설정이 서로 다른 손잡이라는 결론을 냈다.
-
LLM 요청 동시성을 2에서 4로 올렸더니 다른 버그 두 개가 나왔다
LLM 병렬 요청 수를 2에서 4로 올려도 요약 정확도는 그대로였다. 대신 전수 감사에서 한영 중복 노트 병합 누락과, 영어 노트에 한글 소제목이 붙는 버그가 나왔다.
-
한국어 노트와 영어 노트가 안 합쳐지는 이유를 임베딩 유사도로 확인했다
같은 개념의 한국어·영어 노트가 병합되지 않았다. OpenAI 임베딩으로 재 보니 한영 쌍의 코사인 유사도는 0.77로 같은 언어 중복보다 낮았고, 임계값을 0.70으로 낮춰 고쳤다.
-
OpenAI reasoning effort는 fidelity 문제의 범인이 아니었다
OpenAI reasoning effort를 High에서 Medium으로 낮춰도 LLM 요약 오류는 늘지 않았다. 대신 노트 개수와 처리 시간이 크게 바뀌었고, 정확도는 청크 사이즈가 좌우했다.
-
실험을 다시 준비하던 중에 git 충돌 마커가 그대로 커밋됐다
청크 사이즈 실험을 집 노트북에서 이어 가려던 밤, 두 노트북으로 같은 git 저장소를 번갈아 쓰다 충돌 마커가 파일 77개에 커밋됐다. 수습 직후 reasoning effort를 의심했다.
-
LLM 청크 크기를 낮추기만 했는데 fidelity 문제가 사라졌다
원본을 LLM에 몇 개씩 묶어 보낼지 정하는 청크 크기만 바꿔 같은 원본 30개를 비교했다. 인물·기관·인용이 빠지는 요약 오류가 40%에서 0%로 줄었다.
-
LLM이 정리한 노트 189개가 어느 날 63개가 됐다
같은 원본 30개를 LLM으로 Obsidian 노트로 정리했는데, 기기만 바꾸자 노트가 189개에서 63개로 줄었다. 원인은 청크 크기 하나가 아니라 설정값 두 개였다.
-
LLM 프롬프트 규칙을 두 번 고쳤는데, 정작 노트를 나누지 말았어야 했다
LLM이 만든 형제 노트가 링크만 남기고 텅 비는 버그를 프롬프트 규칙으로 두 번 고쳤다. 원문을 다시 보니 두 강좌의 설명이 같았고, 노트를 나누지 말고 합쳐야 했다.