Posts
All the articles I've posted.
-
LLM 노트 과분할을 막을 장치를 설계하다가, 이미 있는 장치를 못 보고 있었다
LLM이 노트 하나를 5개로 나누자고 제안했는데 조각마다 근거가 20~30단어뿐이었다. 과분할을 막을 감사 장치를 설계하다 보니, 같은 질문을 하는 장치가 전날 이미 만들어져 있었다.
-
LLM 언어 혼입을 잡으려 정성껏 만든 코드가, 실측해보니 한 일이 없었다
LLM이 만든 노트에 한국어 문장이 섞이는 문제를 코드로 탐지·수정하게 만들었는데, 실측해보니 고친 건 0건이었다. 진짜 원인은 언어 지시가 빠진 프롬프트 하나였다.
-
다른 PC의 옵시디안을 원격으로 조작해서 플러그인을 테스트했다
Obsidian 플러그인을 릴리스 전에 실제 앱에서 테스트하려고, 다른 PC의 Obsidian을 Chrome DevTools Protocol(CDP)로 원격 조작했다. 배포부터 버튼 클릭까지 CDP로 했다.
-
Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다
OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.
-
OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다
OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.
-
네이버 403이 38시간 쉬어도 안 풀렸는데, 원인은 코드 한 줄이었다
네이버 뉴스 검색 크롤러의 403이 38시간을 쉬어도, 배치를 줄여도 안 풀렸다. 원인은 HTTPError만 폴백하고 Connection refused는 바로 포기하던 Python 예외 처리 한 줄이었다.
-
노트북 2의 OpenAI reasoning effort 값이 Medium으로 확인됐다
회사 노트북의 OpenAI reasoning effort는 기본값 Medium이었다. 이 값 하나로 LLM 요약 오류의 원인이 청크 사이즈 단독 효과로 확정됐고, 두 설정이 서로 다른 손잡이라는 결론을 냈다.
-
LLM 요청 동시성을 2에서 4로 올렸더니 다른 버그 두 개가 나왔다
LLM 병렬 요청 수를 2에서 4로 올려도 요약 정확도는 그대로였다. 대신 전수 감사에서 한영 중복 노트 병합 누락과, 영어 노트에 한글 소제목이 붙는 버그가 나왔다.
-
한국어 노트와 영어 노트가 안 합쳐지는 이유를 임베딩 유사도로 확인했다
같은 개념의 한국어·영어 노트가 병합되지 않았다. OpenAI 임베딩으로 재 보니 한영 쌍의 코사인 유사도는 0.77로 같은 언어 중복보다 낮았고, 임계값을 0.70으로 낮춰 고쳤다.
-
OpenAI reasoning effort는 fidelity 문제의 범인이 아니었다
OpenAI reasoning effort를 High에서 Medium으로 낮춰도 LLM 요약 오류는 늘지 않았다. 대신 노트 개수와 처리 시간이 크게 바뀌었고, 정확도는 청크 사이즈가 좌우했다.