Series: 판단 전용 모델로 바꿀 수 있을까

Obsidian 플러그인이 노트를 합칠지, 고친 노트에 끊긴 문장이 생겼는지 같은 판단을 물을 때마다 LLM을 통째로 부르는 대신, 판단만 전담하는 모델(Laya, TypeSafe Jev, OpenAI Decisions API)로 바꿀 수 있는지 실측한 기록. 정답률뿐 아니라 틀릴 때 붙는 확신, 선택지 순서에 따른 쏠림, 질문을 어떻게 나눠 묻느냐에 따라 결과가 어떻게 달라지는지를 따라간다.

Read in English →

• 틀렸는데, 확신은 0.9였다

  29 Sep, 2026

  TypeSafe Jev의 오픈소스 재현판 Laya를 Obsidian 플러그인의 중복 노트 판단에 붙여봤다(Jev는 계정이 열리지 않아 문서로만 비교). CPU 속도와 정확도 78%, 파인튜닝 가능성까지 실측해 보니, 진짜 문제는 틀린 답에 0.9 confidence를 붙이는 캘리브레이션 붕괴였다.

• OpenAI Decisions API는 빨랐지만, 내 병합 기준에는 맞지 않았다

  17 Oct, 2026

  OpenAI Decisions API, Jev, gpt-6-luna로 중복 노트 병합 판단을 비교했다. Decisions API는 0.13초로 가장 빨랐지만, 조건이 여러 개인 기준에선 틀린 답에도 확신이 높았다.

• Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다

  18 Oct, 2026

  OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.

• Decisions API와 Jev로 끊긴 문장을 판정하자, 오탐이 네 배였다

  28 Oct, 2026

  LLM이 고친 노트에 끊긴 문장이 생겼는지를 OpenAI Decisions API와 Jev로 판정해 봤다. 정상 노트를 gpt-6-luna보다 네 배쯤 더 걸었고, 질문 나누기는 이번엔 역효과였다.