Tag: Empirical
All the articles with the tag "Empirical".
-
열린재정 API로 신규 사업을 찾아보니, 예산 데이터에 이미 답이 있었다
열린재정 API로 작년엔 없다가 올해 처음 등장한 정부 세부사업을 찾았다. 나라장터는 이름이 비슷한 두 API 중 입찰공고정보서비스만 공고명 부분 검색이 됐고, 조회 기간 제한은 직접 호출해 보고 알았다.
-
국방 사업을 뉴스로 찾다가, 짐작한 이름과 정부가 부르는 이름은 달랐다
국방·우주항공 사업을 뉴스 검색으로 찾다가, 짐작한 사업명이 정부 공식 명칭과 다르다는 걸 알았다. 열린재정 API로 확인하니 정조대왕급 이지스구축함 사업의 공식 명칭은 광개토-Ⅲ Batch-Ⅱ였다.
-
Decisions API와 Jev로 끊긴 문장을 판정하자, 오탐이 네 배였다
LLM이 고친 노트에 끊긴 문장이 생겼는지를 OpenAI Decisions API와 Jev로 판정해 봤다. 정상 노트를 gpt-6-luna보다 네 배쯤 더 걸었고, 질문 나누기는 이번엔 역효과였다.
-
LLM이 노트 중복을 지우자, 남은 문장이 가리킬 곳을 잃었다
LLM으로 노트 중복을 지우자 '이 기술 체계', '또한'처럼 앞 문장을 가리키던 말이 대상을 잃었다. 코드 규칙으로 막다 멈추고, 고친 노트를 LLM이 다시 읽어 판정하게 했다.
-
LLM 노트 병합 테스트는 통과했는데, 고친 코드는 한 번도 실행되지 않았다
Obsidian 플러그인의 LLM 노트 병합 버그를 고치고 실제 노트로 다시 돌렸다. 결과는 깨끗했지만 고친 코드가 지나갈 장면이 아예 생기지 않았고, 병합 직전 상태를 복원하고서야 확인했다.
-
LLM 노트 병합 규칙에서 틀린 예시는 지웠는데, 규칙은 남아 있었다
Obsidian 플러그인의 LLM 중복 노트 병합 규칙이 같은 제품 노트까지 막고 있었다. 규칙의 출처를 따라가 실제로 병합해 보니 근거가 없었고, 카파시 LLM Wiki처럼 같은 대상이면 합치는 기준으로 바꿨다.
-
LLM 요약에서 한 번은 사라지고, 두 번은 살아남았다
LLM 요약이 원문의 인과 설명을 빠뜨리는 버그를 쫓았다. 문법 오류와 반직관성을 대조군으로 반증하다가, 반직관적인 주장이 한 번만 나올 때 사라진다는 걸 찾았다.
-
LLM 병합 프롬프트에서 규칙 하나가 빠진 걸 찾았는데, 채워도 똑같았다
LLM 노트 병합이 한쪽 원문의 내용을 빠뜨리는 버그를 쫓다 병합 프롬프트에만 정보 밀도 보존 규칙이 없는 걸 찾았다. 그런데 넣고 A/B 테스트를 해도 차이가 없었다.
-
LLM 언어 혼입을 잡으려 정성껏 만든 코드가, 실측해보니 한 일이 없었다
LLM이 만든 노트에 한국어 문장이 섞이는 문제를 코드로 탐지·수정하게 만들었는데, 실측해보니 고친 건 0건이었다. 진짜 원인은 언어 지시가 빠진 프롬프트 하나였다.
-
Decisions API는 질문을 셋으로 나누자 Luna만큼 맞혔다
OpenAI Decisions API와 Jev 프롬프트를 문서 권고대로 고쳐봤다. 판단을 참·거짓 질문 셋으로 나누자 Decisions API가 37쌍 중 36쌍을 맞혔고, 입력 줄이기는 오히려 나빠졌다.