로그 분석 프로그램 개발은 Log·CSV·엑셀을 그대로 받아 분석합니다
로그 분석 프로그램 개발은 Log·CSV·엑셀을 그대로 받아 분석합니다
우리비엔씨는 2011년부터 진단키트 제조사, 연구기관, 공공기관을 위해 장비와 시스템이 내놓은 로그·CSV·텍스트·엑셀 파일을 원본 그대로 읽어 데이터베이스에 쌓고 집계·판정까지 하는 로그 분석 프로그램 개발을 해 왔습니다. 이런 곳은 파일 형식이 장비마다, 기관마다 제각각이어서, 프로그램을 만드는 일의 상당 부분이 「이 파일을 어떻게 읽을 것인가」를 정하는 일입니다. 이 글에는 실제로 까다로웠던 원본 파일 여섯 가지와, 각각을 어떻게 읽었는지를 사례로 정리했습니다.
메디안디노스틱 MDx EliSmart의 96 Well 분석 화면. 측정 장비가 내놓은 엑셀 원시 데이터를 Import 한 번으로 A1~H12 좌표에 매핑합니다.
로그 분석 프로그램 개발에서 먼저 보는 것은 원본 파일입니다
로그 분석 프로그램 개발은 화면을 그리기 전에, 장비나 시스템이 내놓은 원본 파일이 어떤 규칙으로 쓰여 있는지부터 확인하는 일입니다. 상담 때 파일을 보기 좋게 다시 정리해 보내 주시는 분이 많은데, 그러면 실제 운영 때 들어올 파일과 모양이 달라집니다. 그래서 우리비엔씨는 정리한 자료보다 내려받은 그대로의 원본을 먼저 부탁드리고, 그 파일의 열 구성과 규칙을 프로그램이 읽도록 만듭니다.
원본 파일이 까다로웠던 여섯 가지 경우
아래는 우리비엔씨가 실제로 받은 원본 파일의 어려움을 종류별로 나눈 것입니다. 고객사와 연도는 홈페이지 사례글에 공개한 범위만 적었습니다.
1. 장비마다 결과 파일 양식이 다를 때
시선바이오와 시선바이오머터리얼스의 PCR 진단키트 분석 프로그램은 연구소마다 쓰는 CFX96, AB7500, QuantStudio5, PowerAmp96 장비의 결과 파일을 모두 읽어야 했습니다. 장비별 양식을 프로그램이 구분해 데이터베이스에 매핑하도록 만들어, 장비가 바뀌어도 검사자는 파일을 여는 것 하나로 같은 화면을 봅니다.
시선바이오머터리얼스 U-TOP MSI Detection Kit 분석 화면(데모 데이터). 장비 결과 파일을 읽어 Plate Map, 마커별 곡선, 검체별 판정표로 보여 줍니다.
2. 데이터가 시작하는 행과 열이 실험마다 다를 때
한국원자력연구원의 경년열화 데이터베이스(2023)는 진동대 시험 파일을 다뤘는데, 실험마다 열 구성이 조금씩 달랐습니다. 업로드할 때 데이터가 시작하는 행, 시간 열, 데이터 종류별 열 범위를 지정하게 해서, 파일이 조금 달라도 프로그램을 고치지 않고 올리고 기기·실험별로 나눠 저장합니다.
3. 같은 내용이 형식만 바꿔 들어올 때
농업정책보험금융원 정책자금 모니터링 시스템(2019)은 채무자명부를 엑셀, txt, csv 어느 형식으로 받아도 올릴 수 있게 했고, 조회 결과에 제목 줄이 반복해 들어 있어도 그대로 받습니다. 올리는 순간 항목 이름과 위치가 정해진 양식과 같은지, 자료가 서로 맞는지부터 확인합니다.
월트디즈니코리아의 VOD 매출 통합(2016.09~11)은 더 까다로웠습니다. 구글 리포트는 결제 한 건이 한 줄이고, 네이버 리포트는 작품 한 버전이 한 줄에 월별 구매 수가 가로로 12칸 펼쳐집니다. 같은 영화를 다룬 자료라고 보기 어려울 만큼 모양이 달라서, 서비스별로 읽는 규칙을 따로 두고 작품 제목 매핑표로 하나의 집계에 묶었습니다.
4. 칸의 위치 자체가 뜻을 가질 때
메디안디노스틱의 MDx EliSmart는 96 Well 플레이트 측정 장비가 내놓은 표 형태의 엑셀을 다룹니다. 이 파일은 숫자 하나하나보다 그 숫자가 몇 행 몇 열에 있는지가 중요해서, Import 한 번으로 A1~H12 좌표에 자동 매핑하고 양성·음성 대조군 Well을 색으로 구분했습니다. 복사·붙여넣기로 옮기던 때 생기던 좌표 어긋남과 값 누락이 구조적으로 사라졌습니다. 맨 위 화면이 이 프로그램입니다.
5. 파일 이름과 시트 구성에 규칙이 필요할 때
한국에너지공단 자동차 연비 시험실의 시험결과 데이터베이스(2022.03~07)는 AVL 장비 PC가 시험 한 건마다 만드는 엑셀 측정 파일을 공유 폴더에서 자동으로 올립니다. 아무 파일이나 올라가면 안 되기 때문에, 파일 이름이 날짜와 시간으로 시작하고, 정해진 레이아웃과 같고, Short와 DriveQuality로 시작하는 시트가 있어야 올라가도록 규칙을 두었습니다. 등록되지 않은 PC에서는 올라가지 않게 IP 인증도 걸었습니다.
6. 텍스트 안에 구조가 숨어 있을 때
㈜아콘스의 DeltaV fhx 변환 프로그램(2024.03~05)은 DeltaV 제어 시스템이 내보낸 .fhx 텍스트 파일을 읽습니다. 겉보기에는 긴 텍스트지만 안에 EM·Phase·Unit 같은 구조가 들어 있어, 타입별로 파싱해 다중 시트 엑셀로 자동 생성하게 했습니다. 이 경우는 데이터베이스를 거치지 않고 엑셀로 바로 내보냅니다.
읽은 데이터는 쌓아 두고 비교할 때 쓸모가 생깁니다
로그 분석 프로그램의 쓸모는 파일을 읽는 데서 끝나지 않고, 데이터베이스에 쌓인 자료를 조건을 바꿔 가며 비교하는 화면에서 나옵니다. 경기도농업기술원의 기상자료 패턴분석(2016.09~11)은 기상청과 기술원 관측소의 1964년부터 2016년까지 일 단위 기상자료를 데이터베이스로 올린 뒤, 관측소와 기상요소를 고르면 올해와 기상 패턴이 가장 비슷한 과거 연도를 R² 순으로 찾아 줍니다. 엑셀에서는 조건을 바꿀 때마다 범위를 다시 잡고 추세선을 새로 그려야 했던 일입니다.
경기도농업기술원 기상자료 패턴분석 화면. 수원 관측소 최고기온 기준으로 과거 연도를 R² 순으로 찾은 예 (기상청 관측 자료)
납품 전에는 같은 기간의 원본으로 담당자가 엑셀로 만들던 결과와 프로그램 결과를 나란히 놓고 숫자를 맞춰 봅니다. 숫자가 다르면 읽는 규칙이 틀렸는지, 집계 기준을 서로 다르게 이해했는지, 원본에 누락이나 중복이 있었는지부터 찾습니다.
로그 분석 프로그램 개발 의뢰 때 보내 주시면 좋은 파일
처음 상담할 때는 아래 네 가지면 충분합니다. 다 갖추지 못해도 괜찮습니다.
- 형식별 원본 파일 한두 개 – 장비나 시스템에서 내려받은 그대로, 열어서 다시 저장하지 않은 파일
- 형식이 바뀐 적이 있다면 예전 파일과 지금 파일 – 두 형식을 함께 읽어야 하는지 판단합니다
- 지금 그 파일로 만드는 결과물 – 엑셀 집계표나 보고서. 검수 때 숫자를 대조하는 기준이 됩니다
- 파일이 얼마나 자주, 몇 개씩 생기는지 – 담당자가 직접 올릴지, 공유 폴더에서 자동으로 가져올지 정합니다
고객 정보나 개인정보가 들어 있는 칸은 가린 채 보내 주셔도 파일 구조는 확인할 수 있습니다.
자주 받는 질문
Q. 로그 분석 프로그램은 PC 한 대용인가요, 여러 사람이 함께 쓰나요?
사용 방식에 따라 정합니다. PC 한 대에서 혼자 쓰는 진단키트 판독이나 경년열화 데이터베이스는 SQLite를 넣은 윈도우 프로그램으로, 본사와 고객사가 함께 쓰는 ㈜아그루코리아 융착 데이터 관리 시스템은 SQL Server 서버 데이터베이스에 연결하는 프로그램으로 만들었습니다. 상담 때 몇 분이 어디에서 쓰시는지를 여쭙는 이유입니다.
Q. 원본 파일 형식이 나중에 바뀌면 다시 만들어야 하나요?
작은 변화는 설정으로 받아들이도록 만듭니다. 위 경년열화 데이터베이스처럼 시작 행과 열 범위를 업로드 때 지정하게 하거나, 코드표처럼 자주 바뀌는 값은 엑셀 양식으로 갱신하게 합니다. 파일 구조 자체가 바뀌면 유지보수로 읽기 규칙을 고칩니다.
홈페이지 원문 보기: 데이터 자동 집계 프로그램 개발 (원천 데이터 유형별 사례)
함께 보면 좋은 개발 사례
- 96 Well 원시 데이터 판정 자동화, MDx EliSmart
- 자동차 연비 시험실 시험결과 데이터베이스 구축
- 월트디즈니코리아 VOD·라이선스 매출 집계 프로그램
- DeltaV fhx 파일을 엑셀 3종으로 바꾸는 변환 프로그램
- 분석 프로그램 개발 의뢰 전 꼭 확인할 질문들
작성: 우리비엔씨 대표 이완종 (KOSA 특급기술자)
홈페이지: https://www.wooribnc.com
연락처: 070-4809-7769 // 0 1 0 - 5 1 7 7 - 8 0 5 5
이메일: admin@wooribnc.com // lwjvegas@gmail.com
- KOSA 소프트웨어사업자 등록업체
- KOSA 소프트웨어기술자경력 특급기술자, 정보처리기사
- 가천대학교 가족회사 협약업체



댓글
댓글 쓰기