제조 데이터의 유형과 특징

• 1. 데이터(Data)
• 2. 데이터의 분류
  • 2.1 형태 및 구조화 수준에 따른 분류
  • 2.2 속성과 측정 기준에 따른 분류
  • 2.3 관계 및 구조에 따른 분류
  • 2.4 순서 및 시간에 따른 분류
  • 2.5 데이터의 근원에 따른 분류
• 3. 제조 데이터
  • 3.1 정형/비정형을 넘어선 ‘시계열 및 고주파 데이터’
  • 3.2 물리적 도메인 지식의 절대성
  • 3.3 극심한 클래스 불균형
  • 3.4 데이터 수집 환경의 복잡성과 파편화
  • 3.5 피드백 루프와 제어로의 연결
• 4.일반 비즈니스 데이터 vs 제조 데이터

1. 데이터(Data)

• 정의
  • 현실 세계에서 관찰되거나 측정된 사실이나 값(Fact)
  • 현대 정보 사회의 가장 가치 있는 원자재이자, 모든 의사결정과 시스템의 기반이 되는 핵심 자산
• 특징
  • 단독으로 존재할 때는 단순한 수치나 문자에 불과하여 큰 의미를 갖지 못함
  • 특정 목적에 맞게 가공되고 문맥(Context)이 부여되면 비로소 가치 있는 ‘정보(Information)’로 전환됨

    • 예시
      
      • 데이터 (Data): 38 (단순한 숫자)
        
      • 정보 (Information): “오늘 서울의 최고 기온은 38°C이다.” (의미가 부여된 데이터)

2. 데이터의 분류

2.1 형태 및 구조화 수준에 따른 분류

• 데이터가 얼마나 일정한 규칙과 틀을 가지고 저장되어 있는지에 따라 구분됨

• 이 분류에 따라 어떤 DBMS(MySQL인지, MongoDB인지)를 사용할지를 결정함

• 정형 데이터 (Structured Data)
  • 고정된 필드(틀)에 정해진 형식으로 저장된 데이터
  • 특징:
    • 연산과 검색이 매우 빠름
    • 주로 관계형 데이터베이스(RDBMS)의 표(Table) 형태로 관리됨
  • 예시: 이름, 나이, 결제 금액, 날짜, 주소록 등
• 반정형 데이터 (Semi-structured Data)
  • 고정된 틀은 없지만, 데이터 내에 구조를 설명하는 메타데이터나 태그(Tag)가 포함된 데이터
  • 특징
    • 스키마(틀) 변경이 자유로움
    • 파일 형태로 교환하기 쉬움
  • 예시: JSON, XML, HTML 파일, 설정 파일 등
• 비정형 데이터 (Unstructured Data)
  • 형태가 전혀 정해져 있지 않고, 규칙성이 없는 데이터
  • 특징
    • 텍스트나 바이너리 형태로 존재
    • 형태가 다양해 일반적인 테이블 구조에 담을 수 없음
    • NoSQL이나 데이터 레이크(Data Lake)에 저장
  • 예시: 이미지, 영상, 오디오 파일, SNS 게시글 원문, 이메일 내용 등

2.2 속성과 측정 기준에 따른 분류

• (통계 및 분석 기준에 따른 분류)
• 데이터가 나타내는 값의 성격에 따라 질적 데이터(정성적 데이터)와 양적 데이터(정량적 데이터)로 나뉨
• 이는 주로 SQL로 통계 및 분석 쿼리를 작성할 때 집계 방식을 결정하는 기준이 됨

  • 질적 데이터 \(\approx\) 정성적 데이터 (숫자가 아닌 성질이나 상태를 나타냄)
  • 양적 데이터 \(\approx\) 정량적 데이터 (숫자로 크기나 양을 나타냄)

• 질적(Qualitative) 데이터 vs 양적(Quantitative) 데이터
  • 주로 ‘통계학’과 ‘데이터베이스(DB)’ 분야에서 데이터를 분류할 때 쓰는 표현

  • 데이터의 ‘형태’가 숫자인가, 아닌가에 초점이 맞춰져 있음

  • 질적 데이터
    • 데이터의 성질이나 종류를 나타냄
    • 숫자로 표기하더라도(예: 남자 1, 여자 2) 더하기나 빼기 같은 산술 연산이 불가능
    • 예시: 혈액형(A, B, O, AB), 거주지역(서울, 부산), 만족도(상, 중, 하)
  • 양적 데이터
    • 양이나 크기를 나타냄
    • 숫자로 표현되고 산술 연산이 의미가 있음
    • 예시: 나이, 매출액, 조회수, 몸무게

  분류	정의	특징	예시
  질적 데이터 (Qualitative / 범주형)	숫자로 표현할 수 없거나, 숫자로 표현해도 크기 비교가 불가능한 데이터	주로 분류나 그룹화를 할 때 사용함 (GROUP BY 대상)	성별(남/여), 혈액형, 상품 카테고리, 거주 지역
  양적 데이터 (Quantitative / 수치형)	숫자로 표현되며, 더하기·빼기 등 산술 연산이 의미가 있는 데이터	평균, 합계 등 통계량을 낼 때 사용함 (집계 함수 대상)	매출액, 회원 수, 방문 횟수, 기온, 몸무게

  
  

• 정성적(Qualitative) 데이터 vs 정량적(Quantitative) 데이터
  • 주로 ‘비즈니스 분석’, ‘연구 방법론(설문/인터뷰)’, ‘기획’ 분야에서 데이터의 성격을 말할 때 쓰는 표현

  • 데이터가 ‘수치화(측정)하기 쉬운가, 주관적인가’에 초점이 맞춰져 있음

  • 정성적 데이터
    • 수치로 쉽게 바꾸기 힘든 주관적인 경험, 감정, 생각, 맥락 등을 담은 데이터
    • 연구자의 해석이 중요하게 작용함
    • 예시: 고객의 심층 인터뷰 녹취록, 제품 사용 후기 원문, 사용자의 행동 관찰 일지
  • 정량적 데이터
    • 명확하게 자로 재거나 셀 수 있어서, 객관적으로 수치화된 데이터
    • 예시: 설문조사의 5점 만점 점수, 웹사이트 이탈률, 월별 매출액
      
      
  

2.3 관계 및 구조에 따른 분류

• 데이터가 서로 어떻게 연결되어 있고, 어떤 형태로 시각화·저장되는지에 따른 분류

• 테이블형 데이터 (Tabular Data)
  • 특징
    • 데이터를 격자 모양의 표(행과 열) 형태로 표현
    • 가장 전통적이고 대중적인 구조
  • 연결 고리
    • 구조화 수준으로 보면 완벽한 정형 데이터에 속함
    • MySQL 같은 관계형 데이터베이스(RDBMS)에 저장됨
  • 예시: 엑셀 시트, 대학교 학생 명부, 가입자 정보 테이블
    
    
  
• 그래프 기반 데이터 (Graph-based Data)
  • 특징
    • 데이터 개체들을 점(Node)으로, 개체 간의 관계를 선(Edge)으로 연결하여 표현하는 구조
    • 데이터 간의 연관 관계를 추적하는 데 최적화되어 있음
  • 연결 고리
    • 데이터 구조의 유연성이 높아 반정형 혹은 비정형 데이터의 성격을 가짐
    • Neo4j 같은 그래프 데이터베이스(Graph DB)에 저장됨
  • 예시: 페이스북의 친구 관계도, 내비게이션의 도로망(지도) 데이터, 웹 페이지의 링크 구조
    
    
  

2.4 순서 및 시간에 따른 분류

• 데이터에 ‘순차적인 흐름이나 시간의 개념’이 포함되어 있는지에 따른 분류

• 순서형 데이터 (Sequential Data)
  • 특징
    • 데이터의 ‘앞뒤 순서(Sequence)’가 결과에 결정적인 영향을 미치는 데이터
    • 시간축이 명확하지 않더라도 사건의 발생 순서 자체가 중요함
  • 연결 고리
    • 텍스트나 자연어는 문맥(순서)이 중요하므로 비정형 데이터인 경우가 많음
    • AI 모델(RNN, Transformer)에서 깊게 다룸
  • 예시: 문장 속 단어들의 배열(자연어), DNA 염기서열, 웹사이트 방문자의 클릭 경로(Clickstream)
    
    
  
• 시계열 데이터 (Time-Series Data)
  • 특징
    • ‘일정한 시간 간격’에 따라 순차적으로 기록된 데이터
    • 과거의 패턴을 통해 미래를 예측하는 분석에 주로 사용됨
  • 연결 고리
    • 시간, 센서값 등이 고정된 필드로 들어오면 정형 데이터가 됨
    • 무수히 쏟아지는 로그 형태면 반정형 데이터가 됨
    • 전용 저장소(InfluxDB, TimescaleDB)를 쓰기도 함
  • 예시: 주식 가격 변동 그래프, 1시간 간격의 기온 데이터, 서버의 CPU 사용량 모니터링 로그
    
    
  

2.5 데이터의 근원에 따른 분류

• 데이터가 생성되는 원천(Source)의 특성과 “한 번 생성된 데이터를 원래 상태로 되돌리거나 유추할 수 있는가”에 초점을 맞춘 엔지니어링 및 보안 중심의 분류 방식
  • 데이터 수집과정은 데이터의 재생산 과정에 따름

• 특히 시스템 아키텍처를 설계하거나, 데이터 비식별화(보안), 그리고 데이터 압축/복원 시나리오에서 매우 중요하게 다뤄지는 개념
  
  

• 가역 데이터 (Reversible Data)
  • 특정 가공이나 변환을 거친 후에도, 반대 연산이나 복원 알고리즘을 통해 원래의 원본 데이터로 100% 완벽하게 되돌릴 수 있는 데이터
    • 생산된 데이터의 원본으로 일정 수준 환원이 가능한 데이터
  • 특징
    • 데이터의 손실이 없어야 하므로 엄격한 규칙성을 가짐
    • 정보의 완벽한 보존이 최우선일 때 사용됨
    • 원본과 1:1 대응 관계 🡲 환원 가능 🡲 이력추적 가능 🡲 원본 데이터가 변경되는 경우 변경사항 반영 가능
  • 주요 예시 및 활용 분야
    • 무손실 압축 파일
      • .zip, .png, .flac 파일 등은 용량을 줄였다가 다시 압축을 풀면 단 1비트의 오차도 없이 원본으로 복원됨
    • 양방향 암호화
      • 데이터베이스에 저장된 사용자의 개인정보(예: 주민등록번호, 계좌번호)를 암호화 알고리즘(AES 등)으로 숨겼다가, 권한이 있는 사용자가 조회할 때 복호화(Decryption)하여 원본을 보여주는 케이스
    • 수학적 변환 데이터
      • 인코딩(Base64)이나 진법 변환된 데이터
• 불가역 데이터 (Irreversible Data)
  • 데이터가 생성되거나 가공되는 과정에서 원본 정보의 일부 또는 전부가 유실되어, 어떠한 방법을 써도 절대 원래의 원본 데이터로 되돌리거나 유추할 수 없는 데이터
  • 재생산 시, 원본 데이터와는 전혀 다른 형태로 재생산됨 🡲 환원 불가
  • 특징
    • 단방향성(One-way)을 가짐
    • 주로 보안 강화, 용량 극대화, 또는 현실 세계의 관측 데이터를 다룰 때 나타남
  • 주요 예시 및 활용 분야
    • 단방향 해시 함수 (암호학)
      • 사용자의 비밀번호를 저장할 때 쓰는 SHA-256, bcrypt 등이 대표적
      • 원본 비밀번호를 복잡한 문자열(해시값)로 바꾸는 것은 가능하지만,
      • 그 해시값을 역산해서 원본 비밀번호를 알아내는 것은 수학적으로 불가능함
    • 손실 압축 파일
      • .jpg 이미지, .mp3 음악, .mp4 영상 등은 사람이 인지하지 못하는 미세한 데이터 영역을 강제로 지워 용량을 줄임
      • 이 파일들은 다시 압축을 풀어도 지워진 데이터가 돌아오지 않음
    • 현실 세계의 자연 현상 데이터
      • 센서가 수집한 온도, 습도, 바람의 세기 등은 한 번 측정되어 데이터화되면, 그 데이터만 보고 당시의 대기 상태 전체를 분자 단위로 역추적해 복원하는 것은 불가능함
    • 통계적 요약 및 가명화 데이터
      • 대형 로그 데이터에서 ‘일별 매출 합계’만 남기고 상세 내역을 지우거나, 개인정보를 알아볼 수 없게 마스킹(예: 홍*동) 처리한 데이터

3. 제조 데이터

• 제조 데이터는 IT 서비스나 일반 비즈니스 데이터와 비교했을 때 물리적 세계(Physical World)와 직결되어 있다는 점에서 독특한 유형과 특성을 가짐
• 일반 데이터 분석의 관점으로 접근하면 현업과의 괴리가 생기기 쉽기 때문에, 이 차이점을 명확히 구분하는 것이 좋음

3.1 정형/비정형을 넘어선 ‘시계열 및 고주파 데이터’

• 일반적인 비즈니스 데이터가 ‘고객의 구매 행동(이벤트 발생)’ 중심이라면,

• 제조 데이터는 ‘설비의 상태(지속적인 흐름)’ 중심

• 초고속·고주파(High-Frequency) 데이터:
  • 센서 데이터(진동, 전류, 압력 등)는 밀리초($ms$) 단위로 수집됨
  • 일반 RDBMS가 아닌 Time-Series DB(TSDB)나 NoSQL 중심의 아키텍처가 필수적인 이유
• 다변량 시계열(Multivariate Time-Series):
  • 하나의 공정이나 설비에서 수십 개의 센서 데이터가 서로 얽혀서 들어옴
  • 단일 변수 분석이 아닌, 상호 연관성을 파악하는 다변량 분석(Multivariate Analysis) 기법이 강조되어야 함

3.2 물리적 도메인 지식의 절대성

• 일반 데이터 분석은 통계적 유의성이나 데이터 자체의 패턴(관계성)에 의존하는 경우가 많음

• 제조 데이터는 물리·화학적 법칙(Causality)을 따름

• 인과관계 규명의 중요성:
  • 통계적으로 상관관계가 높게 나와도
  • 실제 설비의 메커니즘(열역학, 유체역학, 응력 등) 상 말이 안 되는 결론이라면
  • 현업(현장 엔지니어)에서 수용되지 않음
• 물리적 한계치(Boundary) 존재:
  • 데이터의 정상 범위를 설정할 때,
  • 통계적 이상치(Outlier) 기준(예: \(3\sigma\))보다 설비 스펙상의 한계치(Upper/Lower Spec Limit)가 더 절대적인 기준이 됨

3.3 극심한 클래스 불균형

• 제조 현장의 궁극적인 목표는 불량을 줄이고 장비가 고장 나지 않게 하는 것

• 이로 인해 데이터의 형태가 극단적으로 치우침

• 99.9%의 정상과 0.1%의 불량:
  • 양품 데이터는 차고 넘치지만,
  • 분석가에게 정작 필요한 불량(Anomaly)이나 고장(Failure) 데이터는 극도로 부족함
• 분석 접근법의 차이:
  • 일반적인 분류(Classification) 알고리즘보다는,
  • 정상 데이터만 학습시켜 이상을 감지하는 단일 클래스 분류(One-Class Classification)나 이상 감지(Anomaly Detection) 기법(Isolation Forest, Autoencoder 등)의 비중이 훨씬 높음

3.4 데이터 수집 환경의 복잡성과 파편화

• 일반 IT 데이터는 처음부터 디지털화된 환경(Web/App 로그)에서 깔끔하게 정제되어 쌓이는 경우가 많음

• 제조 데이터는 이른바 OT(Operational Technology) 영역의 독특한 장벽이 있음

• 프로토콜의 파편화:
  • Modbus, OPC-UA, Siemens MPI 등 제조사마다, 설비마다 사용하는 통신 프로토콜이 다름
  • 데이터를 분석하기 전, ‘수집 및 표준화’ 단계에서 발생하는 리소스가 전체의 70% 이상을 차지함
• 결측치(Missing Value)의 의미:
  • 통신 오류, 센서 오작동, 설비 전원 OFF 등 결측치가 발생하는 원인 자체가 설비의 상태를 대변하는 중요한 힌트가 되기도 함
    • 단순히 평균값으로 대체하면 안 됨

3.5 피드백 루프와 제어로의 연결

• 일반 분석의 종착지가 ‘리포트 발행’이나 ‘마케팅 타겟팅’이라면,

• 제조 데이터 분석의 종착지는 ‘현장 제어 및 최적화’

• 가상 계측(Virtual Metrology):
  • 다음 공정으로 넘어가기 전,
  • 이전 공정의 데이터를 기반으로 품질을 미리 예측하여 전수 검사의 효과를 발휘
• Edge Computing의 필요성:
  • 분석 결과가 설비 제어(PLC 등)로 실시간 피드백되어야 하므로,
  • 클라우드 분석뿐만 아니라 현장(Edge)에서의 실시간 추론(Inference) 특성이 강조됨

4.일반 비즈니스 데이터 vs 제조 데이터

비교 항목	일반 비즈니스 데이터	제조 데이터 (Smart Factory)
주요 데이터 형태	트랜잭션(로그, 구매 이력), 텍스트	다변량 시계열, 고주파 센서 데이터, 이미지(비전 검사)
이상치(Outlier)	노이즈로 보고 제거하는 경우가 많음	가장 핵심적인 분석 대상 (고장/불량의 징후)
핵심 당면 과제	고객 행동 예측, 추천 시스템	예지 보전(PdM), 품질 예측, 공정 최적화
결정적 역량	데이터 사이언스 + 비즈니스 감각	데이터 사이언스 + 물리적 도메인/설비 지식