데이터 품질 관리 및 가공 ①

AI 도구를 활용한 신규/기존 공정 데이터의 결측치·이상치 처리 및 데이터 가공

  • 일반적인 정형 데이터(웹 로그, 금융 등)의 품질 관리와 제조·공정 데이터의 품질 관리는 완전히 다르게 접근해야 함
  • 공정 데이터는
    • 시간 축(시계열), 물리적 설비 특성, 공정 배치(Batch) 주기, 센서 노이즈가 복합적으로 얽혀 있음
    • 단순 평균 대치나 일괄적인 IQR 필터링을 적용하면,
      • 설비 이상 징후(Golden Signal)를 노이즈로 착각해 지워버리거나
      • 반대로 센서 드리프트(drift)를 정상 공정 변동으로 오판하는 치명적인 왜곡이 발생함


1. 공장 데이터는 왜 일반 데이터와 다른가?

  • 기존 사무용 데이터와의 차이
    • 전자상거래나 금융 데이터는 ‘회원 ID’, ‘주문 금액’과 같이 명확히 정의된 거래 단위(트랜잭션)로 기록됨
    • 제조 공정 데이터는 설비의 물리적 상태와 환경 요인이 1초에도 수십 번씩 교차하는 연속된 시계열(Time-series) 데이터
  • 이 차이를 모른 채 일반 사무용 데이터 정제 방식(단순 평균 대치, IQR 필터 일괄 삭제)을 적용하면,
    • 설비가 예기치 않게 멈추거나 품질 사고를 예측하지 못하는 치명적인 실패로 이어짐
    • 가장 먼저 이해해야 할 것은 “평균값이나 엑셀 필터로 대충 지우면 공장이 멈출 수 있다”는 사실

1.1 센서의 거짓말 구분하기: 물리적 맥락의 해석

  • 공장 센서는 물리적 환경(열, 진동, 전자파 노이즈)에 직접 노출되어 있음 🡪 센서에 기록된 숫자가 항상 설비의 실제 상태를 대변하지 않음

  • 데이터 가공의 첫걸음은 이 숫자가 센서 자체의 오류인지, 설비가 보내는 구조 신호인지 구분하는 것

  • 단순 오류(계측기 노이즈 & 통신 에러):
    • 현상:
      • 사출 금형 온도가 0.1초 만에 180°C → 999°C → 180°C로 튀거나,
      • 유압 모터의 순간 압력이 -50 Bar로 기록되는 경우
    • 물리적 근거:
      • 열역학적으로 쇳덩어리나 금형의 온도가 0.1초 만에 수백 도 상승했다가 원래대로 내려오는 것은 물리적으로 불가능
      • 이는 인근 고전압 케이블에서 발생한 전자기 간섭(EMI), 순간 전압 강하, 또는 PLC 패킷 전송 오류임
    • 영향:
      • 이 값을 그대로 평균 계산이나 AI 학습에 넣으면 통계 분포가 완전히 왜곡됨
      • 설비 고장 신호가 아닌 ‘단순 계측 쓰레기(Noise)’로 규정하고 필터링해야 함
  • 설비 이상 징후(예지보전 골든 시그널):
    • 현상:
      • 베어링 온도가 3시간에 걸쳐 65°C → 68°C → 73°C로 서서히 올라가며,
      • 주축 진동 센서의 고주파 잔떨림이 미세하게 증가하는 경우
    • 물리적 근거:
      • 윤활유 열화, 베어링 궤도면 미세 균열, 또는 체결 볼트 풀림으로 인한 마찰열 누적 현상
    • 영향:
      • 단일 시점에서는 관리 기준치(Spec Out, 예: 80°C) 아래에 있어 정상으로 보이지만,
      • 시간 축의 기울기와 파동을 보면 설비 파손(Breakdown)으로 직결되는 핵심 전조 증상
      • 이를 통계적 ‘튀는 값’으로 오판해 지우면 수억 원대의 설비 파손을 막을 기회를 잃게 됨

1.2 신규 라인 vs 기존 라인의 현실적 데이터 격차

  • 사업재편이나 신제품 도입 시 가장 흔히 범하는 실수가 기존 공장 데이터를 다루던 방식 그대로 신규 공정에 적용하는 것

  • 두 환경은 데이터의 출발점 자체가 다름

  • 신규 공정(라인 전환 초기): “정상이 무엇인지 모르는 Cold Start 상태”
    • 데이터 절대량 부족:
      • 가동 이력이 며칠~몇 주에 불과하여 정상 상태의 통계적 분포(Golden Run)가 정의되어 있지 않음
    • 공정 캘리브레이션 미흡:
      • 설비 시운전, 치구 재세팅, 작업자 숙련도 편차로 인해 가공 파라미터가 수시로 흔들림
    • 해결 방향:
      • ‘규칙 기반의 절대 상하한선’을 섣부르게 걸기보다,
      • 설계 스펙(도면 허용 공차)을 기준선으로 삼고
      • 초기에는 데이터 수집 범위를 넓혀 기준 분포를 먼저 축적해야 함
  • 기존 공정(레거시 라인): “시간이 어긋나고 쓰레기 값이 퇴적된 상태”
    • 타임스탬프 불일치 (Time Asynchrony):
      • PLC 제조사(미쓰비시, 지멘스, LS 등)와 PC의 내부 시계가 제각각 동기화되지 않아,
      • ‘가열로 출구 통과 시간’과 ‘프레스 압력 인가 시간’이 5~10초씩 어긋나 있음
    • 설비 비가동(휴지) 구간 왜곡 (Flat-line):
      • 점심시간, 금형 교체, 라인 청소 시간에도 센서는 계속 켜져 있어 ‘0’ 또는 직전 고정값을 무한히 기록함
      • 이 비가동 구간을 거르지 않고 데이터 분석을 돌리면 수율 계산과 설비 가동률(OEE)이 완전히 붕괴됨


2. 결측치 처리: AI는 어떻게 빈칸을 채우는가?

  • 통신선 단선, PLC 버퍼 오버플로우, 정기 점검 등으로 센서 데이터 중간중간에 숫자가 빠지는 결측치(Missing Value)가 발생
  • 비전문가가 엑셀에서 자주 쓰는 ‘바로 위 행 복사(Forward Fill)’나 ‘전체 평균 채우기’를 제조 현장에 적용하면 심각한 왜곡이 발생함

2.1 단순 채우기가 위험한 물리적 이유

  • 급변 구간 왜곡:
    • 가공 압력이 0 🡪 120 Bar로 치솟는 3초 사이에 데이터가 누락되었을 때,
    • 이전 값인 0 Bar를 복사해 채우면 🡪 “압력이 가해지지 않았는데 제품이 성형된” 유령 데이터가 만들어짐
  • 열적 관성(Thermal Inertia) 무시:
    • 대형 가열로는 전원이 꺼져도 서서히 식어 내려가는 완만한 하강 곡선을 그림
    • 여기에 하루치 평균값(예: 180°C)을 일괄적으로 채워 넣으면 실제 열 전달 모델링이 파괴됨

2.2 [AI 복원 방식] 다변량 상관관계 기반 협업 복원

  • AI(오토인코더, 다변량 시계열 딥러닝 모델)는 결측치가 발생한 센서 하나만 보지 않고,

  • 공정 내 연결된 다른 센서들과의 물리적 인과관계를 종합적으로 역추적하여 곡선을 복원함

      [연관 센서 동시 관측]
  ├─ 밸브 개도율 : 30% ──> 70% (개방 지시 감지)
  ├─ 유량계 센서 : 50 L/min ──> 120 L/min (유량 급증 감지)
  └─ 유압 모터 RPM : 1,200 ──> 2,400 (회전수 상승 감지)
          │
          ▼
  [압력 센서 결측 발생 구간 (3분간 통신 단절)]
  └─ AI 판정 : "주변 3개 센서가 일제히 승압 반응을 보이므로, 
              압력 역시 완만한 S자 곡선을 그리며 140 Bar까지 올랐을 것"
          │
          ▼
  [물리 법칙에 부합하는 정밀 곡선 복원 완료]
    • 비유:
      • 자동차의 속도계 케이블이 끊겨 계기판이 0을 가리키더라도,
      • 엔진 RPM이 3,000이고 기어가 4단에 물려 있으며 가속 페달이 40% 밟혀 있다면
      • 실제 속도가 시속 약 80km라는 것을 물리적으로 유추해 낼 수 있는 것과 같음
    • 제조 현장 적용 예:
      • 화학 반응기나 도장 라인에서 메인 온도계가 단선되더라도
      • 히터 소비 전력, 원료 공급 속도, 외기 온도를 결합 학습한 AI가 실제 온도 곡선을 98% 이상의 정확도로 재구성함

2.3 [현업 의사결정 기준] 채울 것인가, 버릴 것인가?

  • 모든 빈칸을 AI로 채우는 것이 능사가 아님

  • 현업 실무자는 다음 기준표에 따라 결측 구간의 처리 방식을 결정해야 함

    결측 발생 상황 권장 처리 방식 현업 판단 근거
    순간 통신 순단 (1~3초 미만) AI 시계열 보간 (채움) 짧은 구간은 물리적 관성이 유지되므로 주변 센서 상관관계로 정밀 복원 가능
    센서 고장 장기화 (수십 분 이상) 해당 분석 구간 제외 (버림) 데이터의 실제 정보량이 소실되었으므로 억지로 채울 경우 허위 패턴 학습 위험
    설비 정기 점검 / 금형 교체 구간 비가동 라벨링 후 격리 고장이 아닌 정상적인 설비 휴지기이므로 가동 데이터 분석 대상에서 완전히 분리
    핵심 품질 센서(치수/두께 검사기) 대치 금지 (실측치만 보존) 품질 합격/불합격을 가르는 종속변수는 인위적으로 채우면 불량 은폐로 직결


3. 이상치 탐지: “지워야 할 쓰레기인가, 잡아야 할 불량 신호인가?”

  • 현장에서 가장 많은 혼선이 일어나는 영역
  • 관리자들은 수치가 평소와 다르면
    • 무조건 “지워야 할 에러”로 취급하거나,
    • 반대로 통신 에러까지 “설비가 고장 났다”며 라인을 세우곤 함

3.1 [한계] 단순 상하한선(Spec Out) 관리의 치명적 맹점

  • 전통적인 공장에서는 센서마다 상한치(USL)와 하한치(LSL)를 그어두고 빨간불이 들어오면 알람을 울림

  • 그러나 실제 복합 불량의 대부분은 개별 센서가 상하한선 안쪽에 머물러 있을 때 발생함

  • 계절 및 환경 편차:
    • 사출기의 오일 온도는 여름철(정상치 40~50°C)과 한겨울(정상치 25~35°C)의 기준선이 완전히 달라야 함
    • 단일 상한선(55°C)만 걸어두면 겨울철 45°C로 과열되고 있어도 알람이 울리지 않음
  • 다변량 엇박자 (Multivariate Anomaly):
    • 모터가 최저 속도(저속 가동)로 돌고 있다면 성형 압력도 당연히 낮아야 정상
    • 하지만 “모터 속도는 최저인데, 압력 센서는 정상 범위 내 최상단(130 Bar)”에 걸려 있다면,
      • 수치 자체는 스펙 안쪽이지만 배관이 막혔거나 금형이 비정상 체결된 심각한 고장 상태
    • 기존 1차원 상하한선 모니터링으로는 이 ‘엇박자’를 영원히 잡아낼 수 없음

3.2 [AI 접근법] 설비의 정상 운전 ‘리듬’ 학습 (다변량 패턴 인식)

  • AI(Isolation Forest, Autoencoder 등)는 상하한선 숫자를 암기하는 것이 아니라,

  • 정상적으로 양품이 나올 때 센서들이 서로 맞물려 돌아가는 ‘박자와 균형’을 다차원 공간에서 학습함

      [기존 룰 기반 방식]
  - 온도: 185°C (기준: 170~200°C) ──> [정상 통과]
  - 압력: 135 Bar (기준: 110~140 Bar) ──> [정상 통과]
  - 진동: 19 mm/s (기준: 10~25 mm/s) ──> [정상 통과]
  => 결과 : 개별 수치가 모두 정상이므로 알람 미발생 (실제로는 불량품 생산 중)

  [AI 다변량 이상 탐지 방식]
  - "온도 185°C일 때는 압력이 120 Bar 부근이어야 하는데, 현재 135 Bar까지 올라와 있음"
  - "이 조건에서 진동이 평소보다 4 mm/s 빠르게 요동침"
  => AI 판정 : "개별 숫자는 정상 범위지만, 센서 간 물리적 조합이 비정상 패턴임 (이상 지수 92% 감지)"

3.3 [실무 행동 수칙] 이상치 판별 및 조치 매트릭스

  • 수치가 정상 범위를 벗어났을 때 현업 엔지니어가 취해야 할 명확한 데이터 조치 가이드

                          [이상 데이터 발생]
                              │
              ┌────────────────┴────────────────┐
              ▼                                 ▼
  [물리적 불가능성 검토]             [물리적 연속성/상관성 검토]
  (0.1초 만에 999도, -50 Bar)       (온도 상승하며 진동·압력 동반 변동)
              │                                 │
              ▼                                 ▼
      【단순 노이즈】                   【설비 이상 징후】
              │                                 │
  · 데이터 정제(클렌징) 대상       · 절대 삭제 금지 (보존 대상)
  · 직전 정상값으로 보간           · '불량 전조 라벨' 부여
  · 센서 노후화/노이즈 점검        · 예지보전 AI 모델의 핵심 학습 데이터로 활용
    • 정제(클렌징)해야 할 값:
      • 물리적으로 설명이 불가능한 단발성 스파이크
      • 센서 단선에 의한 0 또는 999 고정값
      • 통신 오류 패킷 등
    • 보존(학습)해야 할 값:
      • 여러 센서가 시간차를 두고 동반 상승/하강하는 패턴
      • 제품 치수 불량 발생 직전 5분간의 미세 파동 데이터 둥
      • 이 데이터들은 추후 AI 예지보전 모델을 고도화할 때 가장 귀중한 ‘정답(Label) 자산’이 됨


4. 노코드(No-Code) AI 도구로 보는 데이터 가공 흐름

  • GUI 기반 분석 툴(Knime, Orange, Power BI, 제조 전용 솔루션 등) 활용:
    1. 데이터 불러오기: 설비별 시간축을 1초/1분 단위로 자동 정렬 (동기화)
    2. AI 이상치 진단 클릭: 비정상 의심 구간이 붉은색 히트맵으로 화면에 자동 강조
    3. 전문가 피드백: 현장 엔지니어가 클릭 한 번으로 “이건 청소 작업이었음(제외)”, “이건 모터 베어링 파손 전조(보존)” 승인
    4. 가공된 데이터셋 저장: AI 모델 학습용 정제 데이터 자동 생성


Related Posts

📌 함께 보면 좋은 글