Overview›Solutions›CodeCleanse
데이터 수집/관리 · Solution CBCL

CodeCleanse 데이터 수집/관리

데이터 정제 / 클렌징 / 표준화. CODEBAILEY 데이터 수집/관리 카테고리의 핵심 솔루션으로, 엔터프라이즈 환경에서 검증된 안정성과 성능을 제공합니다.

CBCL
Solution Code
99.9%
시스템 가용성
2주
POC 기간
24 / 7
기술 지원
Product Preview

실제 콘솔 화면 미리보기

CodeCleanse 콘솔에서 분산된 데이터 자산을 한눈에 모니터링하고, 파이프라인을 실시간으로 운영합니다.

데모 요청
https://app.codebailey.com/cleanse/quality/prod
Production Quality · Overview
● Cleansing jobs healthy
Records Cleansed Today
3.14M +8.2%
Rule Pass Rate
98.6%
Duplicates Removed
41,902
Quality Score
96.4%
Cleansing Pipeline · customer_master
Ingest Raw › Profile › Standardize Codes › Dedup › Validate › Write Clean
Recent Activity
16:34:52cleanse.run · customer_master batch completedOK
16:34:18dedup.merge · 1,284 duplicate emails collapsedOK
16:33:47standardize.codes · country ISO-3166 normalizedOK
16:33:09validation.fail · 312 rows missing tax_idWARN
16:32:35anomaly.detected · phone length outlier spikeWARN
Cleansing Rules · Library
⌕ Filter: active
⌕ type:standardize AND target:customer_master 248 rules registered
All Rules Standardize (96) Dedup (38) Imputation (54) Validation (60)
Rule
Type
Owner
Pass Rate
phone.Trim & Normalize Phone
standardizeformat
data-quality
99.2%
›
geo.Standardize Country Code
standardizeISO-3166
ref-data
99.7%
›
tax_id.Null→Default Imputation
imputationmissing
data-quality
93.5%
›
email.Dedup by Email
dedupfuzzy
crm-ops
98.4%
›
date.Date Format Unify
standardizeISO-8601
ref-data
99.9%
›
postal.Validate Postal Code
validationgeo
data-quality
91.8%
›
Profile · customer_master.clean
5 raw cols · 3 clean tables
Before → After Cleansing Flow
Raw (Before)
raw.phone" 010-1234 "
raw.country"kr / KOR"
raw.emaildup + mixed case
Cleansing Steps
trim + normalizestandardize
dedup + imputemerge/fill
Clean Output
customer_master.cleanvalidated
Consumers
crm.contact_martBI mart
analytics.customer_360view
Downstream
segmentation_modelML pipeline
monthly_crm_reportPDF auto
Data Quality Issues · 품질 이슈
tax_idnull ratio 6.5% · missing valuesHIGH
phoneformat inconsistency · 312 outliersMED
email1,284 fuzzy duplicates pendingMED
countrycode standardized · ISO-3166 appliedLOW
How It Works

5단계 워크플로우

데이터 수집/관리 도메인의 전 주기를 자동화된 파이프라인으로 처리합니다.

STEP 01

Connect

142+ 커넥터로 RDB · API · 스트림 · SaaS 등 이기종 소스를 단일 인터페이스로 연결합니다.

STEP 02

Normalize

컬럼 타입 추론과 코드 표준화로 이기종 데이터를 일관된 표준 모델로 변환합니다.

STEP 03

Govern

자동 카탈로그 등록 · 리니지 추적 · 품질 룰 · PII 마스킹 정책을 코드로 강제합니다.

STEP 04

Distribute

REST · GraphQL · SDK · DB Proxy로 거버넌스가 적용된 데이터를 제공합니다.

STEP 05

Monitor

실시간 메트릭과 감사 로그로 운영 가시성을 확보하고 이상 상황에 대응합니다.

Core Capabilities

8가지 핵심 기능

데이터 수집/관리 운영에 필요한 모든 기능을 단일 플랫폼에서 통합 제공합니다.

DC

Data Catalog

메타데이터 자동 수집과 비즈니스 용어집(Glossary) 매핑으로 데이터 자산을 검색 가능한 형태로 등록합니다.

SC

Source Connector

142+ 커넥터로 RDB · API · 스트림 · SaaS · 파일 등 이기종 소스를 통합 연결합니다.

SI

Schema Inference

컬럼 타입을 자동 추론하고 스키마 변경(Schema Drift)에 자동 대응합니다.

CD

CDC Streaming

변경 데이터를 실시간 캡처해 Kafka · Pulsar로 스트리밍 처리합니다.

MD

Master Data

여러 시스템의 동일 엔티티를 통합해 골든 레코드(Golden Record)를 생성합니다.

CC

Cleansing

결측치 보정 · 코드 표준화 · 중복 제거 · 형식 통일을 룰 기반으로 자동화합니다.

LD

Loading

Iceberg · Delta Lake · Hudi · Parquet 등 오픈 테이블 포맷으로 적재합니다.

MT

Multi-tenancy

Workspace 단위 데이터 격리와 권한 관리로 안전한 멀티테넌트 운영을 지원합니다.

Differentiators

CodeCleanse만의 핵심 차별점

일회성 스크립트 정제가 아니라 재사용 가능한 룰 라이브러리 · 퍼지 중복 제거 · 품질 점수화로, '신뢰할 수 있는 클린 데이터'를 반복 가능하게 만드는 것이 CodeCleanse의 핵심입니다.

전체 솔루션

룰 기반
표준화

248개+ 재사용 룰로 코드 · 포맷 · 결측치를 일관된 표준 모델로 정규화합니다.

  • ISO-3166 · ISO-8601 등 표준 코드화
  • 전화 · 주소 · 날짜 포맷 통일
  • 결측치 보정(Imputation) 룰
  • 룰별 통과율(Pass Rate) 실시간 추적

퍼지 중복 제거
골든 레코드

유사도 매칭으로 표기가 다른 중복을 찾아 하나의 골든 레코드로 통합합니다.

  • 이메일 · 이름 퍼지(fuzzy) 매칭
  • 레코드 병합(Merge) · 생존 규칙
  • 중복 후보 검토 큐 제공
  • 일일 4만+ 중복 자동 정리

품질 점수
& 프로파일링

컬럼별 프로파일링과 이상 탐지로 데이터 품질을 정량 점수로 가시화합니다.

  • Before → After 정제 리니지 추적
  • null 비율 · 이상치 자동 프로파일
  • 품질 점수(Quality Score) 산출
  • 검증 실패 행 자동 격리 · 알림
Developer Experience

API & SDK 예제 코드

REST · SDK · CLI — 개발자가 즉시 통합 가능한 형태로 API를 제공합니다.

# 카탈로그에 신규 데이터 자산 등록
curl -X POST "https://api.codebailey.com/v1/cleanse/assets" \
  -H "Authorization: Bearer $CBCL_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "orders_fact",
    "source": "snowflake://analytics.public.orders",
    "owner": "data-platform@codebailey.com",
    "tags": ["pii:masked", "tier:gold", "domain:sales"],
    "quality_rules": [
      { "type": "not_null", "columns": ["order_id", "customer_id"] },
      { "type": "unique", "columns": ["order_id"] }
    ]
  }'

# Response · 201 Created
{
  "asset_id": "cbcl_ast_8f3a92b4",
  "status": "registered",
  "lineage_url": "/catalog/cbcl_ast_8f3a92b4/lineage"
}
Use Cases

활용 사례

CodeCleanse이(가) 실제로 활용되는 대표적인 산업 시나리오.

CASE 01
고객 마스터
단일화
여러 시스템에 흩어진 고객 정보를 표준화·중복 제거해 Customer 360의 신뢰 가능한 단일 고객 뷰를 만듭니다.
CASE 02
분석 전
데이터 품질 보증
웨어하우스 적재 전 정제·검증을 강제해, 잘못된 데이터가 BI 리포트와 ML 학습에 유입되는 것을 차단합니다.
CASE 03
레거시
데이터 정비
수년간 누적된 비정형·비표준 레거시 데이터를 룰 기반으로 일괄 표준화해 신규 시스템 이관 품질을 확보합니다.
Technical Specifications

기술 사양 명세서

성능 · 확장성 · API · 데이터 소스 · 보안 · 배포의 6개 영역으로 정리한 프로덕션 명세.

SPEC 01
Performance & SLA
평균 응답 시간 (p95)
< 200 ms
평균 응답 시간 (p99)
< 500 ms
최대 처리량
100,000 ops / s
가용성 SLA
99.99% (3-AZ)
RPO / RTO
< 1 hour / < 1 hour
SPEC 02
Scalability
최대 카탈로그 자산
10M+ assets
동시 사용자
5,000 concurrent
파이프라인 동시 실행
200+ parallel
스케일 모델
Horizontal · Stateless
멀티 테넌시
Workspace-level isolation
SPEC 03
APIs & Protocols
REST API
OpenAPI 3.1 · v1
GraphQL
Spec compliant · Subscriptions
SDKs
PythonJavaNode.jsGo
CLI
codebailey-cli (macOS · Linux · Win)
Event Streaming
Kafka · Webhooks · SSE
SPEC 04
Data Sources Supported
RDBMS
OraclePostgreSQLMySQLMSSQLDB2
Data Warehouse
SnowflakeBigQueryRedshiftDatabricks
Lake / Table Format
IcebergDelta LakeHudiParquet
Messaging
KafkaPulsarKinesisRabbitMQ
SaaS Connectors
142+ (Salesforce, HubSpot 등)
SPEC 05
Security & Compliance
저장 암호화
AES-256 · Envelope Encryption
전송 암호화
TLS 1.3 · mTLS 지원
접근 제어
RBAC + ABAC + Row/Col Policy
감사 로그
변조 불가 (Append-only)
규제 대응
개인정보보호법 · OWASP Top 10
SSO · IdP 연동
SAML 2.0 · OIDC · LDAP
SPEC 06
Deployment & Operations
배포 모델
SaaS · Self-hosted · Air-gapped
컨테이너 런타임
Docker · containerd
오케스트레이션
Kubernetes 1.27+
설치 방식
Helm Chart · Terraform Module
관측성
Prometheus · OpenTelemetry
기술 지원
24 / 7 (Enterprise)

CodeCleanse을(를)
지금 도입하세요

데이터 정제 / 클렌징 / 표준화. 전문가와 함께 맞춤형 도입 전략을 설계해드립니다.

무료 컨설팅 신청 다른 솔루션 보기