Overview›Solutions›CodeImport
데이터 수집/관리 · Solution CBIM

CodeImport 데이터 수집/관리

대량 데이터 임포트 / 변환. CODEBAILEY 데이터 수집/관리 카테고리의 핵심 솔루션으로, 엔터프라이즈 환경에서 검증된 안정성과 성능을 제공합니다.

CBIM
Solution Code
99.9%
시스템 가용성
2주
POC 기간
24 / 7
기술 지원
Product Preview

실제 콘솔 화면 미리보기

CodeImport 콘솔에서 분산된 데이터 자산을 한눈에 모니터링하고, 파이프라인을 실시간으로 운영합니다.

데모 요청
https://app.codebailey.com/import/jobs/prod
Production Imports · Overview
● Loaders healthy
Rows Imported Today
3.84M +412K
Import Success
98.6%
Rejected Rows
1,204
Active Import Jobs
5 / 7
Import Pipeline · customers_2026Q1.csv
Upload File › Detect Schema › Map Columns › Transform Types › Validate › Bulk Load
Recent Activity
13:58:42import.start · transactions.parquet (8.2M rows)OK
13:57:19mapping.apply · 24 source cols → dim_customerOK
13:56:03type.convert · signup_date str → date(ISO-8601)OK
13:54:37validation.reject · 412 rows failed constraintsWARN
13:52:58load.commit · fact_orders +1.94M rowsOK
Import Files · Jobs & Uploads
⌕ Filter: active
⌕ format:csv AND status:loaded 238 import files this quarter
All CSV (146) Excel (52) JSON (24) Parquet (16)
File
Format
Owner
Rows
uploads/2026Q1/customers_2026Q1.csv
CSV→ dim_customer
data-onboarding
1.42M
›
uploads/catalog/products.xlsx
Excel→ dim_product
merch-ops
38,204
›
uploads/ledger/transactions.parquet
Parquet→ fact_orders
finance-eng
8.21M
›
uploads/master/vendors.json
JSON→ dim_vendor
procurement
9,847
›
uploads/2026Q1/shipments_jan.csv
CSV→ fact_shipment
logistics
512,330
›
uploads/master/price_list_v4.xlsx
Excel→ dim_price
pricing-team
14,022
›
Field Mapping · customers_2026Q1.csv → dim_customer
24 source cols · 3 downstream
Column Mapping Flow
Sources
cust_idCSV col 1 · string
full_nameCSV col 2 · string
signup_dtCSV col 5 · string
Stage
trim + uppercasetransform
str → dateconvert ISO-8601
Target
dim_customerwarehouse table
Consumers
fact_ordersFK load
vw_active_usersview
Downstream
crm_sync_exportnightly job
Rejected Rows · 거부 행
signup_dtinvalid date format · 268 rowsREJECT
cust_idduplicate primary key · 94 rowsREJECT
emailnull in required field · 41 rowsWARN
region_codevalue not in lookup · 9 rowsFIXED
How It Works

5단계 워크플로우

데이터 수집/관리 도메인의 전 주기를 자동화된 파이프라인으로 처리합니다.

STEP 01

Connect

142+ 커넥터로 RDB · API · 스트림 · SaaS 등 이기종 소스를 단일 인터페이스로 연결합니다.

STEP 02

Normalize

컬럼 타입 추론과 코드 표준화로 이기종 데이터를 일관된 표준 모델로 변환합니다.

STEP 03

Govern

자동 카탈로그 등록 · 리니지 추적 · 품질 룰 · PII 마스킹 정책을 코드로 강제합니다.

STEP 04

Distribute

REST · GraphQL · SDK · DB Proxy로 거버넌스가 적용된 데이터를 제공합니다.

STEP 05

Monitor

실시간 메트릭과 감사 로그로 운영 가시성을 확보하고 이상 상황에 대응합니다.

Core Capabilities

8가지 핵심 기능

데이터 수집/관리 운영에 필요한 모든 기능을 단일 플랫폼에서 통합 제공합니다.

DC

Data Catalog

메타데이터 자동 수집과 비즈니스 용어집(Glossary) 매핑으로 데이터 자산을 검색 가능한 형태로 등록합니다.

SC

Source Connector

142+ 커넥터로 RDB · API · 스트림 · SaaS · 파일 등 이기종 소스를 통합 연결합니다.

SI

Schema Inference

컬럼 타입을 자동 추론하고 스키마 변경(Schema Drift)에 자동 대응합니다.

CD

CDC Streaming

변경 데이터를 실시간 캡처해 Kafka · Pulsar로 스트리밍 처리합니다.

MD

Master Data

여러 시스템의 동일 엔티티를 통합해 골든 레코드(Golden Record)를 생성합니다.

CC

Cleansing

결측치 보정 · 코드 표준화 · 중복 제거 · 형식 통일을 룰 기반으로 자동화합니다.

LD

Loading

Iceberg · Delta Lake · Hudi · Parquet 등 오픈 테이블 포맷으로 적재합니다.

MT

Multi-tenancy

Workspace 단위 데이터 격리와 권한 관리로 안전한 멀티테넌트 운영을 지원합니다.

Differentiators

CodeImport만의 핵심 차별점

이기종 소스의 대량 데이터를 연결 → 정규화 → 거버넌스 → 배포의 단일 파이프라인으로 흘려, 들어온 순간부터 신뢰할 수 있는 데이터로 만드는 것이 CodeImport의 핵심입니다.

전체 솔루션

대량 연결 &
정규화

이기종 소스를 한 번에 연결하고 타입 · 코드를 표준 모델로 자동 변환합니다.

  • 142+ 커넥터(RDB · API · 스트림 · 파일)
  • 컬럼 타입 자동 추론 · Schema Drift 대응
  • 코드 표준화 · 형식 통일 정규화
  • 결측치 보정 · 중복 제거 자동 정제

적재 시점
거버넌스

데이터가 들어오는 순간 카탈로그 · 리니지 · 품질 룰을 코드로 강제합니다.

  • 자동 카탈로그 등록 · 리니지 추적
  • 품질 룰(Not Null · Unique) 적용
  • PII 마스킹 정책 코드로 강제
  • 오픈 테이블 포맷(Iceberg · Delta) 적재

거버넌스드
데이터 배포

정제 · 통제가 끝난 데이터를 여러 인터페이스로 안전하게 내보냅니다.

  • REST · GraphQL · SDK · DB Proxy 제공
  • 변경 데이터(CDC) 실시간 스트리밍
  • Workspace 단위 멀티테넌트 격리
  • 실시간 메트릭 · 변조 불가 감사 로그
Developer Experience

API & SDK 예제 코드

REST · SDK · CLI — 개발자가 즉시 통합 가능한 형태로 API를 제공합니다.

# 카탈로그에 신규 데이터 자산 등록
curl -X POST "https://api.codebailey.com/v1/import/assets" \
  -H "Authorization: Bearer $CBIM_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "orders_fact",
    "source": "snowflake://analytics.public.orders",
    "owner": "data-platform@codebailey.com",
    "tags": ["pii:masked", "tier:gold", "domain:sales"],
    "quality_rules": [
      { "type": "not_null", "columns": ["order_id", "customer_id"] },
      { "type": "unique", "columns": ["order_id"] }
    ]
  }'

# Response · 201 Created
{
  "asset_id": "cbim_ast_8f3a92b4",
  "status": "registered",
  "lineage_url": "/catalog/cbim_ast_8f3a92b4/lineage"
}
Use Cases

활용 사례

CodeImport이(가) 실제로 활용되는 대표적인 산업 시나리오.

CASE 01
레거시
데이터 마이그레이션
차세대 전환 시 수억 건의 레거시 데이터를 정규화 · 검증하며 대량 일괄 이관합니다.
CASE 02
분석 레이크
적재 파이프라인
흩어진 운영 데이터를 표준화해 Iceberg · Delta 레이크에 거버넌스 적용된 채로 적재합니다.
CASE 03
외부 데이터
온보딩
파트너 · SaaS의 이기종 파일을 자동 정제 · 마스킹해 내부 표준 모델로 온보딩합니다.
Technical Specifications

기술 사양 명세서

성능 · 확장성 · API · 데이터 소스 · 보안 · 배포의 6개 영역으로 정리한 프로덕션 명세.

SPEC 01
Performance & SLA
평균 응답 시간 (p95)
< 200 ms
평균 응답 시간 (p99)
< 500 ms
최대 처리량
100,000 ops / s
가용성 SLA
99.99% (3-AZ)
RPO / RTO
< 1 hour / < 1 hour
SPEC 02
Scalability
최대 카탈로그 자산
10M+ assets
동시 사용자
5,000 concurrent
파이프라인 동시 실행
200+ parallel
스케일 모델
Horizontal · Stateless
멀티 테넌시
Workspace-level isolation
SPEC 03
APIs & Protocols
REST API
OpenAPI 3.1 · v1
GraphQL
Spec compliant · Subscriptions
SDKs
PythonJavaNode.jsGo
CLI
codebailey-cli (macOS · Linux · Win)
Event Streaming
Kafka · Webhooks · SSE
SPEC 04
Data Sources Supported
RDBMS
OraclePostgreSQLMySQLMSSQLDB2
Data Warehouse
SnowflakeBigQueryRedshiftDatabricks
Lake / Table Format
IcebergDelta LakeHudiParquet
Messaging
KafkaPulsarKinesisRabbitMQ
SaaS Connectors
142+ (Salesforce, HubSpot 등)
SPEC 05
Security & Compliance
저장 암호화
AES-256 · Envelope Encryption
전송 암호화
TLS 1.3 · mTLS 지원
접근 제어
RBAC + ABAC + Row/Col Policy
감사 로그
변조 불가 (Append-only)
규제 대응
개인정보보호법 · OWASP Top 10
SSO · IdP 연동
SAML 2.0 · OIDC · LDAP
SPEC 06
Deployment & Operations
배포 모델
SaaS · Self-hosted · Air-gapped
컨테이너 런타임
Docker · containerd
오케스트레이션
Kubernetes 1.27+
설치 방식
Helm Chart · Terraform Module
관측성
Prometheus · OpenTelemetry
기술 지원
24 / 7 (Enterprise)

CodeImport을(를)
지금 도입하세요

대량 데이터 임포트 / 변환. 전문가와 함께 맞춤형 도입 전략을 설계해드립니다.

무료 컨설팅 신청 다른 솔루션 보기