Overview›Solutions›CodeCollect
데이터 수집/관리 · Solution CBCO

CodeCollect 데이터 수집/관리

다중 소스 데이터 자동 수집. CODEBAILEY 데이터 수집/관리 카테고리의 핵심 솔루션으로, 엔터프라이즈 환경에서 검증된 안정성과 성능을 제공합니다.

CBCO
Solution Code
99.9%
시스템 가용성
2주
POC 기간
24 / 7
기술 지원
Product Preview

실제 콘솔 화면 미리보기

CodeCollect 콘솔에서 분산된 데이터 자산을 한눈에 모니터링하고, 파이프라인을 실시간으로 운영합니다.

데모 요청
https://app.codebailey.com/collect/jobs/prod/collectors
Production Collectors · Overview
● All collectors healthy
Active Collectors
37 +3
Records Collected Today
18.6M
Connector Health
98.9%
Failed Jobs · 24h
2 / 412
Collection Pipeline · salesforce_accounts_hourly
Poll Source › Fetch Batch › Parse › Dedup Keys › Stage › Land
Recent Activity
07:48:53collector.run · sftp_finance_daily landed 42,118 rowsOK
07:47:30connector.auth · salesforce_api token refreshedOK
07:46:12job.retry · oracle_erp_orders attempt 2 of 3WARN
07:44:39backfill.complete · ga_sessions 2026-06-01..06-15OK
07:43:07rate.limit · shopify_orders 429 throttled, backing offWARN
Connectors · Configured Sources
⌕ Filter: active
⌕ type:api AND health:<99 37 connectors configured
All API File · SFTP Database SaaS
Connector
Type
Owner
Health
saas.crm.Salesforce API
SaaSREST
ingest-platform
99.6%
›
file.sftp./finance/daily
FileSFTP
finance-data
99.9%
›
db.erp.Oracle ERP
DatabaseJDBC
erp-team
96.2%
›
saas.analytics.Google Analytics
SaaSREST
marketing-bi
98.4%
›
saas.commerce.Shopify
SaaSwebhook
commerce-eng
93.7%
›
api.public.Weather REST
APIREST
analytics-eng
99.1%
›
Schedule · collect_main run flow
3 sources · 2 raw zones
Collection Run Flow
Sources
Salesforce APISaaS REST
SFTP /finance/dailyCSV drop
Oracle ERPJDBC pull
Stage
fetch + parsebatch poller
Staging
stage.collect_maindedup buffer
Consumers
raw.landing_zoneobject store
raw.cdc_inboxchange feed
Downstream
warehouse.bronzeIceberg
dq.profilerquality scan
Scheduled Jobs · 예약 작업
salesforce_accountsevery 1h · next 08:00 · @hourlyRUNNING
sftp_finance_daily0 6 * * * · next 06:00 tomorrowQUEUED
oracle_erp_ordersevery 15m · last attempt failedFAILED
ga_sessions_daily30 2 * * * · next 02:30QUEUED
weather_rest_pollevery 30m · next 08:13RUNNING
How It Works

5단계 워크플로우

데이터 수집/관리 도메인의 전 주기를 자동화된 파이프라인으로 처리합니다.

STEP 01

Connect

142+ 커넥터로 RDB · API · 스트림 · SaaS 등 이기종 소스를 단일 인터페이스로 연결합니다.

STEP 02

Normalize

컬럼 타입 추론과 코드 표준화로 이기종 데이터를 일관된 표준 모델로 변환합니다.

STEP 03

Govern

자동 카탈로그 등록 · 리니지 추적 · 품질 룰 · PII 마스킹 정책을 코드로 강제합니다.

STEP 04

Distribute

REST · GraphQL · SDK · DB Proxy로 거버넌스가 적용된 데이터를 제공합니다.

STEP 05

Monitor

실시간 메트릭과 감사 로그로 운영 가시성을 확보하고 이상 상황에 대응합니다.

Core Capabilities

8가지 핵심 기능

데이터 수집/관리 운영에 필요한 모든 기능을 단일 플랫폼에서 통합 제공합니다.

DC

Data Catalog

메타데이터 자동 수집과 비즈니스 용어집(Glossary) 매핑으로 데이터 자산을 검색 가능한 형태로 등록합니다.

SC

Source Connector

142+ 커넥터로 RDB · API · 스트림 · SaaS · 파일 등 이기종 소스를 통합 연결합니다.

SI

Schema Inference

컬럼 타입을 자동 추론하고 스키마 변경(Schema Drift)에 자동 대응합니다.

CD

CDC Streaming

변경 데이터를 실시간 캡처해 Kafka · Pulsar로 스트리밍 처리합니다.

MD

Master Data

여러 시스템의 동일 엔티티를 통합해 골든 레코드(Golden Record)를 생성합니다.

CC

Cleansing

결측치 보정 · 코드 표준화 · 중복 제거 · 형식 통일을 룰 기반으로 자동화합니다.

LD

Loading

Iceberg · Delta Lake · Hudi · Parquet 등 오픈 테이블 포맷으로 적재합니다.

MT

Multi-tenancy

Workspace 단위 데이터 격리와 권한 관리로 안전한 멀티테넌트 운영을 지원합니다.

Differentiators

CodeCollect만의 핵심 차별점

소스마다 따로 만드는 일회성 배치 스크립트가 아니라, 142+ 커넥터 · 스케줄·백필 오케스트레이션 · 자동 재시도로 '끊기지 않는 수집 파이프라인'을 운영하는 것이 CodeCollect의 핵심입니다.

전체 솔루션

142+ 커넥터
이기종 통합

API · 파일 · DB · SaaS를 단일 커넥터 모델로 연결해 수집을 표준화합니다.

  • REST API · Webhook 수집
  • SFTP · CSV 파일 드롭 수집
  • JDBC 기반 DB 풀(pull)
  • Salesforce · GA · Shopify 등 SaaS

스케줄 &
백필 오케스트레이션

cron 스케줄과 과거 구간 백필을 한 콘솔에서 통합 운영합니다.

  • cron · @hourly 등 유연한 스케줄
  • 과거 기간 백필(Backfill) 재수집
  • 증분 수집 워터마크 관리
  • landing zone · 변경 피드 분기 적재

견고한
수집 안정성

실패·레이트리밋에도 누락 없이 수집을 보장하는 운영 안정성을 제공합니다.

  • 실패 작업 자동 재시도(Retry Queue)
  • 429 레이트리밋 백오프 대응
  • 토큰 자동 갱신 · 커넥터 헬스 체크
  • 키 기반 중복 제거(Dedup) 스테이징
Developer Experience

API & SDK 예제 코드

REST · SDK · CLI — 개발자가 즉시 통합 가능한 형태로 API를 제공합니다.

# 카탈로그에 신규 데이터 자산 등록
curl -X POST "https://api.codebailey.com/v1/collect/assets" \
  -H "Authorization: Bearer $CBCO_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "orders_fact",
    "source": "snowflake://analytics.public.orders",
    "owner": "data-platform@codebailey.com",
    "tags": ["pii:masked", "tier:gold", "domain:sales"],
    "quality_rules": [
      { "type": "not_null", "columns": ["order_id", "customer_id"] },
      { "type": "unique", "columns": ["order_id"] }
    ]
  }'

# Response · 201 Created
{
  "asset_id": "cbco_ast_8f3a92b4",
  "status": "registered",
  "lineage_url": "/catalog/cbco_ast_8f3a92b4/lineage"
}
Use Cases

활용 사례

CodeCollect이(가) 실제로 활용되는 대표적인 산업 시나리오.

CASE 01
웨어하우스
인제스트 자동화
ERP·CRM·SaaS의 데이터를 스케줄 기반으로 자동 수집해 데이터 웨어하우스 bronze 레이어를 채웁니다.
CASE 02
마케팅
채널 통합
GA · 광고 · 커머스 등 분산된 마케팅 API를 한곳에 모아 통합 성과 분석 기반을 만듭니다.
CASE 03
파트너
파일 연동
협력사가 SFTP로 올리는 정산·재고 파일을 자동 감지·수집해 수기 업로드 작업을 제거합니다.
Technical Specifications

기술 사양 명세서

성능 · 확장성 · API · 데이터 소스 · 보안 · 배포의 6개 영역으로 정리한 프로덕션 명세.

SPEC 01
Performance & SLA
평균 응답 시간 (p95)
< 200 ms
평균 응답 시간 (p99)
< 500 ms
최대 처리량
100,000 ops / s
가용성 SLA
99.99% (3-AZ)
RPO / RTO
< 1 hour / < 1 hour
SPEC 02
Scalability
최대 카탈로그 자산
10M+ assets
동시 사용자
5,000 concurrent
파이프라인 동시 실행
200+ parallel
스케일 모델
Horizontal · Stateless
멀티 테넌시
Workspace-level isolation
SPEC 03
APIs & Protocols
REST API
OpenAPI 3.1 · v1
GraphQL
Spec compliant · Subscriptions
SDKs
PythonJavaNode.jsGo
CLI
codebailey-cli (macOS · Linux · Win)
Event Streaming
Kafka · Webhooks · SSE
SPEC 04
Data Sources Supported
RDBMS
OraclePostgreSQLMySQLMSSQLDB2
Data Warehouse
SnowflakeBigQueryRedshiftDatabricks
Lake / Table Format
IcebergDelta LakeHudiParquet
Messaging
KafkaPulsarKinesisRabbitMQ
SaaS Connectors
142+ (Salesforce, HubSpot 등)
SPEC 05
Security & Compliance
저장 암호화
AES-256 · Envelope Encryption
전송 암호화
TLS 1.3 · mTLS 지원
접근 제어
RBAC + ABAC + Row/Col Policy
감사 로그
변조 불가 (Append-only)
규제 대응
개인정보보호법 · OWASP Top 10
SSO · IdP 연동
SAML 2.0 · OIDC · LDAP
SPEC 06
Deployment & Operations
배포 모델
SaaS · Self-hosted · Air-gapped
컨테이너 런타임
Docker · containerd
오케스트레이션
Kubernetes 1.27+
설치 방식
Helm Chart · Terraform Module
관측성
Prometheus · OpenTelemetry
기술 지원
24 / 7 (Enterprise)

CodeCollect을(를)
지금 도입하세요

다중 소스 데이터 자동 수집. 전문가와 함께 맞춤형 도입 전략을 설계해드립니다.

무료 컨설팅 신청 다른 솔루션 보기