빅데이터의 개요: 디지털 시대의 새로운 원자재

1. 빅데이터란 무엇인가?

1.1 인류 초기의 데이터

우리 조상 호모사피엔스는 지금의 모습이 되기 전부터 데이터를 사용해왔습니다. 초기 인류는 동물들이 소리를 내는 것처럼 모호한 소리를 통해 데이터를 전달하기 시작했습니다. 당시에는 전달해야 할 데이터가 많지 않았기 때문에 언어나 숫자가 필요하지 않았습니다. 시간이 지나면서 인류는 데이터를 표현하고 전달하는 방법을 발전시켰고, 이는 생존에 중요한 역할을 했습니다.

1.2 텍스트 형태의 데이터

텍스트 데이터는 매우 가치 있는 정보를 담고 있습니다. 예를 들어, 로제타 비석은 다양한 언어로 기록된 텍스트 데이터를 통해 정확한 의미를 전달했습니다. 로제타 비석의 연구 방식은 현대 기계언어 연구의 기초가 되었으며, 이는 데이터 분석에서도 마찬가지로 중요한 역할을 합니다. 여러 언어를 비교 분석하여 정확한 의미를 파악하는 방식은 구글 번역 등의 서비스에서도 활용됩니다.

1.3 숫자의 탄생

문자가 등장하기 전, 인류는 수를 세기 위해 나무나 뼈와 같은 물건에 표시를 했습니다. 1970년대 고고학자들은 스와질란드의 룸보보 산에서 약 35,000년 전의 셈 도구를 발견했습니다. 이를 통해 인간은 오래전부터 숫자를 사용해 데이터를 기록해 왔음을 알 수 있습니다.

1.4 표음문자의 발전

표음문자는 메소포타미아에서 탄생하여 페니키아인을 통해 그리스와 로마로 전해졌습니다. 이는 정보의 전달 방식을 혁신적으로 변화시켰고, 현재 서구의 로마식 언어 체계의 기초가 되었습니다. 상형문자에서 표음문자로의 이행은 인간이 사물을 설명하는 방식을 물리적 외관에서 추상적인 개념으로 진화시켰습니다.

2. 역사 속의 데이터 검증

중국의 역사가 사마천은 약 53만 자로 중국의 역사를 기록했습니다. 이와 비슷하게 중동의 유대인도 구약 성경을 통해 조상들의 역사를 기록했습니다. 필사 과정에서 발생할 수 있는 오류를 줄이기 위해 유대인들은 체크코드(check code)라는 방법을 사용했습니다. 이는 현대의 데이터 검증 방식과 유사합니다.

3. 데이터의 성격

3.1 21세기의 원자재, 데이터

21세기의 가장 중요한 원자재는 데이터입니다. 데이터는 새로운 시대의 석유로 불리며, 제품과 서비스로 탈바꿈되어 삶을 변화시키는 역할을 합니다. 데이터의 가치는 데이터를 전처리하고 통합하여 분석하는 과정에서 발생합니다.

3.2 데이터의 가공과 활용

원유와 마찬가지로 가공되지 않은 데이터는 그 자체로는 별 쓸모가 없습니다. 데이터를 가공하여 가치 있는 정보를 창출하는 과정이 중요합니다. 이를 통해 새로운 기회를 창출하고 변화에 능동적으로 대응하는 기업이 미래의 승자가 될 것입니다.

4. 빅데이터의 출현 배경

4.1 데이터 산업의 성장

데이터 산업은 데이터의 생산, 수집, 저장, 처리, 분석, 유통, 활용 등을 통해 상품을 생산하고 제공하는 산업입니다. 최근 국내 데이터 산업은 급격히 성장하고 있으며, 한국산업진흥원에 따르면 2018년 국내 데이터 산업의 시장 규모는 15조 1,525억 원으로 전년 대비 5.6% 성장했습니다.

4.2 빅데이터의 활용

빅데이터는 새로운 비즈니스 가치를 창출할 수 있습니다. 인공지능 기술은 데이터를 분석하고 활용하여 새로운 제품과 서비스를 만들 수 있도록 돕습니다. 이를 통해 산업 전반에 혁신을 일으키고 더 많은 데이터를 생성하며, 데이터 과학의 선순환 고리를 완성합니다.

4.3 빅데이터의 특징

1. 빠른 의사결정 빅데이터는 문제에 대한 즉각적인 대응을 요구하지 않습니다. 기존 데이터와 달리 빅데이터는 의사결정이 느리게 이루어집니다.
2. 프로세싱 복잡도 다양한 데이터와 복잡한 로직 처리로 인해 프로세싱의 복잡도가 매우 높습니다. 이를 해결하기 위해 분산 처리 기술이 필요합니다.
3. 방대한 데이터양 빅데이터는 기존 DBMS가 처리할 수 있는 범위를 초과하는 규모입니다.
4. 비정형 데이터 로그 데이터, 소셜미디어 데이터 등 비정형 데이터의 비중이 높습니다.
5. 유연성 빅데이터는 사전에 정의된 데이터 분석 모델이 없어 상대적으로 유연성이 높습니다.
6. 실시간 처리 어려움 빅데이터의 용량과 복잡성 때문에 실시간 처리가 어렵습니다.

4.4 빅데이터의 출현 배경 표

출현 배경내용

사용자 데이터 수요 증가	온라인, 오프라인 사용자 정보 및 소비 패턴 데이터 수요 증가로 관련 데이터의 저장 증가
미디어 콘텐츠 증가	의료(CT 촬영), 보안(CCTV) 등 다양한 분야에서 멀티미디어 콘텐츠가 생산되며 데이터 증가
SNS 사용 인구 증가	스마트폰 보급에 따른 SNS 사용 인구 확산
IoT 기기 증가	디지털 기기 간 연결이 보편화됨에 따라 이종 데이터 간의 결합 사례 증가

이처럼 데이터는 끊임없이 생성되고, 디지털 트랜스포메이션 시대를 맞아 그 중요성은 더욱 커지고 있습니다. 데이터의 효과적인 활용과 분석을 통해 기업은 혁신을 이루고, 미래의 경쟁력을 확보할 수 있을 것입니다.