[해외 기획] 빅데이터, 말처럼 너무 커지면 어떻게 해야 하나

2017-11-13 15:59:35
center
사진 = 테크리퍼블릭닷컴 캡처
[글로벌경제신문 주광민 기자]
이미 1950년대에 과학자들은 인간의 두뇌가 한번에 7가지 밖에 생각할 수 없다는 결론을 내렸다. 인간의 뇌의 능력은 그때로부터 별다른 변화가 없었다.

하지만 우리가 매일같이 접하는 데이터의 양은 그때보다 수천배는 늘어났다.

12일(현지시간) 테크리퍼블릭닷컴에 따르면 VM웨어의 돈 설리번 마케팅 매니저는 “우리는 우리가 필요로 하는 모든 데이터들을 가지고 있다. 하지만 우리가 가지지 못한 것은 가지고 있는 방대한 데이터를 제대로 분석해 합리적인 의사결정에 사용하거나 사업 기회에 활용할 수 있는 정확성과 신속성”이라고 분석했다.

마이크로소프트가 주최하는 데이터분석가들을 위한 컨퍼런스인 PASS 서밋에서 수많은 매력적인 데이터베이스 분석 자동화 툴 및 실제 이용 케이스들이 소개되었다. 하지만 이 컨퍼런스에서조차 이 데이터들을 어떻게 활용하고 어떤 방식으로 분석해 합리적인 판단 및 사업 결정이 가능할지에 대한 의미있는 토론은 역시 진행되지 못했다.

네트워크의 생산 및 관리의 관점에서 우리는 머신 러닝을 통하여 각각의 생산설비나 여타 다른 기기들이 서로 소통하고 시스템을 최적으로 관리하는 것 정도는 이룩해했다. 하지만 설비 및 기기들이 하루에 천문학적인 수의 비트들로 이루어진 소통을 하는 과정에서 정확도 및 실용성이 떨어지는 데이터들도 생성되기 마련이다.

과연 네트워크 관리자들은 이런 데이터까지 필요한 것인가?

우리가 일상적으로 볼 수 있는 RFID 칩이나 스마트 바코드는 한 상품당 최대 7,000개의 달하는 데이터들을 보관할 수 있다.

예를 들어서 당신이 옷가게에서 집어드는 스웨터에 부착된 바코드는 이 스웨터가 몇g의 원단을 사용하여 만들어졌는지 알려 줄 수 있다.

그런데 당신이 배송자의 입장이라면 당신의 주요 관심사는 이 제품이 언제 공장에서 납품되었고 인터넷으로 이 제품이 고객의 손에 얼마만큼 빠르게 전달될지이지 이 스웨터를 제작할 때 사용된 원료의 무게 따위의 정보는 전혀 필요치 않을 것이다.

바꿔 말하면 우리가 지금 직면하고 있는 문제는 네트워크든, TV 프로그램이든, 혹은 스웨터이든 각각의 상품이 우리에게 제공하는 데이터의 양은 엄청나게 늘고 있지만 각각의 데이터가 보유하고 있는 가치는 계속 줄어들고 있다는 것이다.

생성되는 데이터의 가치를 훼손하는 것은 크게 두가지이다.

하나는 사업 계획과는 무관하게 무작위로 생성되는 데이터이며 또 하나는 데이터의 생성지나 생성과정이 너무 복잡하고 많은 단계를 거쳐 사용자가 도저히 이해할 수 없는 데이터이다.

이 문제를 타개할 수 있는 방법으로 첫째 예컨대 생산비용 절감처럼 우선 항상 명료하게 정의된 사업 계획 및 비즈니스 케이스를 확립하는 것이다.

만약 당신이 공장을 운영하고 있다면 각각의 데이터들의 생성법이나 사용처를 명확하게 구분해 당신의 직원들이 매일 생성되는 무수한 데이터들을 어떻게 취급할지 쉽게 알수 있어야 한다.

둘째 매주 생성되는 데이터를 분석하여 당신의 공급망 혹은 네트워크가 원래 계획대로 움직이는지 수시로 체크해야 한다.

셋째 절대로 기술자나 IT 관련 직원들에게만 데이터의 취급을 맡기지 말아야 한다. 그들은 데이터의 분류 및 분석에는 유능할지 모르나 생성된 데이터를 당신의 사업에 어떤 방식으로 활용하고 적용하는지까지는 알지 못한다.

만약 당신의 사업장에서 생성되는 데이터들이 너무 많고 복잡할 경우에는 어떻게 해야할까

우선 생성되는 데이터를 어떻게 분류하고 그것을 분석, 활용하기 전에 최종 사용자가 필요한 것이 무엇인지 생각해 볼 필요가 있다.

해당 데이터의 최종 사용자가 추운 곳이나 비가 자주 오는 곳에서 일한다면 대게 모바일 기기를 이용할텐데 해당 데이터의 접근하는 법이 너무 많은 손조작을 요한다면 낮은 기온이나 물 때문에 터치스크린이 제대로 동작하지 않을 수도 있다.

또 항상 당신의 사업 목표에 집중해야 한다. 지금 당신이 집중해야할 데이터는 한 도시나 국가에서 발생하는 독감 발병자들에 관한 것이라면 그것에만 집중해야 된다. 내일은 실업률을 포함한 데이터를 추가해야 할 수도 있지만 그것은 내일의 일이지 오늘의 일은 아니다.

주광민 기자 news@getnews.co.kr

<저작권자 © 글로벌경제신문, 무단 전재 및 재배포 금지>

이 기사를 공유하세요.