한빛출판네트워크

당신이 비즈니스 리더이든, 실무자이든, 당신들이 살펴보아야 할 핵심 데이터 트렌드가 이곳에 있다.

데이터 관련 문화, 조직과 교육의 증가 

최근 O’Reilly의 설문에 의하면, 머신 러닝을 적용하는데 있어 가장 발목을 잡는 것이 바로 기술력의 차이이다. 데이터 처리 기술(“21세기에 가장 섹시한 직업”)의 수요는 아직 사라지지 않았다. LinkedIn은 최근 US 내에서 데이터 사이언티스트의 수요가 엄청나게 많다는 것을 밝혀했다. 그리고 우리의 설문에 의하면, 데이터 사이언티스트와 데이터 엔지니어의 수요는 US 내 뿐만 아니라 세계적으로 늘어나고 있다.

오늘날 기술의 평균 유효 기간이 약 5년 보다 적고, 피고용인을 교체하는데는 대략 6~9개월분 월급 만큼의 비용이 들기 때문에, 기술 리더들은 데이터 프로젝트들(머신 러닝 구현과 같은)을 유지하기 위해서 피고용인들을 교체하지 않고 유지하면서 스킬을 향상시키도록 압박을 받게 된다. 또한 우리는 이 새로운 ML 기술들이 그들의 영업활동이나 제품에 어떤 영향을 미치는지 이해가 필요한 경영진과 의사결정권자들을 위한 교육 프로그램도 늘어나고 있는 것도 확인해 볼 수 있다.

기술 격차를 줄이기 위한 투자 이외에도, 기능을 중앙집중화하고 베스트 프랙티스를 공유하기 위한 분석 센터를 만드는 등 데이터 사이언스 프로젝트를 위한 프로세스를 만들기 시작했다. 어떤 회사는 유즈 케이스와 ML을 적용할 수 있는 기회들을 정리한 포트폴리오를 적극적으로 관리하기도 한다.

데이터 인프라를 위한 클라우드

클라우드 플랫폼은 데이터 인프라에 투자할 필요가 있는 회사들을 지속적으로 끌어들일 것이다: 클라우드 플랫폼은 기반 기술이나 관리 서비스가 지속적으로 향상될 뿐만 아니라, 계속해서 늘어나는 소프트웨어 제공사나 유명한 오픈 소스 데이터 프로젝트들이 클라우드에서 그들이 원하는 것을 쉽게 가능하도록 만들고 있다. 최근 O’Reilly의 설문에 의하면, 응답자의 85%가 자신의 데이터 인프라의 일부가 클라우드를 사용하고 있다고 했으며, 또 다른 IT 경영진의 설문에 의하면, 많은 사람들이 SaaS나 클라우드 툴에 투자할 계획이라고 한다. 데이터 엔지니어들과 데이터 사이언티스트들은 serverless와 같은 새로운 클라우드 기술을 사용하기 시작했다.

(새롭게 등장하는) 데이터 기술에 끊임없는 투자

대부분의 회사들은, 머신 러닝(ML)을 적용하는 과정에서 좀 더 단순한 분석 어플리케이션을 필요로 한다. 이것은 매우 좋은 소식이다. 왜냐하면 ML은 데이터를 필요로 하고, ML에 앞서 필요한 이러한 분석 어플리케이션들은 데이터 인프라가 잘 구성되어 있어야 하기 때문이다. ML에 대한 관심의 증가는, 회사가 ML을 더 많이 활용하기 위해 필요한 데이터 기반 기술에 꾸준히 투자하는 원동력이 될 것이다. 여기에는 데이터 삽입이나, 통합, 저장, 그리고 데이터 처리와 준비, 깔끔하게 만드는 작업 등에 필요한 것들을 모두 포함한다.

안전하고 개인정보를 보호하는 분석 도구들

회사들은 꾸준히 데이터 보안과 개인정보와 관련된 도구에 투자할 것이다, 하지만 우리는 개인정보를 보호하는 분석 도구에 대한 관심이 증가하는 것을 확인할 수 있다. - 연구자들과 스타트업들이 이미 활발하게 참여하고 있는 분야다. 회사들은 머신 러닝을 제품과 서비스에 사용함으로써 동반되는 보안, 개인정보, 성향, 안전, 그리고 투명성이 부족해지는 것에 대한 위험을 인지하고 관리하기 시작할 것이다.

기업에서 머신러닝 유지하기

처음 나타나는 모습들은, 많은 회사들이 그들의 초기 머신 러닝 프로젝트들을 (그리고 투자들을) 그들의 가장 중요한 분석 프로젝트들을 개선하는 유즈 케이스에 집중한다는 것이다. 예를 들어, 금융 서비스 회사들은 위기 관리에 ML을 사용하며, 통신 회사들은 AI를 서비스 운영에 적용하고, 자동차 회사들은 그들의 초기 ML 구현을 제조 분야에 집중했다. 이것은 데이터 사이언스 플랫폼을 포함하여, 데이터 계보, 메타데이터 관리와 분석, 데이터 관리, 그리고 모델 라이프 사이클 관리와 같은 머신 러닝과 과련된 툴들이 증가하는 것으로도 확인할 수 있다.

급증하는 IoT 기술들

몇 년 전, 대부분의 사물인터넷(IoT)은 스마트 시티와 스마트 정부를 예로 들었다. 하지만 클라우드 플랫폼, 값 싼 센서들, 그리고 머신 러닝이 등장하면서 IoT가 다시 산업으로 돌아오려고 한다. 우리는 여전히 지방 정부나 공공 분야에서의 응용에 대해 듣게 되겠지만, 폐쇄형 시스템 (공장, 건물이나 집 등) 이나 기업, 그리고 소비자 관련 응용에 대한 (엣지 컴퓨팅 같은) 흥미로운 유즈 케이스들도 많이 포함되어 있다.

데이터 사이언스, 그리고 데이터의 자동화

머신 러닝과 분석의 사용이 더 확대되면서, 데이터 사이언티스트와 데이터 엔지니어들이 규모를 더 키우고, 그로 인해서 더 많은 문제를 해결하고 더 많은 시스템을 관리할 수 있는 툴이 필요하다. 이것은 결국 데이터 엔지니어링과 오퍼레이션과 같이 데이터 준비, 피처 엔지니어링, 모델 선택, 하이퍼파라미터 튜닝 등 데이터 사이언스의 많은 단계들을 자동화하는 툴의 필요로 귀결된다. 그리고 데이터 사이언스, 소프트웨어 개발, 그리고 IT 운영 태스크의 일부를 자동화하기 위한 머신 러닝 응용 사례가 존재한다.

*****

원문 : 7 data trends on our radar

번역 : 한승균