팔란티어(Palantir): 그냥 빅데이터 기업이 아닌 팔란티어, 온톨로지 쉽게 이해하기(1)

 

 

피터 틸 (Peter Thiel) , 제로투원

 
 
 

세계에서 4번째로 비싼 스타트업. 팔란티어

 
팔란티어(Palantir)는 데이터 분석 업계에서 주목받는 혁신적인 기업으로, 나스닥 상장하기 전에는 세계에서 4번째로 비싼 스타트업이라고 불리우기도 했습니다. 팔란티어는 2003년 페이팔(PayPal) 공동창업자인 피터 틸(Peter Thiel)이 설립한 기업으로 9·11 테러 이후 테러리스트의 공격을 막기 위해 페이팔에서 사용되었던 사기 방지 프로그램을 응용해서 서비스를 시작한 것으로 알려져 있습니다. 그래서 팔란티어의 최초 투자자는 CIA의 벤처캐피털 조직인 인큐텔(In–Q-Tel)이기도 합니다. 이후 빈 라덴을 추적하는 과정에 관여한 기업이 팔란티어로 유세를 얻게 되는 배경이 되기도 합니다. 결국 2020년 뉴욕 증권거래소(NYSE)에 상장까지 하게 됩니다. 
 
팔란티어(Palantir)라는 이름은 J.R.R. 톨킨의 원작  <반지의 제왕>에서 나오는데요. 영화 속에서 간달프의 구슬로 서로 다른 공간에 위치한 사람들끼리 먼 거리를 넘어서 소통할 수 있게 하는 마법의 구슬을 뜻합니다. 영문 그대로 해석을 하면 Palan은 멀리라는 의미와 Tir는 지켜보다는 의미의 결합어라고 볼 수 있기도 합니다.  빅데이터를 통해 복잡한 문제를 해결하고 연결한다는 팔란티어의 기업 철학을 감안하면, 잘 만든 기업명이지 않을까 싶습니다. 

 
 
 

반지의 제왕, 마법의 구슬, 팔란티어(Palantir)

 
 
 
 

What does the data mean?

 
 
 

팔란티어와 다른 빅데이터 회사의 차이점: 온톨로지(Ontology) 기반 데이터 처리

기존의 빅데이터 회사와 팔란티어의 차이를 보자면, 온톨로지 기반의 데이터 처리를 한다는 점이라고 할 수 있는데요. 쉽게 보면, 수많은 데이터들은 존재하지만, 그 데이터들이 가진 의미를 부여하고, 데이터 간의 관계를 의미 있는 구성한다는 점이라고 할 것입니다. 이를 온톨로지(Ontology)라고 합니다.  사전적으로 찾아보면, 존재하는 사물과 사물 사이의 관계 및 여러 개념을 컴퓨터가 처리할 수 있는 형태로 표현하는 것을 의미로 정의하고 있습니다. 팔란티어에서 말하는 온톨로지 역시 같은 개념입니다. 즉 데이터 간의 관계를 정의하고, 그 관계를 기반으로 데이터의 의미를 이해하고 해석할 수 있도록 돕도록 설계되었으며, 팔란티어의 온톨로지 시스템은 다양한 데이터 소스에서 수집된 정보를 연결하고, 일관된 방식으로 데이터를 통합하여 사용자에게 유용한 통찰을 제공한다고 밝히고 있습니다. 
 
이러한 데이터의 의미론적 기반의 분석 방법은 인문학적 기반에서 보면, 그렇게 혁신이라고 평가하기 어려운 부분도 있을 것입니다. 기호학이나 언어학을 배우다보면, 프랑스의 언어학자 소쉬르(F. Saussure)가 정의하는 기표와 기의에 대한 구분으로 쉽게 접할 수 있는 개념입니다. 언어가 하나의 기호체계이며, 기호는 기표(記標)와 기의(記意)의 결합이라고 설명하는데요. 팔란티어의 온톨로지 기반의 데이터 처리 역시, 기표(signifiant)가 아닌 기의(signifie)까지 접근해야 한다는 측면을 중요시 생각하면서 접근한 데이터 처리 방법이라고 볼 수 있을 것입니다. 그리고 빅데이터를 연구하는 부분들을 하다보면 결국 빅데이터란 데이터가 가진 의미 내지 상관관계에 대한 가설을 만들어내고 인과관계를 검증하는 끊임없는 과정이라고 쉽게 생각할 수 있는 부분이기도 합니다. 
 
그래서 팔란티어의 접근 방식을 혁신이라고까지 찬사를 붙이기 어려운 이유다는 평가도 있지만, 팔란티어의 혁신은 온톨로지 개념을 대규모 데이터 분석에 적용하여, 데이터 간의 의미적 관계를 자동으로 정의하고 연결하는 능력에 있지 않을까 싶습니다. 소쉬르의 언어학처럼 관계와 의미를 강조하지만, 팔란티어는 이를 기술적으로 구현하여 방대한 데이터를 실시간으로 처리하고, 기업이나 정부가 복잡한 문제를 해결하는 데 사용할 수 있도록 한 것이 차별화된 혁신이라고 할 수 있을 것입니다. 그리고 다양한 출처의 데이터를 하나의 구조화된 플랫폼에서 통합 분석할 수 있게 만든 점 역시도 높게 평가를 받아야하지 않을까 싶네요. 
 
 
 

팔란티어 CEO, 알렉스 카프(Alex Karp)

 
 
 
팔란티어의 공동창업자인 알렉스 카프(Alex Karp)는 피터 틸(Peter Thiel)과 스탠포드에서 철학을 전공하면서 인연을 맺은 것으로 알려져 있는데요. 알렉스 카프가 철학을 전공하고 데이터를 더 의미있게 분석하고 활용하는 방식을 개발하는데 중요한 역할을 한 것으로 보입니다. 피터 틸은 스탠포드 당시 독일 프랑크푸루트 학파에 영향을 받은 카프의 철학적 사고에 흥미를 느끼고, 데이터 분석과 정보 활용에 대한 비전을 공유하면서 공동 창업을 하게 되었다고 알려져 있습니다. 이는 팔란티어를 설명할 때 온톨로지에 대한 접근이 인문학적인 토양 위에 빅데이터라는 기술적인 접근을 시도했다는 점에서 기존 빅테크 창업자와는 다소 다른 면이 있기도 하네요. 

 
 

An Ontology is
a categorization of the world

 

온톨로지(Ontology) 기반 데이터 처리는 어떻게 하는것일까?

앞에서 이야기 한 것처럼 온톨로지는 데이터의 의미를 이해하고, 그 의미를 바탕으로 데이터를 연결하는 방법이라고 할 수 있는데요. 설명처럼 이해가 쉽지 않은 부분이 있습니다. 그래서 팔란티어의 온톨로지를 이해하기 위해서 쉬운 예를 좀 소개해보겠습니다. 수많은 데이터를 카테고리화하는 과정에서 팔란티어의 소프트웨어는 누가, 무엇을, 언제, 어디서와 같은 질문에 맞춰 데이터를 자동으로 연결하고 카테고리화하게 되는 과정을 거칩니다. 만약 범죄 분석에 팔란티어가 적용되게 될 경우를 예를 생각해보면, 경찰은 여러 지역에서 발생한 도난 사건을 조사하고 있습니다. 각각의 사건에 대해 다양한 데이터가 수집되었죠. 이 데이터는 다음과 같다고 가정해 보겠습니다. 
 
Case) 범죄수사 구조화 단계
 
사건 A: "서울", "도난 발생", "용의자 1", "차량 A"
사건 B: "부산", "도난 발생", "용의자 2", "차량 B"
사건 C: "대전", "도난 발생", "용의자 1", "차량 B"
 
수많은 범죄수사 관련 데이터 중 팔란티어 온톨로지 모델은 위와 같은 데이터 구조화를 하게 됩니다. 장소(Where), 사건(What), 용의자(Who), 사건 관련 차량(What)로 구조화를 하게 되면, 사건A와 사건C는 용의자1이 포함되어 있다는 것을 파악하고 서로를 연결하게 됩니다. 그리고 차량과 용의자간의 관계를 파악할 수 있는데요. 차량B가 공통적으로 등장하는 것을 분석해 내어, 이를 통해 용의자간의 연결 고리를 확인할 수 있게 됩니다. 이러한 관계 분석 과정을 통해 경찰은 이러한 분석을 통해 용의자1이 차량B와 깊은 관련이 있고, 여러 지역에서 동일한 방식의 도난 사건이 발생했다는 패턴을 빠르게 발견하게 됩니다. 또한 용의자 1는 차량A, 차량B와도 연결성을 가지고 있다는 점에서 용의자1과 용의자2가 하나의 범죄 조직으로 연결될 수 있다는 추론 역시도 가능하게 됩니다. 팔란티어를 통해 상관관계의 발견을 하고, 쉽게 수사를 통해 인과관계까지 찾아낼 수 있다는 점에서 팔란티어가 어떻게 활용될 수 있을지를 살펴본 예시입니다. 위에 예시는 꽤나 단순하게 예를 들어본 부분이지만, 실제로 벌어지는 수많은 범죄 사건을 데이터화 시키고, 데이터와 데이터 간에 관계성을 연결해 간다면, 범죄 수사에서도 팔란티어 모델은 효과적으로 사용되지 않을까 싶네요. 
 
 
 

더 나은 의사결정을 위한 모델

최종적으로 팔란티어의 목표는 의사결정을 목표로 하고 있습니다. 합리적인 의사결정 문제가 사실은 얼마나 어렵고, 특히 비즈니스에서 기업의 존패가 달릴 수도 있는 중요함에서 기인하기도 할 것입니다. 그래서 팔란티어는 최종적으는 의사결정을 빅데이터를 통해 잘못된 결정을 줄일 수 있도록 돕고자 하는 목표를 두고 있습니다. 단순히 데이터를 분석하는 것만으로는 실질적인 가치를 창출할 수 없다고 생각한 팔란티어는 그들의 빅데이터 분석 모델을 통해 중요한 통찰력을 도출하고, 이를 바탕으로 기업이나 정부가 더 나은 결정을 내릴 수 있도록 지원하는 것을 핵심 목표로 삼게 됩니다. 특히 복잡한 문제를 해결하고 전략적인 결정을 내리는데 있어서, 데이터 기반의 명확한 지침을 제공 받게 된다면, 기업의 성장 역시도 도모할 수 있다는 생각에서 기인하고 있는 것이라 할 것 같네요. 
 
 
 

Not a Data Company

팔란티어 AIP 컨퍼런스

 
 
 
 

팔란티어를 이용하고 있는 기업들

현재 팔란티어들은 점차 확대가 되고 있는데요. 현재 알려진 기업으로는 미국 정부 기관 CIA, FBI, 국방부, 국토안전부가 있으며, 영국 국방부, 프랑스 정보기관이 있다고 합니다. 이외에 JP모건, 크레디트 스위스, 에어버스, 영국 국민건강서비스 NHS가 있다고 하는데요. 2024년 3월 팔란티어 AIP 컨퍼런스에서는 약 7개 분야의 기업들이 팔란티어를 어떻게 활용하고 어떤 퍼포먼스를 얻고 있는지 사례 발표가 있었습니다. 
 
 
1) 건설회사: 레나(Lennar) 
건설 준비 과정에서 수많은 업체들로부터 수천개 항목의 입찰가를 접수받고, 비교하는데 수많은 시간을 소요되던 문제를 입찰가 비교 및 최적가 도출을 자동화함으로서 1만 7천개 현장에서 250만 달러에서 800만 달러까지의 비용 절감 효과를 얻었다고 합니다. 그리고 6만 2천개의 주택건설 목표를 7만 3천개로 초과 달성하는 성과까지는 얻다고 하네요.
 
2) 주택용품업체: 로우스(Lowe's)
콜센터에서 1,700명의 상담원이 수동적인 방식으로 업무를 처리하고 있어 생산성이 낮고 고객 서비스 품질이 저하되었고 관리자는 업무 현황을 파악하고 통제하는 데 어려움이 있다고 합니다. 이에 로우스는 팔란티어를 도입함으서 콜센터 업무가 기한 내에 완료되지 못했던 부분을 97%까지 감소시키는 성과를 얻었다고 합니다. 
 
3) 민간 항공 모빌리티: 아처 에비에이션(Archer Aviation)
아처 에비에이션은 매우 적극적으로 팔란티어를 도입한 기업입니다. 도심항공모빌리티 스타트업인, 아처는 항공기 제작을 위한 복잡한 공급망 문제와 생산 공정의 효율화부터, UAM 도입을 위한 교통체증에 대한 진단 및 도심 내 이착륙 인프라 구축과 항로 최적화 업무까지 팔란티어를 통해 문제를 해결해가고 있다고 합니다. 
 
4) 식료품 제조회사: 제너럴 밀스(General Mills)
제너럴 밀스는 매년 120만개의 식료품을 생산하고, 4000개의 공급망을 가지고 있어서 해마다 5천만건의 의사결정이 필요했다고 하는데요. 팔란티어를 도입함으로서 이러한 비효율적인 문제를 해결하기 위해 지능형 실행 시스템을 구축하고, 물류 및 원자재 관리 자동화를 통해 연간 180억원 비용 절감을 달성했다고 합니다. 
 
5) 파나소닉 에너지(Panasonic Energy)
배터리 제조업체인 파나소닉은 현장의 복잡한 설비로 인해 오작동 등 기계적 오류가 발생할 경우, 원인을 파악하기 힘든 문제를 가지고 있었습니다. 또한 숙련된 기술자에 비해 신입 기술자들에게 현장 투입을 위한 교육 기간도 3~6개월까지 필요로 했다고 하는데요. 이러한 문제를 해결하기 위해 팔란티어는 기계에 빨간 마커를 설치해 오작동을 알리고, 숙련된 기술자가 기계를 고치는 것을 팔란티어 시스템에 녹음 방법을 통해 입력하고, 이를 데이터화 시킴으로서 신입 기술자들의 학습 기간 역시 몇주일로 단축하는 효과를 얻게 되었다고 합니다. 
 
6) 사모펀드 운용사: 캐즈 인베스트먼츠(CAZ Investment)
투자 유치를 위한 잠재 고객을 찾아내는데, 많은 시간을 보냈던 캐즈 인베스트먼츠는 팔란티어를 도입해 잠재 고객에서 실제 고객으로 전환시키는 과정을 85% 자동화로 구축하고, 잠재 고객이 실제 고객으로 전환되는 요인 등을 시스템에 입력해 나아감으로서, 실제 고객이 되어가는 요인들을 정교화시켜나아가고 있다고 발표했습니다. 
 
7) 부품제조회사: 맥더밋 엔톤(MacDermid Enthone)
미국 기업 맥더밋과 독일 기업 엔톤이 합병과 합병 이후 다양한 기업 산하 자원(ERP, 원자재, 제고 등) 들이 통합되는 못하는 상황 발생한 상황이라고 합니다. 이에 팔란티어를 통해 흩어져 있던 기업의 데이터를 정리하고 통합하면서 데이터 관리의 효율화 시켰습니다. 그리고 이러한 데이터 통합을 통해 향후 인수 합병시에도 데이터 통합이 가능하도록 준비를 했다고 합니다. 
 
컨퍼런스 사례들을 보면, 실제로 팔란티어가 다양한 산업에서 활용될 수 있다는 가능성을 어필하고자 했던 것으로 보여집니다. 컨퍼런스에 소개된 기업들 이외에도 많은 기업들이 팔란티어를 사용하고 있기도 한데요. 물론 국내기업들도 도입을 검토하고 있기도 하구요. 여전히 좀 궁금한 점이라면서, 팔란티어 시스템이 어떻게 작동하고, 구현되느냐에 대한 부분이긴 한데요. 이는 실제 팔란티어를 구축하고 현장에서 적용해봐야 이해가 되지 않을까 생각이 들긴 하네요. 아무튼 위에 컨퍼런스에 발표된 자료들을 간략하게 살펴보면서, 기존의 국방쪽에만 적용되지 않을까 했던 팔란티어의 적용 범위는 매우 광범위하게 적용될 것으로 예상이 됩니다. 구체적으로 어떻게 팔란티어를 통해 데이터 구축하고 관리하며, 이를 효율적으로 활용하는지는 향후 발표 자료들이 있으면 좀 더 살펴보도록 하겠습니다. 

 
 
 

인문학의 기초위에
기술을 접목시키는 팔란티어

 
 
 
 
팔란티어는 단순한 데이터 분석 회사를 넘어서, 데이터의 의미적 관계를 바탕으로 더 깊은 인사이트를 제공하는 플랫폼으로 발전하면서 성장해 나아갈 것으로 기대가 되는 기업 중 하나입니다. 다만, 팔란티어가 모든 정답을 찾아주는 도구가 아니라, 정답을 찾아가는 과정을 도와주는 도구로 인지해야 할 부분이긴 할 것 같습니다. 사실 처음에는 팔란티어라는 기업이 빅데이터 회사정도만 알고 있었고, 미국 정부와 관련된 국방 쪽에 활용되는 정도로 알고 있었지만, 고객사들이 점차적으로 증가를 하고 있고, 수익모델을 만들어가고 있다는 점에서 보면 꽤나 매력적인 기업 같다는 생각이 드네요.  란티어에 대해서 가급적 쉽게 이해를 할 수 있도록 소개를 하긴 했습니다. 하지만 여전히 쉽게 이해되지 않은 부분이 있기도 합니다. 그래서 앞으로 팔란티어에 대해서 공부를 계속 하면서,  좀 더 소개를 해보도록 하겠습니다. 
 
개인적으로 빅데이터 공부를 하면서, 데이터들 속에서 가치를 찾아내는 일들이 매우 중요하겠다는 생각을 자주 하곤 했습니다. 그래서 데이터 사이언스가 아니라, 데이터 아티스트가 필요한 시대가 오겠다는 생각을 갖기도 했는데요. 우리가 매일 직면하고 있는 수많은 데이터들 속에서 어떤 의미를 찾아내고, 수많은 데이터들간의 연관성에 대한 가설을 어떻게 세워가는냐에 대한 문제가 중요하다고 생각하는 입장에서 본다면, 온톨로지 기반의 데이터 처리 방식은 매우 이상적인 솔루션이 되지 않을까 싶습니다. 빅데이터라고 하면, 흔히들 통계학, 수학이라는 기반 위에서 설계되는 경우가 많은데요. 팔란티어는 인문학과 기술(Tech)을 접목시키고, 비즈니스 모델로 만들어낸 부분에서 특이하면서도 매력적인 기업이지 않을까 싶습니다.