한빛출판네트워크

기계는 윤리적인 결정을 내려야 하며, 이 결정에 대한 책임은 우리에게 있습니다.

우리는 대출을 승인하거나, 주식을 거래하거나, 뉴스를 포워딩하고, 복역기간을 정하는 것과 같은 윤리적 결정을 내리게 만드는 수많은 시스템으로 둘러쌓여 있습니다. 이 시스템들은 누군가를 위해, 또는 누군가에 반하여 행해지지만 항상 우리의 동의나 심지어 지식 없이 행해지기도 합니다. 최근에 저는 인공지능의 윤리가 그 자체로 자동화 되어야 한다고 주장한 바 있습니다. 그러나 이 주장은 한편으는 윤리가 이미 자동화되었다는 사실이 간과되었습니다. 이는 데이터 기반의 권장이나 추천들은 어떠한 윤리적 스탠스와도 무관하게 만들어졌다는 뜻입니다. 그러나 이는 개선되어야 합니다. 그리고 개선할 수 있는 유일한 방법은 시스템에 윤리를 집어 넣는 것입니다. 이러한 논의에 논란이 있지만, 저는 다른 대안이 없다고 생각합니다. 

데이터 윤리의 문제는 규모의 문제이기도 합니다. 규모의 논리는 윤리에 익숙하지 않으며, 근본적인 변화를 가져옵니다. 이는 매우 중요하지만, 제가 이곳에서 다룰 문제는 아닙니다. 결정해야 할 사항이 수없이 많다는 점은, 사람들이 모든 결정을 내릴 것을 기대할 수 없다는 것을 뜻합니다. 데이터가 한 곳에서 다른 곳으로, 한 맥락에서 다른 맥락으로, 한 의도에서 다른 의도로 옮겨갈 때마다 어떠한 윤리적인 결정을 요구하는 조치들도 수반됩니다.

Gmail의 스팸 처리 방식은 윤리적인 결정을 책임감있게 수행하는 프로그램의 좋은 예입니다. 우리는 모두 스팸 차단에 익숙하며, 스팸 처리가 없다면 제대로 이메일을 사용할 수 없기 때문에 스팸 처리에 이의를 제기하지 않습니다. 그러나 달리 생각해보면 스팸을 차단하기 위해서 윤리적인 결정이 자동으로 내려져야 합니다. 메시지를 스팸으로 결정한다는 것은 어떤 사람의 메세지가 전달될지, 되지 않을지, 발화자를 선택적으로 결정하는 것을 의미하기 때문입니다. 

우리는 이 스팸 필터링을 통해 많은 것을 배울 수 있습니다. 우선 스팸 필터링은 규모가 큰 작업에서 작동합니다. Google 및 기타 대규모 이메일 제공 업체는 대량의 이메일을 볼 수 있기 때문에 스팸 필터링 작업을 효과적으로 수행 할 수 있습니다(이메일의 중앙 집중화가 좋은 지 나쁜 지 여부는 다른 질문입니다). 서버가 인바운드 이메일에서 특정 패턴과 일치하는 수신 메시지를 볼 때 해당 메시지는 스팸으로 표시되고 수신자의 스팸 폴더로 분류됩니다. 스팸 탐지는 우리가 보이지 않는 곳에서 발생합니다. 하지만 이 결정이 최종 단계는 아닙니다. 스팸 폴더를 확인하고 실수로 스팸 한 메시지를 검색하고 잘못 분류된 메시지를 스팸이 아닌 것으로 표시 할 수 있습니다.

신용카드 사기 탐지는 데이터가 윤리적 결정하는 또 다른 시스템입니다. 하지만 불행히도 신용카드 사기 탐지는 스팸 탐지만큼 잘 동작하지는 않습니다. 오래 전 오클라호마에 한 모텔에서 카드가 부정사용 된 것 같다며 전화하여 지급을 중지했습니다. 하지만 몇 년 자주가던 식당에서 신용카드가 반복해서 거부되었을 때 신용카드 회사는 이 일을 시스템적으로 해결이 불가능하다고 말했습니다(다른 신용카드는 효과가 있었습니다). 다른 사람이 오클라호마에 머무르는 데 대해 비용을 지불하지 않아도 되어 기쁘지만 실수를 할 때 해결할 수 없는 윤리적 원칙의 구현은 심각한 결함이 있습니다.

달리 말하며 기계는 이미 윤리적인 결정을 내리고 있으며 종종 잘못된 판단을 합니다. 스팸 탐지도 예외가 아닙니다.  그리고 이러한 결정들은 우리의 삶에 점점 더 강력한 영향을 미치고 있습니다. 기계는 페이스북에서 어떤 게시글을 볼지, 유튜브에서 어떤 비디오를 볼지, 아마존에서 어떤 제품을 사야하는지 결정해 줍니다. 왜 구글 뉴스는 갑자기 코넬 대학 학생들의 햄버거에 대한 권리 거부 음모론에 관한 대안 우파 기사를 표시하기 시작했을까요? 왠지 알 것 같네요. 제가 코넬대학 졸업생이기 때문에 구글 뉴스는 제가 코넬대학 관련 뉴스에 관심이 있을거라 "생각한" 것이지요. 그러나 이는 추측일 뿐입니다. 제가 구글 뉴스가 보여주기로 결정한 과정에 통제할 수 있는 부분은 거의 없습니다. 구글이나 페이스북이 햄버거 음모론을 보여주는 마당에 실제 뉴스라는 것이 존재하긴 하는걸까요? 가짜 음모론이 같은 지면을 장식하는 마당에 진정한 뉴스가 무슨 의미가 있을까요? 이와 같이 아마존이 추천하지 않는 상품이 존재하긴 하는 걸까요? 아니면 유튜브가 선택해주지 않은 음악이 존재하긴 하는 걸까요?

이러한 데이터 흐름은 양방향으로 진행됩니다. 기계는 게시물을 보는 사람, 구매 데이터를 받는 사람, 누가 어떤 사이트를 방문하는 지 아는 사람을 결정합니다. 그러나 우리는 이러한 결정들에 대해, 그리고 이 결정이 우리에 삶에 어떤 영향을 끼치는지에 대해 거의 알지 못합니다. 

그러나 이 주장이 데이터의 흐름을 막는 주장이라고 받아들여서는 안됩니다. 데이터는 흐르고 이 흐름에 의해 더 가치있게 됩니다. 그러나 헬렌 니젠바움(Helen Nissenbaum)이 그녀의 책 맥락안의 사생활(Privacy in Context)에서도 주장했듯, 이러한 흐름은 맥락의 변화를 가져오고, 데이터가 맥락을 변화시킬 때, 이러한 이슈들은 재빠르게 큰 문제로 돌변합니다. 저는 메디컬 이미지들이 방사선사들이나 AI 시스템을 학습시키기 위한 연구 목적으로 전송되는 것들에 불쾌감이 없습니다. 하지만 이러한 이미지들이 보험회사들에게 전달되어 기존 병력의 증거로서 사용되거나, 마케팅 그룹으로 전달되어 그들이 가짜 진단을 보내오는 것은 전혀 괜찮지 않습니다. 저는 표현의 자유를 깊게 신뢰하고 있습니다. 때문에 저는 코넬대학 학생식당에 대한 음모론이 나오는 것에 대해서도 큰 문제가 없다고 생각합니다. 그러나 그러한 음모론들은 음모론자들의 맥락 안에서만 존재하길 바랍니다. 이 음모론들은 나의 시간과 나의 주의를 끌지 않아야 합니다.

또한 기계가 사람의 방식으로 윤리적인 결정을 내려야 한다고 주장하는 것도 아닙니다. 궁극적으로 우리는 우리가 만든 기계가 내란 결정에 대한 책임을 져야하기 때문입니다. 기계는 지시가 구체적인 규칙이던, 신경망을 통해 학습된 계산이던 관계 없이 오직 지시만을 따릅니다. 우리는 "기계가 했다" 라는 말 하나로 그 책임을 회피할 수 없습니다. 아무리 우리가 우리의 능력을 극대화 시키는 도구를 앞새운다고 할지라도, 우리, 사람만이 유일한 윤리적 행위자입니다. 

윤리적 의사 결정을 자동화하려면 디자인 원칙부터 시작해야 합니다. 스팸 감지는 매우 좋은 시작점입니다. 구글 Gmail의 스팸 감지 기능은 완전한 기능 수행이 아니라, 사용자를 도와주는 기능을 합니다. 사용자가 보지 않는 곳에서 수행되도록 설계 되었으며, 사용자가 사용하는 과정에 보이지 않습니다. 이는 매우 간단하지만 중요한 내용입니다. 사용자가 이러한 결정에 관여해야 한다고 생각하는 것은 쉽지만, 이러한 생각은 금방 그 목적성을 상실합니다. 결정해야 할 것은 너무나도 많으며, 매번 이메일이 스팸인지 아닌지 승인을 해주는 일은 웹사이트를 방문할 때마다 쿠키 허용 공지를 누르는 것보다 귀찮은 일이 될 것입니다. 그러나 사용자의 사용 과정에서 벗어나 있다는 것은 우리의 책임의 반한다는 뜻이기도 합니다. 애매하고, 불확실한 상황에서는 사용자의 주의를 끌어야 합니다. Gmail은 스팸인지 아닌 지 결정할 수 없을 때 사용자에게 경고메세지와 함께 메일을 전달합니다.

스팸 필터링에서 도출할 수 있는 두번째 원칙은 결정은 번복될 수 있다는 점입니다. 스팸으로 태그 된 이메일은 30일 동안 삭제되지 않습니다. 이 기간동안 사용자는 언제든지 스팸 폴더에 들어가 "스팸이 아닙니다" 라고 지정할 수 있습니다. 애나 로렌 호프만은 모든 결정을 올바르게 내리는 것 보다, 나쁜 결정을 수정할 수 있는 수단이 있는 것이 더 중요하다고 말합니다. 이 수단들은 누구에게나 접근가능하며, 이 누군가는 사람이여야 합니다. 인간이 종종 편파적이고 불공정할지라도요. 기계가 정한 결정들은 무시되고 재정의될 수 있어야 합니다. 스팸폴더에서 메세지를 꺼내면 기계의 결정이 무시되고 재정의 되는 것 처럼 말이죠. 

스팸 감지 모델이 시스템적으로 잘못되었을 때, 사용자는 이를 바로잡을 수 있어야 합니다. 메세지가 "스팸"인지 "스팸이 아닌지"를 표시하는 것은 쉽습니다. 이러한 종류의 수정은 좀 더 복잡한 응용 프로그램에는 적합하지 않을 수도 있습니다. 예를 들 부동산 중개업자가 종교나 인종에 기반하여 집 추천 모델을 수정하기를 원치 않을 것입니다. 이와 같은 행동들이 적절한지는 논의해 볼 수 있습니다. 효과적인 수정방법은 어려울 수 있다는 것을 유념하세요. 이 곳에서는 가장 간단한 경우들만을 다루었습니다.

윤리적 문제는 회사가 자신들의 이익을 사용자의 이익보다 우선할 때 발생합니다. 우리 곁에 항상 존재하기도 합니다. "추천모델"이죠. 추천 모델을 통해 아마존은 자체 상품을 구매하도록 유도합니다. 고객의 이익은 항상 회사의 이익보다 앞서야 합니다. 이는 뉴스 피드나 쇼핑 사이트의 추천 뿐만 아니라 고객의 데이터가 어떻게 사용되는지에도 적용됩니다. 페이스북은 "세상을 더 가깝게 만드는 것"이 사회적 이익이라고 믿고 있었지만, 메리 게리가 트위터에서 말했듯이 우리가 "사회적 이익"이라고 말할 때는 반드시 우리는 "누구를 위한 이익인가?" 를 자문해야 합니다. 광고주에게 좋을까요? 주주에게 좋을까요? 이 답은 항상 변화하며, 누가 어떻게 연결되어 있는지에 깊게 관여되어 있습니다.

윤리적 문제에 대한 많은 토론들은 개인정보와 관련이 있습니다. 그러나 이는 시작일 뿐입니다. 니센바움은 데이터가 개인정보여야 하는지가 아닌 데이터가 맥락을 변화시킬 때 일어날 수 있는 문제들이 실제적인 문제들이라고 주장합니다. 그 어떠한 개인 정보 보호 도구도 임신한 타겟(미국의 대형 슈퍼 마켓) 고객이 부모에게 임신 사실이 알려지 것을 보호해주지 않았습니다. (*타겟이 보낸 DM 을 통해 부모에게 임신사실을 들킨 10대 소녀 이야기 입니다. 구매 내역만으로 고객이 임신한다는 사실을 알았고, 이를 통해 타겟 마케팅을 한 사례입니다.) 문제는 개인 정보 기술이 아니라, 구매내역을 광고에 사용한 의도 자체에 있습니다. 우리는 어떻게 데이터 플로우를 제어함으로서 사용자를 해하는 것이 아니라 사용자에게 도움을 줄 수 있는 방향으로 옮겨갈 수 있을까요?  "데이터 세트에 대한 데이터 시트"는 데이터 세트를 설명하는 표준 방법에 대한 제안입니다. 모델 카드는 모델을 설명하는 표준 방법을 제안하지요. 이들 중 어떤 것도 완벽한 방법은 아니지만, 저는 이 두가지 버전이 향상된 미래엔 메타 데이터를 표준화하여 데이터 라우팅 프로토콜이 어떤 흐름이 적절하지 않은지를 결정할 수 있도록 할 수 있을거라 생각합니다. 데이터의 메타 데이터들은 어떤 종류의 사용이 허용 가능한지 설명할 수 있으며, 모델의 메타 데이터들은 데이터가 어떻게 사용 되어야 하는지 설명할 수 있을 것입니다. 이 두가지 작업은 아직 시작되지 않았지만, 해야만 하는 일입니다.

어떤 솔루션을 사용하든 도구만 맹신해서도 안됩니다. 기술자가 도구를 만들고 문제를 해결했다고 생각하는 것은 너무나 쉽습니다. 그러나 실상은 도구 자체가 문제를 발생시킬 수도 있습니다. 데이터베이스에 통계 속성을 변경하지 않고 임의의 레코드를 추가하는 것으로 개인 신상 정보를 보호할 수 있지만, 같은 방식으로 증거를 숨겨 범죄자들을 보호할 수도 있습니다. 시스템이 암호화 된 데이터를 먼저 해독하지 않고도 계산을 수행 할 수있는 동종 암호화는 계산의 실제 중요성을 숨기는 데 사용될 수 있습니다. 30년 동안의 인터넷의 역사에서 우리는 라우팅 프로토콜이 많은 방식으로 악용될 수도 있다는 점도 배웠습니다.  메타 데이터를 사용하여 데이터를 안전하게 라우팅하는 프로토콜에는 한치의 의심의 여지도 없습니다. 다만 이러한 솔루션의 악용가능성은 항상 존재합니다. 그렇다고 어쨌든 악용가능성이 있으니 솔루션을 만들지 말자는 뜻은 아닙니다. 그러나 우리는 솔루션이 공격불가능한 철옹성이 아니며, 공격의 대상이라는 것을 알고, 우리가 악용의 궁극적인 책임이 있다는 것을 알고 만들어야 합니다.

우리의 삶은 우리의 이전 세대가 예측할 수 없었던 방식으로 데이터와 통합 되고 있습니다. 오늘날의 데이터 전송은 팩스로 진료기록을 보내고, 아날로그 전화로 신용카드 구매 승인을 하는 것을 훨씬 뛰어 넘었습니다. 그러나 토마스 울프가 쓴 것처럼, 예전으로 돌아갈 수 없습니다. 종이로 적혀진 진료기록이 의사의 서랍에 보관되고, 모든 것이 현금으로 오갔으며, 스마트폰이 없던 간단한 시대로 돌아가는 것은 불가능합니다. 돌아가고 싶지도 않을 것이고요. 데이터가 풍부한 새로운 세계가 주는 이점은 엄청 납니다. 그러나 동시에 우리는 모든 사람들의 구매, 의료기록, 위치, 심지어 심박수와 혈압이 뒤덮은 "데이터 스모그" 속에서 살고 있다는 것을 알아야 합니다.

이제는 데이터 관리를 지원하는 시스템을 구축 할 차례입니다. 기계는 윤리적인 결정을 내려야 하며, 이 결정에 대한 책임은 우리에게 있습니다. 우리는 그 책임을 피할 수 없습니다. 어렵고 문제 투성이 이지만, 있는 그대로, 반드시 받아들여야 합니다. 

*****

원문 : Automating ethics

번역 : 이슬기