인공윤리에이전트(AMA)

해외 도덕판단력 검사에 사용된 사례 분석

1. 인공지능의 도덕성 실험 I (http://moralmachine.mit.edu/hl/kr)

인공 지능은 도로에서 자율 운행하는 무인 자동차와 무인 선박에 착륙하는 재활용 로켓을 포함하는 등 인간의 역할을 대신해 더욱 더 복잡한 분야까지 빠른 속도로 그 영역을 확장하고 있습니다. 기술이 발전함에 따라 인공 지능이 인간의 생사에 관련된 선택을 해야 하는 현실이 앞으로 다가오고 있습니다. 이런 현실은 인간이 윤리적 선택을 어떤 이유로 하는지에 대해 더 명확한 이해를 요구하고 있을 뿐만 아니라, 나아가 그런 선택에 대한 어떤 사회적 이슈가 있는지에 대해 깊은 이해를 요구합니다.

인공 지능과 윤리에 관한 과학적 연구는 언론 및 여론에서 뜨거운 주제로 떠오르고 있습니다.
본 사이트의 목적은 1) 윤리적 딜레마에 직면한 인공 지능의 결정에 대한 사람들의 의견을 수집하고2) 일어날 수 있는 문제점들의 시나리오들을 만들고 토론 할 수 있는 플랫폼을 제공하는 것입니다.

A. Shariff, J. F. Bonnefon, I. Rahwan (2017). Psychological roadblocks to the adoption of self-driving vehicles. Nature Human Behaviour.
J. F. Bonnefon, A. Shariff, I. Rahwan (2016). The Social Dilemma of Autonomous Vehicles. Science. 352(6293)

2. 인공 지능의 도덕성 실험 II

“Moral Judgments of Human vs. Robot Agents”, John Voiklis, Boyoung Kim, Corey Cusimano, and Bertram F. Malle, Member, IEEE
https://www.researchgate.net/publication/310500833_Moral_judgments_of_human_vs_robot_agents

Abstract : Robots will eventually perform norm-regulated roles in society (e.g. caregiving), but how will people apply moral norms and judgments to robots? By answering such questions, previous work, we compared people’s moral judgments about human and robot agents’ behavior in moral dilemmas. We found that robots, compared with humans, were more commonly expected to sacrifice one person for the good of many, and they were blamed more than humans when they refrained from that decision. Thus, people seem to have somewhat different normative expectations of robots than of humans. In the current project we analyzed in detail the justifications people provide for three types of moral judgments (permissibility, wrongness, andblame) of robot and human agents. We found that people’s moral judgments of both agents relied on the same conceptual and justificatory foundation: consequences and prohibitions undergirded wrongness judgments; attributions of mental agency undergirded blame judgments. For researchers, this means that people extend moral cognition to nonhuman agents. For designers, this means that robots with credible cognitive capacities will be considered moral agents but perhaps regulated by different moral norms.

초록 : 로봇은 궁극적으로 사회에서 규범적 역할을 수행할 것이다(예 : 간병로봇). 그러나 “인간들이 가지는 도덕적 규범과 판단을 로봇에 어떻게 적용할 것인가?”라는 질문에 답함으로써 연구자는 공학적 결정을 내리고 도덕적 인지의 범위를 탐색 할 수 있다. 이전 연구에서 우리는 도덕적 딜레마에서 인간과 로봇 에이전트의 행동에 대한 사람들의 도덕적 판단을 비교했다. 우리는 인간과 비교하여 로봇이 많은 사람들의 이익을 위해 한 사람을 희생 할 것으로 일반적으로 기대된다는 것을 발견했으며, 그 결정을 자제했을 때 인간보다 더 많이 비난 받았다. 따라서 사람들은 인간보다 로봇에 대해 다소 다른 규범적 기대를 갖는 것으로 보인다. 현재 프로젝트에서 우리는 사람들이 로봇과 인간 대리인의 세 가지 유형의 도덕적 판단(허용성, 그릇됨, 비난)을 제공하는 정당성을 상세히 분석했다. 우리는 사람들의 도덕적 판단이 동일한 개념적 근거에 의존하고 있음을 발견했는데, 결과와 금지 사유는 잘못된 판단을 뒷받침하고 정신적 에이전시의 속성은 비난받을 결정을 뒷받침한다. 연구자들에게 이것은 사람들이 비인간적인 대리인들에게 도덕적인지를 확장 시킨다는 것을 의미한다. 설계자에게는 신뢰할 수 있는 인지 능력을 갖춘 로봇이 도덕적 에이전트로 간주되지만 다른 도덕적 규범에 의해 규제 될 수 있음을 의미한다.

3. 도덕성 검사Ⅰ: J. Rest’s DIT-Ⅱ

콜버그(L. Kohlberg)가 제작한MJI(Moral Judgement Interview)의 난점을 극복하기 위해 미네소타 대학의 레스트(J. Rest)가 개발된 측정도구로서 객관식 선택형으로 구성되어 있다. 1978년에 제작된 DIT-Ⅰ과 1998년에 제작된 DIT-Ⅱ가 있으며, DIT-Ⅰ에는 확장형(full version), 단축형(short version)이 있다. 특히 서울대 문용린은 DIT-Ⅰ의 단축형 버전을 번역해 KDIT를 구안하였고, 기존의 DIT는 지문해석의 어려움으로 중학교 2학년 이상의 연령으로 사용가능 범위가 제한된 반면 문용린에 의해 개발된 KDIT는 이러한 문제점을 수정해 초등학생 수준에 맞춰 재구조화하였다.
DIT-Ⅱ는 5개의 스토리─①기근(Famine), ②리포터(Reporter), ③교육위원회(School Board), ④암(Cancer), ⑤데모(Demonstration)─로 구성되어 있으며, 검사방법은 DIT-Ⅰ과 동일하다. 스토리의 내용은 다음과 같다.

Famine—(Story #1)
The small village in northern India has experienced shortages of food before, but this year’s famine is worse than ever. Some families are even trying to feed themselves by making soup from tree bark. Mustaq Singh’s family is near starvation. He has heard that a rich man in his village has supplies of food stored away and is hoarding food while its price goes higher so that he can sell the food later at a huge profit. Mustaq is desperate and thinks about stealing some food from the rich man’s warehouse. The small amount of food that he needs for his family probably wouldn’t even be missed.
인도 북부의 작은 마을은 이전에 식량 부족을 겪어 왔지만, 올해는 지금까지의 어떤 때보다 더 악화되고 있다. 몇몇의 가족은 심지어 나무껍질로 수프를 만들어 먹으려고 시도도 한다. Mustaq Singh의 가족은 거의 굶주리고 있다. 그는 마을의 한 부자가 음식물을 멀리 보관하고, 음식을 축적하고 있다고 들었다. 그 부자가 음식물들을 이와 같이 하고 보관하고 축적하고 있는 이유는 음식물을 값을 높이면서 그 결과로 음식물들을 팔아서 나중에 큰돈을 벌려고 하는 것 때문이다. Mustaq은 절망적인 심정이었으며, 부자의 창고에서 음식을 훔치는 것에 대해 생각해보았다. 그의 가족에게 필요한 소량의 음식물은 아마도 놓치지 않을 것이다.

Reporter—(Story #2)
Molly Dayton has been a news reporter for the Gazette newspaper for over a decade. Almost by accident, she learned that one of the candidates for Lieutenant Governor for her state, Grover Thompson, had been arrested for shop-lifting 20 years earlier. Reporter Dayton found out that early in his life, Candidate Thompson had undergone a confused period and done things he later regretted, actions which would be very out -of-character now. His shop-lifting had been a minor offense and charges had been dropped by the department store. Thompson has not only straightened himself out since then, but built a distinguished record in helping many people and in leading constructive community projects. Now, Reporter Dayton regards Thompson as the best candidate in the field and likely to go on to important leadership positions in the state. Reporter Dayton wonders whether or not she should write the story about Thompson’s earlier troubles because in the upcoming close and heated election, she fears that such a news story could wreck Thompson’s chance to win.
Molly Dayton은 10년 넘게 Gazette 신문의 기자로 일해 왔다. 거의 우연히, 그녀는 자신의 주의 주지사 후보인 Grover Thompson이 20년 전에 상점에서 물건을 훔치다가 체포되었던 것이라는 것을 알게 되었다. 리포터인 Dayton은 주지사 지원자 Thompson이 그의 인생에서의 초기에 혼란스러운 기간을 겪었으며, 그리고 후에 그것에 대하여 매우 후회할 것이라는 것을 알게 되었다. 그가 상점에서 물건을 훔치는 행위는 사소한 것이었으며, 그리고 그것에 대한 혐의는 백화점에 의해 벗어났었다. Thompson은 그 후로 자신을 바꿨으며, 뿐만 아니라 건설적인 공동체 프로젝트를 선도하여 많은 사람들을 돕는 공을 세웠다. 현재 리포터 Dayton은 Thompson을 가장 좋은 주지사 지원자로 그리고 주에서 중요한 리더십 직책을 수행할 것이라고 간주한다. Dayton은 Thompson의 초기 문제에 관한 이야기를 써야할지의 여부에 대해 의문을 제기한다. 왜냐하면, 곧 다가올 열광된 선거에서 그녀는 그러한 소식이 톰슨의 승리 기회를 망칠 수 있는 것에 대하여 두려워하고 있기 때문이다.

School Board—(Story #3)
Mr. Grant has been elected to School Board District 190 and was chosen to be Chairman. The district is bitterly divided over the closing of one of the high schools. One of the high schools has to be closed for financial reasons, but there is no agreement over which school to close. During his election to the School Board, Mr. Grant had proposed a series of “Open Meetings” in which members of the community could voice their opinions. He hoped that the dialogue would make the community realize the necessity of closing one high school. Also he hoped that through open discussions, the difficulty of the decision would be appreciated, and that the community would ultimately support the school board decision. The first Open Meeting was a disaster. Passionate speeches dominated the microphones and threatened violence. The meeting barely closed without fist-fights. Later in the week, school board members received threatening phone calls. Mr. Grant wonder if he ought to call off the next Open Meeting.
Grant는 190 학군위원회에 선출되었으며 회장으로 선출되었다. 이 지역은 근처 고등학교들 중의 하나가 폐쇄될 위기인 몹시 분열되어 있는 곳이다. 이 지역 고등학교 중 하나는 재정상의 이유로 폐쇄되어야 한다. 그러나 어떤 학교가 폐쇄해야하는지에 대한 합의는 없다. Grant는 공동체의 일원으로서 회의에서 그들의 의견을 개진 할 수 있는 공개회의를 제안했다. 그는 대화를 통해 공동체가 하나의 고등학교를 폐쇄하는 것에 대한 필요성을 인식해야 된다는 것을 희망하였다. 또한 그는 공개 토론을 통해 결정의 어려움을 인식하고, 공동체가 궁극적으로 학교 위원회의 결정을 지지하기를 희망하였다. 첫 번째 공개회의는 엉망이었지만, 열정적인 연설은 마이크를 지배하였고 폭력을 누그러뜨렸다. 회의는 주먹 싸움 없이 간신히 막을 내렸다. 주말 경 학교 위원회 위원들은 협박 전화를 받았다. Grant는 다음 공개회의를 취소해야만 하는 것에 대하여 고민 중이다.

Cancer—(Story #4)
Mrs. Bennett is 62 years old, and in the last phases of colon cancer. She is in terrible pain and asks the doctor to give her more pain -killer medicine. The doctor has given her the maximum safe dose already and is reluctant to increase the dosage because it would probably hasten her death. In a clear and rational mental state, Mrs. Bennett says that she realizes this, but wants to end her suffering even if it means ending her life. Should the doctor give her an increased dosage?
베넷 부인은 62세며 결장암 말기이다. 그녀는 끔찍한 통증을 느끼고 의사에게 더 많은 진통제 약을 줄 것을 요청한다. 의사는 이미 그녀에게 최대로 안전한 분량을 주었고, 아마도 진통제 복용량을 늘리는 것이 그녀를 죽음으로 몰고 갈 수 있기에 진통제 양을 증가시키기를 주저한다. 명확하고 합리적인 정신 상태에 있는 베넷 부인은 이러한 사실을 알게 되었지만, 그녀는 그녀의 생이 마감되더라도 자신의 고통을 끝내기를 원한다. 이때 의사는 진통제의 복용량을 늘려야 하는가?

Demonstration—(Story #5)
Political and economic instability in a South America country prompted the President of the United States to send troops to “police” the area. Students at many campuses in the U.S.A. have protested that the United States is using its military might for economic advantage. There is widespread suspicion that big oil multinational companies are pressuring the President to safeguard a cheap oil supply even if it means loss of life. Students at one campus took to the streets in demonstration, tying up traffic and stopping regular business in the town. The president of the university demanded that the students stop their illegal demonstrations. Students then took over the college’s administration building, completely paralyzing the college. Are the students right to demonstrate in these ways?
남미 국가의 정치적, 경제적 불안정은 미국 대통령이 군대를 파견하여 그 지역을 "경찰"로 만들 것을 촉구했다. 미국의 많은 캠퍼스 학생들은 미국이 경제적 이점을 위해 군대를 사용하고 있다고 항의한다. 그것이 생명의 희생을 치루더라도 다국적 석유 기업들이 값싼 석유 공급을 보호하기 위해 대통령에게 압력을 가하고 있다는 의혹이 널리 퍼져 있다. 한 캠퍼스의 학생들이 거리 데모로 인해 교통 체증과 상가들의 상가운영이 중단되었다. 대학 총장은 학생들이 불법 시위를 중단할 것을 촉구했다. 학생들은 대학 본관을 점령하고 학교 행정을 완전히 마비 시켰다. 학생들이 이러한 방법으로 데모를 하는 것이 옳은 일일까?

※ 제시되고 있는 다섯 가지 이야기인 기근(Famine), 리포터(Reporter), 교육위원회(School Board), 암(Cancer), 데모(Demonstration)는 모두 사회윤리적인 문제에서 법적인 문제에까지 광범위한 스펙트럼을 가지고 있으며, 그것을 올바로 해석해 도덕적 판단을 내리는 것은 상당히 많은 지식이 요구된다고 할 수 있다. 현재 변형된 몇몇 도덕성 검사들이 제시되고 있지만, 기본적으로 MJI나 DIT에 기본을 두고 있다는 점에서 이 검사의 의의는 분명히 존재하지만, 중고생 이상의 고학년에 적합하다는 점에서 초등학생들에게 적용하기는 무리가 있다.

※ 외국에서도 초등학생들을 위한 도덕적 검사지는 거의 없다고 할 수 있다. 또한 도덕이라는 내용이 옳고 그름에 대한 판단과 그 판단을 인식하고 확인하기 위한 지식이 요구된다는 점에서 그것을 검사하고 검증하는 것은 매우 어려운 작업이다. DIT-1 축약형과 같은 버전이 있기는 하지만, 사실 그것도 초등학생용으로 변형하지 않고 그대로 사용할 수 없는 수준이다. 따라서 초등학생용을 활용되기 위해서는 그들의 지적 수준에 적합한 용어 사용, 문장 구성, 내용의 복잡성 등을 잘 고려해 넣을 필요가 있다.

4. 도덕성 검사 Ⅱ: G. Lind’s MJT(Moral Judgement Test)

레스트(J. Rest)의 DIT와 함께 콜버그(L. Kohlberg)가 제작한MJI의 난점을 극복하기 위해 개발된 것이 린트의 MJT이다. 질문지의 구성은 객관식 선택형으로 구성되어 있으며, 주로 유럽 및 남미권에서 많이 활용되고 있다. MJT의 특성은 일관성이 있는 도덕판단력을 측정할 수 있도록 질문지를 구성하였으며, 제작자인 린트 자신도 도덕판단력을 일관성 있게 잘 측정한다고 주장하고 있다. 린트는 레스트와 달리 선호도 측정을 강조하지 않는데, 단계 선호측정은 단지 좋고 나쁨의 도덕적 정서의 하나인 도덕적 태도를 측정한다고 보았기 때문이다. 이런 관점에서 린트는 콜버그의 MJI와 레스트의 DIT는 이러한 단계 선호지수에 기초하였으므로 단지 태도에 대한 측정도구일 뿐이라고 주장한다.
MJT는 두 개의 스토리─①근로자의 고민(Worker’s Dilemma), ②의사의 고민(Doctor’s Dilemma)─로 구성되어 있으며, 내용은 다음과 같다.

Worker’s Dilemma
Due to some seemingly unfounded dismissals, some factory workers suspect the managers of eavesdropping on their employees thorough an intercom and using this information against them, The managers officially and emphatically deny this accusation. The union declares that it will only take steps against the company when proof has been found that confirms these suspicions. Two workers then break into the administrative offices and take tape trascripts that prove the allegation of eavesdropping.
한 공장에서는 명확한 사유 없이 해고를 당한 일부 근로자들은 관리자가 구내전화 도청을 통해 그들을 불법적으로 감시했다고 생각하고 있다. 한편 관리자는 감시한 일이 없다고 강하게 부인하고 있다. 노동조합은 만약 이러한 불법감시를 확증할 만한 증거를 발견되면 공장에 대한 조치를 취할 것이라고 발표했다. 그래서 그들 중 두 명의 근로자가 관리자의 사무실에 무단으로 들어가서 증거가 될 만한 녹화테이프를 훔쳐 나왔다.

Doctor’s Dilemma
A woman had cancer and she had no hope of being saved. She was in terrible pain and so weakened that a large dose of a painkiller such as morphine would have caused her death. During a temporary period of improvement, she begged the doctor to give her enough morphine to kill her. She said she could no longer endure the pain and would be dead in a few weeks anyway. The doctor complied with her wish.
암 선고를 받은 한 여성이 있는데, 그녀는 아무런 희망도 없이 하루하루를 살고 있다. 그녀는 끔찍한 고통에 시달렸고, 점점 허약해졌으며, 모르핀과 같은 진통제를 너무 많이 투여하여 거의 죽음에 이를 지경이었다. 치료 기간 동안 이러한 고통의 와중에 그녀는 의사에게 단번에 죽을 만큼 모르핀을 투여해달라고 간절히 요청했다. 그녀는 의사에게 자신은 더 이상 고통을 견뎌낼 수 없고 어차피 얼마 살지 못할 것이라고 말했다. 의사는 그녀의 희망대로 해 주었다.

※ MJT는 DIT에 비해 거의 사용되고 있지 않을뿐더러 우리나라에 소개도 늦어 활용도가 낮은 편이다. 특히 용어라든가, 문장, 내용 등의 이해도 문제로 인해 초등학생들에게 활용하기에는 무리가 있다. 따라서 용어나 문장은 초등학생들이 이해하고 해석해 낼 수 있는 수준으로 쉬운 용어나 문장으로 변환하여 개작할 필요가 있으며, 내용 또한 초등학생들의 이해 범위에서 내용을 구성하여 적용할 필요가 있다.

※ 첫 번째 딜레마인 ‘노동자의 딜레마’는 어른들의 모습을 전형적으로 보여주고 있다는 면에서 초등학생들의 인지수준에서 이해하기 쉽지 않은 내용을 다루고 있다. 또한 고용자와 고용주의 관계, 노동자와 관리자의 관계 등은 복잡한 윤리적, 사회적, 법적 문제가 포함되어 있다는 점에서 초등학생들에게는 적합하지 않다고 할 수 있다.

※ 두 번째 딜레마인 ‘의사의 딜레마’ 또한 삶과 죽음의 문제, 존엄사 문제 등과 같은 의료와 관련된 윤리적, 법적 문제가 연관되어 있다는 점에서 초등학생들의 수준에서 이 문제에 대한 도덕적 판단을 내리는 것은 매우 어렵다. 이 또한 첫 번째 딜레마와 같이 초등학생들이 이해할 수 있는 수준에서 개작이나 변환을 하여 내용을 구성할 필요가 있다고 보여진다.

5. 도덕성 검사 Ⅲ: M. Porter & N. Taylor’s OISE

포터와 테일러(M. Porter & N. Taylor)에 의해 1972년에 출간된 OISE 검사는 캐나다의 온타리오 교육연구소(Ontario Institute for Studies in Education)에서 초·중·고교생들을 대상으로 제작한 검사지이다. OISE 검사는 다섯 개의 딜레마로 구성되어 있으며, 이 중의 어떤 것은 콜버그가 직접 제작한 것을 그대로 사용한 것도 있고, 또 어떤 것은 포터와 테일러가 제작한 것도 있다. 각각의 딜레마는 도덕적 갈등을 포함하는 이야기로 구성되어 있다.

해외 사례분석

해외 사례분석