AI챗봇 이루다 서비스와 이용자들이 일으킨 이런저런 화제와 논란들에 대한 생각. 쓰고 나니 길다.
일단 기술적인 걸 보면, 어떤 특정한 지식이나 견해를 요구하지 않는, 비교적 일상적인 내용과 정서적 유대를 추구하는 대화는 무척이나 자연스럽게 하는 것으로 보인다. 그런 내용의 대화에 한해서, 일단 이용자가 말하는 내용의 문맥과 대략적인 토픽을 파악하는 건 무척 뛰어난 것 같다. 바꿔 말하면 그런 내용의 대화들이 사실 대부분 그게 그거라는 것일 수도 있겠다.
또한 일문일답 식이 아니라 어느정도는 기억을 가지고 있는 듯하다. 특정한 정보를 기억시키는 것은 안 되고, 지금 당장의 대화 몇 줄이 뭐에 대한 대화인지 알 수 있는 정도.
느낌상 문장을 아예 바닥부터 만드는 경우는 별로 없고, 상술한 맥락 파악 능력을 바탕으로 데이터셋에 있는 말을 크게 바꾸지 않은 채 가져와서 대답으로 주는 게 메인인 듯하다. '어떻게 이렇게 사람같이 말하지?'에 대한 해답은 의외로 간단한 것이다. 이런 걸 retrieval-based라고 부른다고 알고 있다.
(그것만 해도 어느정도 대화가 성립되는 걸 보면, 감정이란 게 참으로 심오한 정신능력 같다가도, 그 모사와 촉발은 비교적 간단하게 가능한 것 같아서 신기하다. 비교적 정형화된 답변을 내놓는 정신과 상담 챗봇도 많은 위로가 된다는 것이나, 심리학개론 시간에 배운 원숭이의 헝겊 어미 실험이 떠오르기도.)
만약 그게 맞다면 제일 중요한 건 데이터의 비식별화다. 근데 설마 했던 기본적인 수준의 비식별화도 완전하게 하지 못한 것으로 보인다. (그리고 위에 얘기한 retrieval-based 중심인게 맞는 것 같다) 입력을 잘 하면 누군지 모를 데이터 제공자의 이름, 계좌, 주소 등이 나온다는 걸 봐서는... 데이터를 취급하는 데 있어 기본적인 부분이 부족하지 않았나 한다.
다니는 대학교 이름이 (매번 다르게) 나오는 것도 이것의 결과일 수 있다. 설정을 안 확정해 둬서 그렇다는건 조금 불완전한 서술이고, 실상은 누군가가 실제 다닌 대학이 그대로 튀어나오는 게 아니냐는것.
또한 제작사가 만든 다른 앱인 '연애의 과학' 등에서 대화가 데이터로 활용될 수 있다는 데 대한 동의절차는 있었지만, 데이터셋이 AI 챗봇에 쓰일 것이라는 구체적인 고지는 못 봤고, 이렇게 쓰일 줄 몰라서 당혹스러웠다는 증언도 있다. (사람들이 잘 읽지 않는 약관 같은 것에 들어가 있었을 가능성도 있긴 하겠다)
구체적인 개인정보의 유출이 아니더라도, 자신이 나눈 사적 대화가 챗봇의 입에서 거의 그대로 누군가한테 전달된다는 것은 불쾌할 수 있다. 동의절차가 법적으로 어땠는지, 그리고 '연애의 과학' 서비스 이용자 입장에서는 얼만큼 구체적으로 예상하고 있었는지 등을 살펴볼 필요가 있겠다. 이 부분은 정부기관의 조사도 받는다고 한다.
한편 많은 유저들이 동성애 등에 대해 질문을 했는데 난 그런거 싫다라는 식으로 노골적으로 부정적인 답을 하기도 했다고 한다. 나는 불특정다수가 활용할 수 있는 챗봇의 경우 제작사가 차별적 발화를 막기 위한 노력을 의무적으로 해야 한다고 본다. 빅데이터에 의해 만들어진 컨텐츠가 사회의 어두운 면을 그대로 투영하고있을 어떤 필요도 없으며, 검색엔진 등과 달리 챗봇의 특성상 그러한 투영이 곧 차별적 발화의 직접적인 재생산이기 때문이다.
_______________
성적인 대화, 혹은 의도적으로 그렇게 오독할 수 있는 대화를 이끌어내는 방법을 일부 사이트에서 공유한다는 것도 큰 논란이다. 이 논란을 보고 AI인권까지 챙기냐며 조롱하는 사람들이 있는데 현재수준의 챗봇 정도에 대해 인권을 적용하자는 주장이 있다면 그건 무리라고 보이기도 한다. 다만 중요한건 대부분 AI 이루다의 인권을 걱정해서 그런 비판을 하는 게 아니라는 것이다. (정말 사람과 구별할 수 없어지면 사람과 구별할 수 없는 그 측면에 한해서는 인권이 없을 이유도 없다고 생각하는데, 일단 이건 별론으로 해두자) 이건 분명히 사람들 사이의 문제다.
일단 건전한 의도로 예쁘게 쓰라고 만들었는데 네티즌들이 그런 방식으로 악용해서 놀랍다는 식의 반응은, 성 문제와 관련해서 양지와 음지(소위 '도 넘은' 것들)를 집단적 자의에 따라 지나치게 칼같이 나누는 전형적인 한국 시장 및 언론의 환경에 따른 반응이기에 주의해서 봐야 한다. 제작사 입장에서는 가장 치열한 비판의 지점을 피해갈 수 있기 때문에, 제작사가 가장 원하는 방향의 반응일 것이다.
일단 위에 말했듯 실제 대화 기반이기 때문에, 노골적인 키워드는 필터링했더라도 어느정도 소프트한 성적인 대화는 심지어 챗봇 쪽이 먼저 말하기도 한다. 제작사도 당연히 예상했고 나아가 의도했다고 본다. 위에서 얘기한 전형적인 한국 시장 및 언론의 반응 하에서, 문제가 될 키워드는 차단해 두고 사회적으로 용납될 만한 연인간 대화 내용들은 허용하되, 예외가 생기고 비난이 생기면 케바케로 막으면 된다고 생각했을 것이다. 그러나 그런 세부조정만으로 기획에 대한 근본적인 평가가 바뀌기는 어렵다.
그렇다면 그 서비스는 그렇게 비판 내지는 비평을 하면 되고, 그걸 선 넘는 방식으로 활용하고 공유하는 소비자들은 그냥 세상에 있을 수밖에 없는 심연을 드러내는 것일 뿐 전혀 문제삼을 수 없는가? 그렇게도 생각하지 않는다. 금지하거나 처벌하자는 게 아니라 사회 구성원들 사이의 비판이라고 보면, 자유주의에서 크게 벗어나지 않으면서 합리적으로 문제삼을 수 있는 부분도 있다.
_______________
윤리학을 공부해 본 게 아니어서 정확하게는 이야기하기 힘들지만, 내가 늘 '덕성의 연마'라고 일컫는 게 있다. 실제 사람을 향한 행위가 아니더라도 어느 정도 관계맺음의 태도를 확립하고 연습하며, 인식을 형성할 수 있다면 윤리적 쟁점이 될 수 있다는 것이다. 이런 관점에서 좀더 얘기해 볼 필요가 있다.
챗봇이 철저한 가상의 대상이 아니라 최대한 실제 사람과 닮게 만들어진 것이고, 심지어 주로 generative가 아닌 retrieval-based여서 실제로 누군가 했던 말들을 따라하는 것이란 걸 생각해보자. 그런 챗봇을 상대로 희롱적인 성적 대화를 하는 방법을 공유하는 행위가 꽤나 오픈된 인터넷 공간상에서 분위기 상 허용되는데, 그것에 대한 비난이 들어왔을 때 오히려 다들 그렇게 하지 않냐며 또다른 인터넷의 심연들을 꺼내오는 것은 피장파장의 오류에 다름 아니다.
이른바 '덕성의 집단적 연마'라고 부를 만한 경험이 필요한데 이와 정반대로 모든 행위를 놀이라는 틀 속에 녹여서 윤리적 논의 시도를 비웃음거리로 만드는 것이다. 이렇게 덕성의 연마를 비웃는 목소리는 인터넷뿐만 아니라 일상에서도 자주 찾아볼 수 있게 되었고 인터넷에서 일상까지 같은 정서에 근거하고 있기 때문에 비판할 수 있다고 본다.
한편 그런 모습은 연애상대와 어떻게 해야 진도를 나갈 수 있을지 주변 남성들에게 조언을 구하고, 인간관계라기보다는 마치 어떤 레벨업 하듯이 이야기하는 걸 정확히 떠오르게 하기도 한다. 물론 조언을 구하는 과정에서 어쩌다가 표현만 그렇게 되는 것일 수도 있기는 하나, 상호주관성의 계기가 지나치게 약해지고 대상으로만 대하는 느낌이 들 때가 분명히 있었고 특히 연애와 관련해서 과잉된 분위기가 형성되는 대학 저학년 때 그런 경우가 주변에 꽤 있었다. 물론 가상과 실제 인격은 분명히 다르고 대부분의 개인은 그걸 구분하겠지만, 가상을 대하는 집단적 분위기와 실제 인격을 대하는 집단적 분위기는 칼로 자르듯 구분되는 것이 아니다.
AI 이루다와 관련된 그런 행위들에 대한 비판은 결국 '크리피하다'는 것으로, 윤리가 아닌 미학의 영역으로 옮겨서 봐야만 엄밀하게 정초될 수 있다는 주장도 많다. 애초에 무난하게 꽁냥꽁냥한 대화를 할 수 있고 그때 제일 잘 작동하는 챗봇에서 굳이 노골적인 대화를 성립시켜 보려는 것, 그리고 그것에 질색하는 것은 미감의 이슈라고 볼 수 있기 때문이다.
한국 사회에 미감의 영역이 잘 확립이 안 돼 있고 뭔 얘기만 하면 도덕적 문제제기로 받아들여지는지라 컨텐츠 비평 하나도 함부로 하기 힘든 환경에 유감을 느끼는 입장에서, 그런 지적들에 상당부분 공감하며 출발점은 미감에 있다는데 동의한다. 그러나 위에서 말한 모든 것들을 감안하면 이건 윤리학의 땅에도 한쪽 발을 분명히 딛고 있는 문제라고 생각한다.
물론 이 얘기가 '게임 하면 폭력성이 증가한다'는 것과 얼마나 엄밀하게 구분될지는 의문이다. 그래서 이게 윤리 그 자체인지는 애매하지만 윤리를 집단적으로 연마하는 것과 관련된다는 찝찝한 표현 뒤에 숨는 것으로 이 주장은 마무리하겠다.
_______________
한편 공리주의적으로 보더라도, 욕망을 가상에서 해소해서 실제 현실에 들고 나오지 않을 수 있게 하는 예방효과보다는, (비록 가상인물에 대한 것일지라도) 희롱적인 대화를 하는 방법을 집단적으로 공유하고, 그것이 드러났음에도 비난을 받지 않기 위해 결집하는 경험이 주는 부정적 파급효과가 규모가 더 클 것으로 생각한다.
포르노 논쟁에도 비슷한 결이 있다. 포르노를 통해 욕망을 해소함으로써 나타나는 예방효과보다, 그것의 생산과정에서 나타나는 직접적인 문제점, 적절한 교육이 부재한 상황에서 포르노의 연출방식에 의해 실제 성에 대한 의식이 왜곡될 수 있는 점, 그리고 포르노가 철저히 무해하다고 취급되고 비판이 힘들어지는 점에 의한 부정적 효과가 더 크다고 볼 수 있는 것이다.
실제로 시민사회의 패러다임은 성적인 컨텐츠를 거리낌없이 얘기하는 것에서, 거기에 있는 문제성을 논의하는 것으로 이미 한참 전에 넘어왔다. 그러나 그것을 따라가지 못하고, 성적 표현을 비판한다는 이유만으로 더 진전된 패러다임을 옛날 패러다임과 동일시해서 엄숙주의적이라고 비난하는 모습이 요새도 많이 보여서 유감스럽다. 물론 진전된 패러다임과 옛날 패러다임이 혼재된 주장도 아주 많이 보이기는 하며 칼같이 나눠지는 것도 아니기는 하다.
이번 AI챗봇 논란에서도 그렇다. 일부 언론보도들은 상당히 평면적으로 쓰여져서 진의와 무관하게 옛날 패러다임에 의거한 것으로 읽히기도 하나(사실 이쪽이 판을 꼬이게 만드는 주범이라고 본다), 사회가 논의하는 지점은 그걸 넘어서 있다는 걸 알아야 한다. 온갖 심연이 존재하는 것을 알고 그걸 비판적으로 다룰 맷집이 있는 사회가 되었는데, 사회의 맷집이 부족하다며 그 심연 자체를 정당화(?)하려는 것은 허수아비를 세우는 것이 아닌가 싶다. 그 허수아비의 역할을 해 버리는 양반들이 있어서 답답하긴 한데....
한편 실제 인격들을 소재로 한 소위 알페스도 덩달아 논란거리로 부상했다. 원래도 그런 게 있다는 게 공공연히 알려져 있었음에도, 이번에 이루다 논란에 대한 대항으로 소환되어 '공론화'된 것이 얄미울 수야 있다(게다가 그 공론화를 시도한 주요 인물의 행적, 특히 과거 여성대상 범죄 뉴스에 대해 그가 어떻게 반응했는지를 보면...). 그렇지만 당연히 문제될 수 있는 게 맞다. 연예인들, 나아가 업계 자체가 어느 정도 그런 팬픽들의 존재를 알고 활용하기도 했다고는 하지만 그렇다고 해서 인격을 가진 실제 인물에 대한 '도 넘는' 팬픽들의 정당성이 보증되는 것도 아니다. 그런 암묵적인 상호작용을 연예인들 입장에서 자유롭게 선택할 수 있는지도 심히 의문이고 말이다.
알페스 향유가 전혀 문제가 없다는 주장이 축소되고, 업계도 그걸 상업적으로 연결짓겠다는 직간접적 시그널을 주지 않아야 연예인 당사자들의 솔직한 의견이 나올수 있다. 반동적인 계기로 나선 사람을 키워 줄 필요는 없지만 그런 반동에서도 당연히 맞는 말은 들어가있는 법이다.
다만 이번에 이루다 이용자들의 일부 행태를 문제삼은 사람들이 알페스를 적극 옹호하는 사람들과 얼마나 겹칠지는 잘 모르겠으며, 남초 커뮤니티에서 공공연하게 있어 온 여성 연예인들의 심각한 성적 대상화에 대한 윤리적 자각이 부재한 채로 그들이 알페스를 문제삼는 것 역시 모순되어 보이기도 한다.
또한 알페서들이 논란이 되는 것을 피하기 위해 음지에서 활동해 온 경향이 있는 반면, 이루다 이용자들이 희롱적인 대화 방식을 공유한 것은 꽤나 오픈된 공간에서 많이 있었던 것 같아서, 같은 익명이지만 그 익명성의 양상과 향유의 동기, 윤리적 자각의 정도는 꽤 다른 것 같기도 하다. 그러나 전혀 익명이 아닌 실제 개인의 인격이 얽혀 있는 만큼 심각성이 덜하다고 단정할 수는 없고, 드러난 이상 문제성이 있다면 짚고 넘어가는 게 맞다.
아무튼 한 AI챗봇의 기획 자체에 대한 부정적 비평부터 해서 예상보다 심각한 개인정보 문제, 그리고 이용자들의 행태에 대한 지적과 그에 대한 반발로 공론화된 여러 인터넷의 심연들을 보다 보니, 어지간히 발달하지 않는 한 AI가 일으킬 문제의 상당 부분은 결국 사람과 사람의 문제가 아닐까 하는 생각이 안 들 수가 없다. 보다 정확히 말하면, 완전히 새로운 성격의 문제들에 도달하기조차 전에, 뚫고 나가야 할 원래부터 있던 문제들이 엄청나게 많은 것 같다.
Facebook에서 이 글 보기: 링크
