ChatGPT 이모저모 - (3) 신호와 잡음의 구분, 창의적 협력에의 주목

 'ChatGPT 이모저모' 시리즈의 세 번째 편이 될 이번 글은, ChatGPT를 어떻게 하면 오해 및 악용 없이 잘 사용할 수 있을지에 대한 실용적 가이드를 제공하고 이론적 근거를 논의하는 데 그 목적이 있습니다. 먼저 결론부터 제시하자면 다음과 같습니다:

• 창의적인 생각을 떠올리고 그것을 객관적, 논리적으로 표현해낼 수 있는 능력
• 기계의 의인화를 필요에 따라 효과적으로 형성하거나 지체없이 파기할 수 있는 인지적 유연함
• 기술적 작동원리를 어느정도 이해하고, AI가 만든 텍스트의 성격을 잘 파악할 수 있는 리터러시
• 세상으로부터 이상한 것들과 새로운 것들을 포착해서 개념화할 수 있는 창의적이고 인간적인 역량
• 우연히 나온 결과와, 생성모델의 주요한 역량을 직접 반영하는 결과를 구분하기

'ChatGPT 이모저모' 시리즈의 지난번 편 (2편) 에서는 제가 ChatGPT의 원리를 조사하고 직접 사용해 보며 파악하고 정리해 본 주요 특징들, 그리고 원하는 결과를 효과적으로 얻기 위한 몇 가지 프롬프트 엔지니어링 (prompt engineering) 노하우들을 살펴보았습니다. 이러한 특징들과 노하우를, 1편에서 소개한 기술적 원리로부터 어떻게 이해할 수 있을지에 대한 느낌도 가져 보았었습니다. 마침 최근에 개설된 얼룩소 더 레이스에 참여하는 관계로, 기존에 쓴 두 편의 글은 이어쓰기 말고 링크로만 소개합니다. 만약에 이 글을 먼저 보셨다면 다른 글들도 한번씩 읽어 봐 주신다면 감사하겠습니다.

('ChatGPT 이모저모: 서론 및 기술적 원리 개괄' https://alook.so/posts/VnteWGL)
('ChatGPT 이모저모: 조리있음, 논리적 상상력, 그리고 강박적 우호성' https://alook.so/posts/eVtrVjP)

그러면 지난번 글의 주요 내용 요약을 시작으로 바로 본론으로 들어가겠습니다. 상당히 긴 글이 될 텐데, 혹시 관심이 있지만 바쁘신 분들은 마지막의 Concluding Remarks 부분부터 읽어 주셔도 될 것 같습니다. 내용 요약은 '얼룩소 더 레이스'의 주제상, 이론적(?) 배경과 고찰은 과감하게 생략하고 실용적 레시피 위주로 재구성하였습니다.

________________________________

• ChatGPT의 작동 원리를 질문에 대한 답을 제공하는 AI라고 이해하기보다는, 다음 토큰 예측이라는 확률적 원리를 통해서 질문과 답변이 반복되는 형태의 텍스트를 가장 그럴듯하게 완성시켜 준다고 받아들여야 오해를 줄일 수 있다. 다만 데이터가 워낙 많고, 워낙 조리있는 언어를 생성하기 때문에 위 두 가지가 구분이 어렵게끔 거리가 좁혀져 있을 뿐이다.

• ChatGPT는 사실관계에 대한 답변을 엉뚱하게 한다. 이는 ChatGPT는 2021년까지의 데이터만으로 학습되었고, 그나마도 자신이 가진 데이터에서 무언가를 검색해서 그대로 가져오는 것이 아니라 위에서 말한 원리대로 확률적으로 그럴듯하게 생성을 하는 것이기 때문이다 (심지어 실제로 실시간 검색엔진과 결합한 Bing Chat도, 확률적 생성인 탓에 태연하게 잘못된 정보를 말하는 경우가 꽤 있다고 한다).

• 조리있음: ChatGPT는 조리있는 스타일의 글쓰기를 매우 잘 해 준다. 사용자가 확실하고 풍부한 어떤 내용을 가지고 있지만 격식있는 언어로 잘 정리해서 표현하기가 어려울 때, ChatGPT에게 덕지덕지 부탁해 주기만 해도 상당히 프로페셔널한 스타일로 바꾸어 주므로 생산성을 높일 수 있다.

• 논리적 상상력: ChatGPT는 상상력을 잘 발휘한다. 그 상상력은 시적인 상상력보다는 '소설적 상상력'에 가깝다. 물체와 인물들의 기능 및 특징에 철저하고 성실하게 입각해서, 개연성 있으면서도 창의적인 작업을 해 준다. 사실관계에 대해 엉뚱하게 답변하는 것도 이런 성질 때문인데. 애초에 정확한 사실관계가 아닌 창의적 작업을 목적으로 한다면 이러한 엉뚱한 답변은 실수가 아니라 엄청난 장점이다.

• 강박적 성실성과 우호성: ChatGPT는 대화 내에서 전제되어야 하는 사실 (혹은 사실이 아닌 것) 을 알려주면 그에 대해 철저히 동의 하에 진행한다. 확실하게 전제하지 않고 무언가가 맞는지 틀리는지만 물어보더라도, ChatGPT는 가능성이 아예 없다고 못박기보다는 어떻게든 가능성을 찾으려는 경향을 보인다.

• 제로-샷 러닝: ChatGPT는 사용자가 원하는 작업의 예시를 몇 개만 알려주더라도, 심지어 예시를 알려주지 않고 말로만 설명하더라도 잘 알아듣고 수행해준다. 이는 새로운 과제를 수행하기 위해 매번 새롭게 학습이 필요한 기존의 딥러닝에 비해서 훨씬 좋은 점이다. 이는 거대언어모델로서 파라미터 공간 안에 방대한 잠재적 능력을 숨겨놓고 있어서, 그것들로부터 새로운 과제에 대한 수행능력을 구성해낼 수 있기 때문이다.

• ChatGPT가 내 명령을 잘 수행해줄지 확신이 들지 않을 때에는, 이해했는지 물어본 다음에 진행하라. 자신이 이해한 바를 논리적으로 말한 다음에 그것에 따라 작업을 하기 때문에 매우 신뢰할 만하다. 또한 원하지 않는 결과가 나왔다면, 내 질문이 잘못되었나 고민하고 통째로 다시 해보기 이전에, 지금 잘못되지 않았냐고, 이러이러하게 고치라고 지적해 보라. 대화를 계속 이어가면서도 원하는 결과에 점점 가깝게 할 수 있다.

• 대화 전체에 대한 일관된 이해가 있어서, 한참 위에 있는 것을 다시 끌고 와서 이야기할 수도 있다. 잘 안 된다면, 위에 말했듯이 그냥 지적하면 고친다. 혹은 괜찮았던 답변이 있으면 그것에 이름을 붙여놓고 진행하면 좋다. 이 모든 것은 별도의 버튼이나 GUI 같은 게 아니라 오직 그냥 말로 하는 것이다.

• ChatGPT는 세상의 모든 것을 '글로 배웠'다 (여기서 글이라 함은 컴퓨터 프로그래밍 코드, 그리고 일부 코드화된 이미지, 그리고 URL 등까지 포함하기는 한다). 따라서 사람들이 직관적으로 잘 알지만 책이나 인터넷에 굳이 말로 설명되어 있지는 않은 감각적인 것들에 대한 이해가 부족하고 쉽게 티가 난다.

• ChatGPT는 텍스트 구성요소의 층위를 혼동하므로, 추상적인 이해를 바탕으로 한 작업이 어렵다. 예컨대 ChatGPT가 듣고 따라야 하지만 ChatGPT가 만들어내는 내용에 직접 등장하지는 않았으면 좋겠는 추상적인 지시사항들, 혹은 예시들이 있을 수 있다. ChatGPT는 지시 내용 자체에 이끌려서 그러한 것들을 자신의 답변에 등장시켜 버린다.

여기서부터는 ChatGPT에 대한 과신, 기술 리터러시의 부족, 혹은 악용의 시도가 일으킬 수 있는 여러 가지 문제점에 대해 다룬다. 그리고 ChatGPT를 비롯한 거대언어모델을 잘 활용하기 위한, 텍스트의 본질에 대한 인문학적 시야의 필요성에 대해 논의한다.

________________________________

이상에서 ChatGPT의 강점을 ‘조리있음’과 ‘논리적 창의성’이라고 하였는데 여기에는 분명 수많은 데이터로부터 비롯되는 ‘폭넓은 지식’이 관여될 수 있다. 그러나 폭넓은 데이터는 ‘사실관계의 검증’과 생각보다 그 관계가 미약하다. 즉 현재의 ChatGPT는 사실관계를 답하는 데에 그 초점이 설정되어서는 안 된다. 기성 언론에서 한동안 구글 검색을 대체한다는 쪽으로 많이 보도가 되었는데, 이걸 만약에 정말로 검색을 대신해서 ChatGPT에 물어보는 것이라고 생각하면 정말 큰 오해를 유발할 수 있다. 실시간 검색을 보조해서 한정적으로 탑재되는 방향 정도면 괜찮아 보이기는 하나, 실제로 그렇게 한 Bing Chat에서도 잘못된 정보를 이야기하는 경우가 많아서 경각심이 필요하다.

자기확신과 인지편향의 강화

비슷하면서도 또 다른 문제는 사람들의 자기확신과 인지편향을 은연중에 강화할 가능성이다. 먼저 ChatGPT는 정말로 재미있고 놀랍다. 그러면서 매우 넓은 범위의 주제들에 대해 올바르게 개괄해준다. 그런데 이러한 개괄적 설명 능력 탓에, 사용자가 암묵적으로 의도한 결론을 얻고 (비록 재미로 한 것일지라도) 음 역시나 그렇지 하면서 고개를 끄덕끄덕하게 될 수가 있다.

이는 앞서 논의한 '강박적 우호성'과 관련이 깊다. 사용자의 프롬프팅 자체가 네/아니오 질문이라서 사람이 보기엔 중립적인 것처럼 보여도, 앞선 연재에서도 언급했듯이 ChatGPT는 프롬프팅에 무언가가 언급된 그 자체로 인해 긍정 쪽으로 바이어스가 생겨서, 대체로 반박을 찾기보다는 어떻게든 그 가능성을 찾아주게 된다.

일반적으로 명백히 나빠 보이지 않는 가치에 대해 각론으로 들어가서 단점까지 알고 싶다면, 가장 좋은 것은 ChatGPT를 지나치게 믿지 않는 것이다. 그 다음으로 좋은 것은, 장점과 단점을 모두 자세히 알려달라고 물어보는 것이다.

만약에 ChatGPT의 이러한 사용이 실제로 정확한 답을 준다고 생각하면 명백한 오해이고, 설령 원리를 아는 채로 재미로 하는 행위예술 같은것이라고 생각한다고 하더라도 창작자 자신의 신념이 은연중에 강화되지는 않는지 잘 돌아보아야 한다. 특히 정치, 사회적인 경우에는 더 그렇다.

요약하자면 ChatGPT는 정보의 정확성에 대한 검토를 거치지 않으며, 언어 외부의 감각세계 및 데이터 세계와 연결되어 있지 않으므로, ChatGPT의 글쓰기는 정보 검색, 취합, 분석을 통한 인간의 레포트 작성과 많이 다르다. 그럼에도 불구하고 가지고 있는 데이터가 워낙 많고, 격식있는 언어의 생산에 있어서 너무 성능이 좋은 덕분에, 제너럴한 토픽에 대해 대체로 괜찮은 정보를 제공하며, 우연에 의존하지만 어느정도 괜찮은 정보를 가지고 오는 느낌도 있다.

따라서 ChatGPT의 언어 구사는 실제 양질의 리포트 작성 과정과 질적으로는 매우 다른데도, 쉽게 구별하기 어렵게끔 '거리'가 매우 가깝다. 게다가 (비록 답변은 틀리더라도) 사용자의 질문 의도는 명백히 이해하는 것처럼 작동하므로 그 정확성에 대한 기대를 무비판적으로 가지게 된다. 이러한 괴리가 사람들에게 잘못된 확신을 주는 면이 있다.

데이터 취합 및 분석을 해 주는 것으로 오해를 일으키는 대표적인 사례는 아래의 국회의원 보도자료이다.

안병길 의원실 보도자료 (Retrieved from https://v.daum.net/v/20230209000504109 , 2023.03.11.).

이것만 보면 이 보도자료의 작성자들은 ChatGPT가 정말로 어떤 데이터 분석과 면밀한 검토에 의해 레포트를 작성해 준 것으로 생각하고 있는 듯하다. 그러나 현실은 그냥 ChatGPT 특유의 폭넓은 개괄적 지식과 조리있는 말투에 의해 서포트되었을 뿐이므로, 진지한 보고서보다는 일종의 정치적 행위예술로 분류되는 것이 적절해보인다. 이렇듯 '장르'의 잘못된 설정은 작성자를 스스로 속아넘어가게 할 뿐만 아니라 대중을 호도할 가능성도 높다.

특히 국회의원들과 공무원들의 일은, 사람들의 사적 문제의식과 욕망들 중 일부를 선택해서, 공적인 영역에서 논의될만한 것이라고 공식적으로 추인해 주고 근거를 마련해 주는 매우 중요한 역할을 맡고 있다. 이러한 사적인 문제의식의 공공화는 사람들의 주관 속에 있는 감각인상과 경험들이 구체적인 언어로 표현되어 세상에 객관적으로 기록되는 과정, 즉 주관적 경험의 객관적 언어화와 상당히 비슷하다. 그러므로 공적 가치의 판단과 집행에 있어서, 언어의 외부를 알지 못하는 거대언어모델은 매우 신뢰하기 어렵다. 물론 공직자들이 자신이 잘 모르는 분야, 그렇지만 논쟁이 많지 않고 어느 정도 잘 정립된 분야에 대해 대략적인 그림을 잡기 위해 거대언어모델에게 설명을 부탁하는 경우에는 꽤 도움이 될 것이라고 생각한다.

내가 정치 쪽에 얕지만 오래된 관심을 가지면서 알게 된 바로는, 정치권에 가까운 사람들 중에는 기본적으로 정확성보다는 소위 말하는 '모양', 퍼포먼스, 그리고 이슈파이팅에 더 익숙한 사람들이 꽤 많아 보였다. 물론 그러한 이슈파이팅 능력 덕분에 민주정치가 제대로 돌아가는 면도 있긴 하므로 기본적으로는 긍정적으로 생각한다. 그럼에도 불구하고 기술 리터러시를 흐리는 것은 별로 좋지 않아보인다. 그래서 이슈파이팅과 함께 개념적 정확성에도 많은 신경을 쏟는 사람들을 늘 멋있게 생각하는 편이다.

정보 검색을 해 주는 것, 혹은 그 자체로 이를 지향하는 것으로 오해를 일으키는 사례들도 많다. 대표적인 것이 국회입법조사처에서 발간한 ChatGPT에 대한 보고서의 일부이다. 전반적으로 이 보고서는 기술적인 면에 있어서도, 해당 기술의 여파에 있어서도 전반적으로 매우 성실하고 정확하게 작성되었다. 그러나 아래 인용된 문장은 무언가 마음에 많이 걸린다.

챗GPT는 이용자의 요구 또는 질문에 대한 답을 제시하는 것이어서 기존의 검색 서비스와 지향하는 바가 같다. 차이가 있다면 검색 서비스는 정보의 출처를 제시하여 이용자가 각각의 정보를 찾아 비교･평가하도록 하는데, 챗GPT는 AI가 이 과정을 대신해 준다. 그 결과 챗GPT는 검색 서비스 방식과 주요 사업자의 변화를 초래할 것으로 예상된다.

(출처: https://www.nars.go.kr/report/view.do?cmsCode=CM0043&brdSeq=41564. 2023년 3월 11일, [다운로드] 버튼으로 첨부파일 다운로드.)

물론 대화형 챗봇의 궁극적인 지향점 중에 하나가 검색을 대체하거나 간소화해 주는 것일 수는 있다. 그러나 위의 인용문에서 언급하는, 각각의 정보를 찾아 비교, 평가한다는 설명은 오해를 불러일으킨다. 정확히는 그러한 작업을 한 것처럼 보이는 어떤 텍스트를 그럴듯하게 생성해줄 뿐이다 (물론 구체적 팩트체크가 아닌 개괄적인 수준에서는 그것이 실제로 무척 정확한 경우가 많다). 무엇보다 이 보고서에서 창의적 작업 영역에서의 생산성에 대한 언급이 거의 없는 점은, 이 글이 고성능의 텍스트 생성이라는 ChatGPT의 본질이 아니라 정보 검색이라는 목적에 지나치게 이끌려서 서술되었다는 데 설득력을 더한다.



또 다른 사례는 IBK투자증권에서 발간한 보고서이다. 공개적으로 발간된 리포트이며 한국에너지기술연구원 이제현 박사님의 소셜 미디어 포스팅 (아래 이미지에 링크) 에서 인용함을 밝힌다.

IBK투자증권 보고서 "ChatGPT를 활용한 혁신적인 리서치 방법론과 활용사례 분석" 캡쳐 (Retrieved from https://bit.ly/3l6L5HW , 2023.03.11)

위의 국회의원실 보도자료와 마찬가지로, 매우 그럴듯한 답변을 주지만 역시나 정확한 자료인지는 전혀 보장되지 않는다. 물론 중요한 수치 데이터는 확률적으로 생성하지 말고 그대로 가져오기 (retrieval) 를 강제하는 방법도 있을 것이다. 그러나 현재의 ChatGPT는 그렇게 강제하더라도 정말로 그렇게 해 준다는 보장이 없으며 이는 사용자의 프롬프팅을 통해서가 아니라 별도의 기술적 개선이 필요한 사항이다.

특히 이제현 박사님의 이후 포스팅에 따르면, URL만 입력했는데도 정말로 그 URL에 들어가 본 것처럼 내용을 요약하고 줄줄 읊는 경우도 있어서 더욱 오해를 야기했다고 한다. 이는 사용자로 하여금 잘못된 신뢰를 가지게 할 수 있다. 그러나 ChatGPT가 세상을 '글로 배웠'다고 할 때 그 글이라는 것에는 우리가 사용하는 자연어뿐 아니라 수많은 컴퓨터 코드, 인터넷 스크립트, URL 등까지 포함되어 있음을 기억하자. 그러므로 ChatGPT는 '그러한 URL을 타고 들어갔을 때 존재할 법한' 텍스트를 만들어낸 것 뿐이다. 너무나도 성능이 높고 데이터가 많은 바람에 일어나는 희극일 따름이다.

신호와 잡음의 구분이 어려워지는 문제

지금까지는 사용자 개인들이 유의할 점을 다루었다면, 여기서부터는 조금 더 거창한 문제를 다룬다. 바로 정보의 바다에서 거대언어모델로 인해 신호와 잡음의 구분이 어려워지는 문제이다 (이는 네이트 실버의 유명한 책에서 단어만 빌려온 것이다. 어떤 의미로 사용하는지는 후술하겠다).

적어도 현재로서는 거대언어모델의 텍스트와, 인간이 숙고하여 작성한 텍스트는 그 생산의 기제 자체가 많이 다르다고 생각된다. 이미 지적했듯이 인간은 시공간적, 감각적 직관을 가진 채로 물리적, 사회문화적 세상을 경험하고 글을 쓰지만, ChatGPT에게는 언어의 외부란 없기 때문에 그렇다.

거대언어모델에 의해 양산되는 컨텐츠가, 만약에 ChatGPT의 다양한 활용법 자체에 대한 예시로서 소개되거나, 이미 인풋에서 확실하게 주어진 내용을 조리있게 바꾸어주는 정도로 사용된 것이거나, 일종의 우연성 예술의 한 샘플 정도로 받아들여진다면 (그 사실을 밝힌다는 전제 하에) 일단은 괜찮아 보인다.

그러나 만약에 작가에 의해 하나하나 검토되지 않은, ChatGPT가 생성해낸 내용들 그 자체가 컨텐츠로서 높은 가치를 가지므로 그것을 믿어도 된다고 주장한다면, 현재로서는 그것은 잘못되었다. 이것을 피해갈 수 있는 게 바로 창의적 조수로서의 ChatGPT 활용이기 때문에, 내가 그러한 활용에 더 주목하는 점도 있다.

언어 내적인 이해만으로 무한히 재생산되고 열화되면서 공간을 차지하는 '잡음'과, 실제 작성자가 자신이 무엇을 쓰고 있는지를 감각과 직관에 근거하여 분명히 알고 있는 채로 작성한 '신호'는, 적어도 현재로서는 분명히 질적으로 다르다고 생각한다. ChatGPT의 지식이 너무 방대하고 언어가 조리있는 덕분에, 양적인 차이가 좁혀져 버렸을 뿐이다.

물론 위의 IBK투자증권 보고서의 사례에서도 이야기했듯이, 앞으로의 거대언어모델의 발전에 따라 꼭 이렇지는 않을 수도 있다 (권위 있는 정보를 적절하게 꺼내 와서 눈앞에 보여주는 것, 즉 retrieval은 지금의 검색 엔진들도 사실 썩 잘 수행하기도 한다). 여기에 시공간적, 감각적 직관과 실시간 검색을 바탕으로 정보를 검증할 수 있다면 이러한 부분은 상당부분 해결될 수도 있다. 그럼에도 무한 복제되고 무한 생성되는 텍스트들이 인터넷을 채우는 데에 대한 포스트휴먼적 낯섦은 여전히 남아 있겠지만 말이다.

Youtube나 지상파 방송 등에서, 역사, 정치, 사회 등 각 부문의 영상 자료들의 질 좋은 ‘원본’을 찾기가 굉장히 어려운 경우가 종종 있다. 조회수가 높은 영상들은 모두 편집에 의해 상당 부분이 잘려나가고 배경 음악이 깔리는 등, ‘보기 좋게’, ‘재치있게’ 드레싱이 되어 있기 때문이다. 나는 수많은 정보를 취합하고 소화하는 거대언어모델이 생성하는 텍스트가 인터넷을 점령하는 것이, 다소 거칠지만 이 상황과 비유될수 있다고 생각한다. 어디서 온 것인지 정확히 찾아보기가 어렵고, 심지어 매우 근본적인 수준에서 재조합되어, 출처라는 개념 자체가 흐려질 수도 있는 수많은 텍스트들이 양산되는 것이다.

요약 겸해서, 생성 인공지능을 활용하는 두가지 극단적(?) 인물상을 제시해보겠다.

• 신호와 잡음 중에서 잡음이 많아져도 아무 상관 없다는 사람: 마치 이번에 논란이 된 주피디 (구 신사임당) 및 ‘우주고양이 김춘삼’ 채널처럼, 생성 인공지능을 지나치게 돈벌이의 수단으로만 생각하는 경우. 그리고 사람들의 컨텐츠 크리에이션에 대한 존중 (단적으로 저작권 의식) 이 없는 경우.

• 신호와 잡음 중에서 신호를 만들어내고, 지켜내고 싶은 사람: 생성 인공지능을 재미와 창조성 본위에서 받아들일 줄 알고, 사람들의 컨텐츠 크리에이션 영역을 이해하고 존중하며, 또한 기계와의 소통이 어떤 성격인지 과도한 신비감이나 과도한 찬물 끼얹기 없이 정확하게 파악해 내는 포스트휴머니즘적 감각을 계발하는 경우.

지극히 스테레오타이핑이기는 하지만, 나는 생성 인공지능에 대한 상호주관적 관심을 가져보지 않은 사람일수록 컨텐츠 크리에이션 작업이나 예술저작권에 대한 존중도 부족하지 않을까 한다.

이 둘 사이에서 경쟁은 생길 수밖에 없고 아마 양적으로는 전자가 도미넌트해질 것이다. 그럼에도 불구하고 후자의 불이 꺼지지 않아야 할 것이다. 노이즈를 걸러낼 수 있는 각 부문에 대한 리터러시와, 세상에 있는 이상한 것들과 새로운 것들을 포착해서 개념화할 수 있는 창의적이고 인간적인 역량이 중요해보인다. 다만, 그런 것이야말로 결코 변하지 않을 인간성의 숭고한 본질이라고 섣부르게 주장하지는 않겠다.

결론적으로, 정확하고 효율적이며 인지부담이 낮은 엔지니어링이라는 실용적 필요에 의해 임시로 ChatGPT를 의인화하여 상호주관성을 형성할 줄 알되, 역시 과신에 따른 오판을 방지한다는 필요에 의해 그것을 지체없이 폐기하고 생성의 원리를 직시할 줄도 아는 인지적 유연함이 필요해보인다.





생성 인공지능: '우연성 예술'과 '합리적 조수' 사이에서

한국에서 ‘심심이’나 ‘이루다’와 같은 기존의 AI 챗봇이 향유되던 방식은, 재미있거나 짓궂은 질문을 하고 어떻게 반응하는지 보는 일종의 '우연성 예술' 느낌이 있었다. 반면 ChatGPT는 나름의 창의성이 있으면서 무척 성능이 좋고 합리적으로 작동하다보니, 그런 우연성 예술로 사용하기에는 미안(?)하거니와, 그것이 잘 되지도 않는다. 대신에 각 부문에서 내가 늘 AI의 마땅한 방향이라고 주장해 온, 합리적인 의사소통이 가능하면서도 창의적인 조수의 역할을 잘 해줄수 있는 듯하다.

그렇지만 여전히 그 기본 원리는 확률적 생성이기 때문에, 잘 정의되지 않은 과제, 어려운 과제, 그리고 ‘조리있음’과 거리가 있는 과제를 시킬수록 그 끝에서는 결국 ChatGPT도 ‘우연성 예술’에 속함이 드러나게 된다. 너무 조리있기 때문에 그것이 잘 티가 나지 않을 뿐이다.

말을 잘 듣는 조수의 작업과, 예측불가능한 창발적 효과를 기대하는 우연성 예술은 거의 반대에 가까워 보인다. 한편으로는 ‘지시’에 의한 예술이라는 점에서 다소 느슨하지만 통합적으로 간주할 수도 있다. 그런데 ChatGPT에서는 이러한 통합이 실현되어 있다. 이로써 시적 상상력보다 소설적 상상력에 가까우면서도, 한편으로는 우연성 예술로 간주할 수 있는 상당히 새로운 영역이 생겼다고 보인다.

현대미술가는 물리적 작업을 하는 사람이 아니라 그 지시를 내리는 사람이라는 말이 있다. 실제로 세심한 질료적 작업보다는 개념을 혁신하고 제시하는 작업에 방점을 두고, 그것을 통해 큰 화제가 되고 돈을 벌어들이는 경우가 꽤 있다고 한다. 이것을 설치미술이나 개념미술 같은 데에서는 대체로 납득하는데, 전통적인 회화작품 범주에 가까운데도 조수가 대부분의 작업을 한 사례에서는 이게 과연 올바른 방향인가 하는 대중적 회의감도 발생한다.

이것은 아마 고독하게 붓끝을 놀리는 천재 예술가라는, 미술의 원초적인 본령에 부합하지만 어찌보면 상당히 낭만적인 이미지와의 불일치로부터 비롯된 불편함일테다. 그러나 사실은 낭만주의 이전의 르네상스 시대에도 이미 이름값 높은 예술가들은 조수들과 같이 작업했던 것으로 알고 있다. 아무튼 잠깐 예술의 의미를 확장하여, 광의의 기술적이면서도 창조적인 작업을 예술이라고 불러 보자 (영어에서는 둘 다 art여서 이것이 나름 자연스럽다).

최근 인공지능의 발전은 전통적으로 인간성의 정수에 해당했던 범주를 인간으로부터 빼앗는 느낌을 주므로 여러가지 우려와 화제를 낳고 있다. 물론 현실 사회에서는 통렬한 지적일 수 있다. 그러나 내 생각에 인공지능의 어시스턴스는 예술가의 ‘지시 내리기’, ‘개념을 혁신하기’로서의 art의 모던한 패러다임을 오히려 강화하며, 아티스트를 질료적 작업으로부터 구원하는 느낌도 없지 않다. 꾸준히 발전하다가 2022년에 전격 등장하여 화제를 모았던 그림 인공지능(text-to-image generation), 그리고 ChatGPT와 같은 거대언어모델 등 모두 마찬가지이다.

약간 다른 이야기이지만, 수 년 전에 관람했던 한스 오브리스트의 전시 “Do It!”에서는 예술가는 오직 지시문만 주고, 대중들이 이것을 나름대로 해석하여 재치있게 실현시킨 내용들을 보여준다. 이로써 개념의 혁신과 그에 따른 질료의 재배열이라는 예술창작의 이중화된 구조가 폭로되며, 그 둘 모두 예술의 적법한 구성요소임이 드러난다. 또한 이들 둘 사이에는 개연적 연관성뿐만 아니라 우연성과 의외성도 많이 작용을 하게 된다. 예술가와 퍼블릭은 이러한 우연적 협력을 통해, 물감 마구 뿌리기 같은 기존의 우연성 예술과는 또 다른, 상호주관적인, 그리고 합리적 사후 해석이 가능한 우연성 예술에 다다른다. 이렇게 미술관은 권위적 공간이 아닌 매우 공적인 공간으로 변모한다.

눈치챌 수 있듯이, 해당 전시에 대한 이러한 비평은 거대언어모델에 대한 위의 해석과 꽤나 겹치는 지점들이 있다. 실제로 이 전시는 디지털 매체의 발전과 고성능 인공지능의 등장을 거치면서 변모하고 있는 art의 개념을 의도치않게 선취하고 예견하는 면이 있다. 실제로 지금도 인터넷에서는 ChatGPT로부터 짓궂은 결과를 얻어내기 위한, 혹은 최대한 창의적인 결과를 얻어내기 위한 수많은 네티즌들의 잉여적 노력이 만개하고있다. ChatGPT를 만들어내는 것이 아니라 그것을 사용하는 과정 또한 어떤 엔지니어링이라고 본다면 (이러한 관점은 바로 아래 섹션에서 더 구체화된다), 엔지니어와 대중의 구분이 모호해지는 것이다. 대중 전체가 ChatGPT에 관심을 가지고 참여적으로 활용하며 프롬프트 엔지니어링을 익히고 있기 때문이다.





'의미 엔지니어링'으로서의 거대언어모델

ChatGPT를 활용하는 것은 엔지니어링이라기엔 너무 쉽고, 단순한 도구 사용이라기에는 너무 어렵다. 정해진 규칙대로 하는 것이 아니라, 직접 사용해 보며 노하우를 익혀서 내가 원하는 결과를 내야 하기 때문이다. 또한 도구의 사용이라기엔 그 양상이 지나치게 다채롭다. 명령을 통해서 적절한 스타일 (학술적, 문학적, 일상적 등), 적절한 분량, 적절한 형식의 텍스트를 만들어낼 수 있고 세부적으로 조정할 수 있다. 따라서 여기서는 ChatGPT의 사용은 엔지니어링이라는 관점을 택하겠다.

그런데 생각해보면, 그것을 위해 '말만 잘 하면 된다'는 점은 매우 특이하다. 여러 복잡한 파라미터 세팅, 수많은 예시 제공을 통한 훈련, 어려운 코딩, 하다못해 버튼 누르기 등 엔지니어링의 전형적인 기본 요소들이, ChatGPT 활용에서는 기본 요소가 아니다.

이러한 새로운 종류의 작업을 나는 언어 엔지니어링, 혹은 의미 엔지니어링이라고 부르겠다. ChatGPT의 활용은 자연어를 이용한 놀이에서 출발하지만, 그 끝은 엔지니어링에 닿아 있음으로 인해 그 경계를 무뎌지게 하는 것이다. 기계와 가상적인 상호주관성을 원활하게 확립하고 또 폐기할 줄 아는 사람일수록, 기계로부터 더 많은 창조적, 생산적 결과를 얻어낼 수 있을 것이다.

의미 엔지니어링이라는 것이 무엇인지 대표적인 예시를 보자. 작년에 화제가 되었던 논문 중에서는 'Let's think step by step', 즉 차근차근 생각해 보라는 프롬프트를 추가해 주는 것만으로 거대언어모델의 계산 및 논리적 성능이 대폭 상승했다는 것이 있다 (Kojima et al., NeurIPS 2022: arXiv preprint 링크).

이러한 무척 흥미로운 관찰을 저자들은 고성능 거대언어모델에서 few-shot조차 아닌 zero-shot 논증 능력이 자연스럽게 발생한다는 증거로 해석한다.

We hope our work not only serves as the minimal strongest zero-shot baseline for the challenging reasoning benchmarks, but also highlights the importance of carefully exploring and analyzing the enormous zero-shot knowledge hidden inside LLMs before crafting finetuning datasets or few-shot exemplars.

초록에서의 위와 같은 언급은 거대언어모델 속에 숨겨져 있는 과제수행능력을 최대로 이끌어내기 위해서는 잘 설계된 프롬프팅을 통한 세심한 탐색이 필요함을 지적한다. 이는 사용자 단에서 느끼는 고도의 사용성에 대한 단적인 예시와 그에 대한 기술적인 해석인 셈이다.

실제로, 마치 프로그래밍을 잘 하는 사람을 software engineer라고 부르듯이, 생성 인공지능을 잘 활용하는 사람을 prompt engineer라는 직군 형태로 묶어 활용하는 경향도 생겨나고 있다. 그림을 그려 주는 생성 인공지능들의 경우에도 사람들이 이미 많이 사용해 보며 프로페셔널한 노하우들과 각종 오류들을 트위터 등에 공유하고 있다. 프롬프팅 노하우가 단순히 재미가 아니라 돈이 될 만한, 자기만 알고 있어야 하는 전문성이 될수 있음을 사람들이 이미 폭넓게 깨달은 것으로 보인다.

실제로 구글 브레인 도쿄캠퍼스에서 재미있는 연구개발을 많이 하다가 이번에 스테이블 디퓨전을 개발하는 Stability AI으로 이직한 David Ha 역시, 세계적인 소셜 커리어 플랫폼 링크드인(LinkedIn)에서 자신의 직군을 prompt engineer라고 소개하고있다.

이상을 종합하면, 창의적인 것을 많이 생각해 내고, 그것이 기계가 잘 수행할수 있는 종류의 과제인지 금방 판단을 할 수 있는 인문학적 소양을 가진 사람이 기술 리터러시를 갖추고 기계와 상호작용하는 노하우를 갖출 경우에 프롬프트 엔지니어링을 매우 잘 할 수 있을 것이라고 생각된다.

언어현상의 본질: 통계적으로 재현되는 인상 덩어리인가, 혹은 이성능력의 증거인 선험적 규칙인가?

• 텍스트 바깥에는 아무 것도 없다?

포스트구조주의로 분류되는 철학자 자크 데리다의 유명한 말로 '텍스트 바깥에는 아무것도 없다'는 것이 있다. 이 말은 여러 의문을 불러일으킨다. 그렇다면 텍스트만이 모든 것 (everything), 혹은 오로지-것 (the only thing) 인가? 그렇다기엔 이미 수차례 지적한 언어모델의 한계점들을 보면, 물리적 세계와 관계맺는 감각 및 직관의 중요성이 여실히 보이지 않는가.

데리다에 대한 해설자들은, 이 문장에 대한 위와 같은 첫인상은 오해라고 대답한다. 그들의 독해에 따르면 오히려 반대에 가깝다고 한다. 한번 만들어진 텍스트에는 텍스트 그 자체만 있고, 고정적이고 튼튼한 부속 지지물 (작성자의 의도, 정확한 의미 등) 이 있는 것이 아니다. 텍스트는 텍스트 그 자체로 존재할 뿐이므로 해석의 가능성을 열어두어야 하며, 고정된 의미가 있다고 생각하면 안 된다.

물론 데리다의 이러한 언설은 내가 별로 좋아하지 않는 과도하게 역설적인 표현이거나, 혹은 오해를 반쯤 즐기는 (?) 탈근대 담론 쪽의 지적 습관인 것 같기도 하다. 혹은 원어로 보았을때만 오해가 덜한 표현일수도 있다. 그리고 이 상황은 데리다의 이러한 언설 자체에도 메타적으로 그대로 적용된다.

이에 따르면, 저 말은 텍스트 바깥 세계에 가치를 두지 말자는 게 아니다. 오히려 텍스트 바깥 세계에서 각자의 맥락을 텍스트에 적용하고 해석하는 것만이, 그런 다양성을 무한정 열어두는 것만이 우리가 할 수 있는 일이다. 이러한 관점은 부당한 상대주의로 이어질 수도 있지만 오히려 텍스트의 부당한 권위를 실추하고 전복하는 수단이 될 수도 있는 듯하다. 대표적으로 어떤 텍스트가 그 형식의 조리있음 자체로 인해 가지는 권위의 덧없음은 ChatGPT가 잘 보여주고 있지 않은가.

언어모델의 강점과 한계는 우리가 포스트휴먼 텍스트를 어떻게 지각해야 하는지 여실히 보여준다. 위의 데리다의 말 또한 언어모델과 관련해서 상당한 고찰점을 제공하고 있다. 아무리 조리있어 보이는 문장일지라도, 흐물흐물하고 시시각각 변하는 인상주의적 빛 덩어리와 다르지 않을 수 있다. 혹은 엔지니어링된 확률분포함수를 통해 생성되는 꿈같은 것일 수 있다.

원래, 문제의식을 선취하여 생각의 고속도로를 깔아두고, 전문분야에서의 실제 각론이 대두되기를 기다리는것이 철학이 늘 해온 일이다. 물론 각론이 정확히 언제 어떤 형태로 등장할지는 알수 없기에 그 고속도로를 보강공사 없이 그대로 주행할순 없지만, 보편적인 철학적 사유로서의 요체를 뽑아내서 전반적으로 따라가보는 것은 충분히 가능할테다.

거대언어모델은 매우 잘 엔지니어링된 것이며 그 결과물의 배후에는 수많은 사람들의 노동이 간접적으로 관여하지만, 정작 의인화 가능한 단일한 인격은 없다. 이러한 거대언어모델은 세상에 언표되어 있는 것들을 근본적으로 폭넓게, 그러면서도 선별적으로 reflect해 준다. 이는 진실을 은폐하는 것이기도, 한편으로는 진실을 반영하는 것이기도 하다 (심오한 얘기가 아니라, 단적으로 그냥 때에 따라 다르다). 이제는 인공지능이 세상의 데이터를 반영하는 방식에 대해 언어의 각종 편향이나 유해성과 관련해서, 혹은 오류의 전형적 경향들과 관련해서 철학이 아닌 과학기술의 방법론으로 직접적으로 연구가 되기에 이르고 있다.

• 촘스키의 시사점: 거대언어모델에서 추상화 능력의 부재

오직 감각세계의 부재만이 문제인 것은 아니다. 사실 이 연재의 이전 파트들에서는 조리있는 ‘언어 그 자체’는 ChatGPT가 거의 완벽하게 재현해 낼 수 있으나, 오직 감각세계와 연결되지 못했다는 점 때문에 인간의 언어현상과 질적으로 구별된다는 느낌으로 얘기했다.

그러나 언어학계의 거인인 노엄 촘스키 (Noam Chomsky) 에 따르면 감각세계와 상관없이 언어 내적으로만 보더라도, ChatGPT의 언어능력은 진정한 언어능력이 아닐 수 있다. 촘스키가 생각하는 언어능력의 핵심은 유한한 수단의 무한한 사용, 즉 일종의 추상화이다. 어떠한 개념들을 이용하여 새로운 개념을 구성해내고 그 새로운 개념을 자유롭게 사용하는 것이다.

그런데 ChatGPT에게선 그런 능력을 찾아볼수 없다. 물론 대화 창 내에서 일관성을 확보하므로 아주 약간은 가능하나, 완전하지는 않다. 결국 첫 글에서 중요하게 언급한 것처럼 가장 그럴듯한 글을 완성해주는 것이기 때문에, 어처구니없을 만큼 엇나갈 가능성이 얼마든지 있기 때문이다 (촘스키의 이러한 언어관은, 언어능력 이전에 다소 근대적인 개념으로서의 이성적 능력이 하는 일과 비슷하며, 실제로 근대철학의 합리론 패러다임과 촘스키의 관계는 본인도 자처할 뿐만 아니라 문헌들에서도 널리 지적된다).

촘스키는 최근 인터뷰에서 ChatGPT는 표절 기계일 뿐이며 진정한 언어를 구사하는 것이 아니라고 강경한 입장을 밝혔다. 이 인터뷰는 다소 낡은 관점이라고 비판도 받았다. 여기에는 촘스키가 거의 혼자 힘으로 정립했을 뿐 아니라 뼈를 깎는 자기부정을 통해 여러 차례 혁신해낸 그 유명한 보편생성문법 이론이 현재 거대언어모델의 발전에서 적극적으로 사용되지 않고 있는 데 대한 일종의 불만(?)도 작용했을 수 있다. 그러나 촘스키 이론의 세부사항이나 이번의 인터뷰를 떠나서, 인간 언어능력의 본질에 관한 촘스키의 기본적 관점이 시사하는 지점은 분명히 유의미해 보인다.

• 비교

촘스키에 따르면 인간은 선험적인 틀로서의 언어 능력을 가지고 있다. 반면에 ChatGPT는 통계적 추론으로 흉내를 낼 뿐이다. 그런데 한편으로는, 우리 인간들 역시 어느 정도는 통계적 추론으로 언어를 말하고 있는 것은 아닌가 생각도 든다. 즉, 어떤 문장에 빈칸을 뚫어 놓았을 때 우리가 그것을 자연스럽게 채워넣을 수 있는건 문법 규칙을 선험적으로 알기 때문에 그런 것도 있지만, '다들 그렇게 하니까 나도 이렇게 한다'라는 학습의 결과도 작용할 수 있지 않을까? (여기서 촘스키가 말하는 문법 규칙은 개별 언어에 존재하는 실용문법이 아니라, 인간이 가진 보편적 언어능력으로서 더 근본적인 것이다)

또한 우연과 필연도 구분해볼 필요가 있다. 예컨대 문법의 가장 쉬운 예인, ‘명사와 동사/형용사가 관계맺는 방식’을 생각해 보자. 이것은 우리 물리적 세계 및 사회문화적 세계의 작동방식 (사물이건 인격이건 어떤 ‘배우’가 존재하고, 그것이 세상이라는 ‘무대’에서 어떠한 행동을 하거나 속성을 갖는다) 에 잘 부합하는 것 같다. 따라서 설령 이미 형성된 규칙을 따라하는 것이더라도, 그 규칙이 ‘하필 그렇게’ 형성된 어떠한 이유가 있을 거라고 생각해 볼 수 있다.

또한 ChatGPT가 구사하는 조리있는 언어가 통계적 예측을 통한 학습의 결과이더라도, 학습이라는 것은 결국 신경망의 파라미터 조절이며, ChatGPT는 그렇게 잘 조절된 파라미터를 가지고 고정되어 있는 모델일 뿐이다. 그렇다면, 만약에 인공신경망의 카오스를 걷어내고 언어현상의 구사에 핵심 역할을 하는 가지들 위주로만 남긴다면, 그 또한 ChatGPT가 가지고 있는 일종의 ‘선험적 틀’로 간주하지 못할 이유는 무엇일까?

물론 이런 것도 언어학자들과 인지과학자들, 인문학자들이 이미 자세히 생각을 해 두었을 것이다. 아무튼 이처럼, 언어현상이 통계적인 재현인지 혹은 선험적 능력인지의 문제는 굉장히 복합적인 주제임은 분명해 보인다.

Concluding Remarks: '일잘러'를 향하여

몇 가지 질문거리와 논점들을 던지면서 마무리하겠습니다. 얼룩소 더 레이스에서 이번 주제의 키워드는 바로 ‘일잘러’, 즉 일을 잘 하는 사람에 대한 것이었죠. 본문에서도 이런저런 얘기를 잔뜩 했는데, 이러한 이해와 질문들을 바탕으로 우리가 고민해야 할 것은 결국 거대언어모델을 어떻게 해야 잘 활용할까 하는 것입니다. 이러한 고민들을 아래에서 명시적으로 꺼내봅니다.



말로 엔지니어링을 하는 ‘프롬프트 엔지니어’가 직군으로 확고하게 자리잡을 수 있을까요? 만약에 잘 자리잡는다면, 창작, 코딩, 교육 등 어떤 분야에서 제일 많은 변화를 일으키게 될까요? 그리고 프롬프트 엔지니어가 되기 위해서는 어떤 소양이 필요할까요?

맨 위에서도 이미 요약했지만, 본문에서는 크게

• 창의적인 생각을 떠올리고 그것을 객관적, 논리적으로 표현해낼 수 있는 능력
• 기계의 의인화를 필요에 따라 효과적으로 형성하거나 지체없이 파기할 수 있는 인지적 유연함
• 기술적 작동원리를 어느정도 이해하고, AI가 만든 텍스트의 성격을 잘 파악할 수 있는 리터러시
• 세상으로부터 이상한 것들과 새로운 것들을 포착해서 개념화할 수 있는 창의적이고 인간적인 역량
• 우연히 나온 결과와, 생성모델의 주요한 역량을 직접 반영하는 결과를 구분하기

등등이 필요하다고 했습니다 (사실 마지막 것은 위에서 직접 자세히 다루지는 않은 것 같습니다).

또 다른 소양들은 어떤 것이 있을까요? 그리고 그러한 소양들은 ChatGPT를 비롯한 인공지능 조수가 없는 전통적 상황에서의 ‘일잘러’의 능력과 결국 비슷해질까요?

한편, 감정과 의지를 가지고 있으며 유한한 시간을 사용하는 사람들을, 이해시키고 설득시켜서 의지를 모으는 것은 어려운 작업입니다. 그러나 기계는 무조건적인 우호성, 성실성을 갖추고 있으며 작업의 속도 역시 빠릅니다. 따라서 소셜 스킬이 부족해서 프로젝트 기획 능력이 부족했던 사람들이, 새로운 방식으로 높은 기획능력을 보여주는 일이 생길 수 있어 보입니다.

전통적인 ‘일잘러’에게서는 개인의 능력도 중요하지만, 협력하는 팀원들의 감정과 의지에 해당하는 부분까지 잘 케어해서 ‘일이 되게끔 하는’ 것이 중요합니다. 인공지능을 이용해서 높은 생산성을 얻는 경우 직접적으로는 이러한 부분이 없습니다. 그러나 이 경우에도 결국에는 감정과 의지를 가진 사람들과 협력해야 하는 상황이 많이 생깁니다. 이렇게 AI가 업무 프로세스에 끼어들어 있을 경우에, ‘사람들간의’ 리더십에서 새롭게 요구되는 소양은 어떤 것이 있을까요?

거대언어모델로부터 원하는 출력을 얻어내기 위한 여러가지 기술적 노하우들도 있습니다. 이 글의 맨 위에서도, 지난번 글을 요약하면서 이런 얘기들을 했습니다. 이러한 노하우들은 각 언어모델 별 특징 내지는 성능 부족으로 인한 아티팩트(비본질적 효과)일 뿐일까요, 아니면 포스트휴먼 상호작용의 본질적인 부분을 건드리고 있는 것일까요?





한편, 바로 다음 주면 현재 GPT의 다음 세대 모델인 GPT-4가 공개된다는 관계자의 발언이 꽤 널리 퍼졌습니다 (물론 확실히는 모릅니다). 이 GPT-4는 텍스트뿐만 아니라 이미지 등 여러 포맷을 통한 상호작용을 자유롭게 할 수 있는 Multi-modal 서비스로 공개될 가능성이 가장 높게 점쳐지고 있습니다. 만약에 그렇다면 지금처럼 여러 api를 결합하는 작업 없이 GPT-4 하나만으로도 상당히 다채로운 종류의 상호작용이 가능해지는 것입니다. 설령 이번 GPT-4가 아니더라도, 거대언어모델의 놀라운 가능성이 한번 이러한 파급력을 일으킨 이상, 근시일 내에 반드시 높은 성능으로 실현될 것입니다. 따라서, 거대언어모델이 언어가 아닌 다른 영역과도 결합되는 경우를 반드시 생각해 보아야 합니다.

예를 들어서 그림을 그려주는 인공지능들의 경우는, 예술적인 스타일의 일러스트뿐 아니라 제품 디자인에 가까운 작업도 무척 잘 수행해서, 아이디어를 얻게끔 해 줍니다. 

또한, 많은 IT 공룡기업들의 수익 모델은 결국은 광고입니다. 텍스트로부터 영상을 만들어내는 모델 (대표적으로 Facebook 연구진들이 발표)의 경우, 실제 연구자들은 재미있어서 했겠지만, 돈을 벌어야 하는 회사들의 입장에서 그러한 일을 정당화하는 명분은 주로 광고 자동 생성이라고 합니다. 듣고보니 확실히 광고회사에 기획과 영상제작을 맡기는 것에 비해 비용과 시간이 크게 절감될 것 같습니다.

이렇게 언어가 아닌 다른 부문에 거대언어모델이 결합하는 상황들에서는, 각 경우에 어떤 유형의 사람이 ‘일잘러’가 될 수 있을까요? 각 부문에 대한 지식 (domain knowledge) 외에 필요한 것은 어떤 게 있을까요?
.
.
.
.
.

덧글로 많은 의견 부탁드립니다. 마지막으로, 읽어주시는 분들께 하는 인사를 ChatGPT를 통해 대신 생성해 보았습니다.

극도로 길고 공손한 영어 표현 만들어 보기.

읽어주셔서 감사합니다.

Facebook에서 이 글 보기: 링크

alookso에서 이 글 보기: 링크 (소셜 로그인 필요)

(본 포스팅은 2023년 3월 8일에 alookso에 게재하였고 동년 9월 8일자로 블로그에도 옮겨둡니다)