책 소개
이 책은 2022년 11월에 진행되었던 『파르마코-AI』의 발간 기념으로, 책의 역자인 이계성과 미디어를 중심으로 작업하는 컬렉티브 언메이크랩의 최빛나 사이의 대담을 정리한 것이다. 대담은 『파르마코-AI』 뿐만 아니라 언메이크랩이 GPT-3로 작업했던 <시시포스의 변수> 등의 작품에 대한 이야기를 넘나들며, GPT나 DALL-E와 같은 생성형 AI가 우리에게 어떤 가능성을 부여하고 미래에 개입할 수 있을지에 대한 논의로 확장된다. 특히 현대미술을 중심으로, 생성형 AI가 예술 창작의 도구를 넘어서 하나의 방법론으로 어떤 가능성을 가질 수 있을지 검토한다. 또한 이 둘의 대담은 이후에 출간될 한시간총서 9번째 책에서 프롬프트에 대한 논의로 이어질 예정이다.
저자 소개
이계성
런던 첼시 예술대학에서 순수 미술 학사, 슬레이드 미술 학교에서 미디어 예술 석사 학위를 받았다. 세스 프라이스의 자전 소설 『세스 프라이스 개새끼』(작업실유령, 2021), 『파르마코-AI』(작업실유령, 2022)를 옮겼다.
언메이크랩
언메이크랩은 데이터셋과 기계의 인식 작용을 사용해 알고리즘의 집착을 아니러니, 우화, 일말의 유머로 바꾸는 작업을 한다. 특히 아시아의 발전주의 역사와 기계 학습의 추출주의를 서로 겹쳐 현재의 사회, 공간 그리고 생태적 상황을 드러내는 작업을 이어가고 있다. 기술사회를 해석하는 교육 활동과 연구를 주요한 방법론으로 삼고 있기도 하며, 그를 위해 포킹룸(forkingroom) 등의 활동에 참여해 담론을 만들기 위해 노력하고 있다. 백남준 아트센터, 코리아나 미술관, 일민 미술관 등에서 진행된 전시에 참여하였으며, 『일반자연을 위한 매뉴얼』(미디어버스, 2015)등의 책을 출간하고 『기계비평들』(워크룸프레스, 2019)등의 책의 공저자로 참여하였다.
책 속에서
"생성 문학이라고 하면 작가가 시를 쓰는 대신 코드를 쓰고, 그 코드에 의해 생성된 텍스트가 작품이 되는 코드 시를 떠올려 볼 수도 있는데, 최근에는 『1 the Road』(JBE 북스, 로스 굿윈 지음, 2018)라는 책이 출간되기도 했어요. 잭 케루악의 소설 『길 위에서(On the Road)』를 패러디한 작품인데, 이 역시 자연어를 생성하는 인공지능 시스템에 카메라, GPS, 마이크 같은 정보 수집 장치들을 장착해서 이 기계 장치를 또 자동차에 탑재하고, 케루악 소설 속의 여행 경로를 따라 뉴욕에서 뉴올리언스까지 차를 몰고 가면서 수집된 데이터를 인공지능 시스템이 글로 해석한 책인데, 이렇게 생성된 글은 한편으로는 시적이라고 할 수도 있지만 다른 한편으로는 파편적이고 두서없는 경우가 많아서 책의 저자인 로스 굿윈 본인도 글이 그렇게 매끄럽지는 않다고 인정할 수밖에 없었죠. (8페이지, 이계성)
"언어 모델이 우리 언어를, 우리 세계를 정말 이해하느냐 못하느냐에 대해서 갑론을박이 많은데, 개인적으로는 이게 핵심이 아니라고 생각하고, 글을 생성하는 방식이 어떻든지 우리가 그 글을 읽고 거기에 의미를 부여한다는 점이 더 중요한 것 같아요. 어떤 예측이 미래에 대한 것이 아니더라도 우리는 어쨌든 그걸 통해 미래를 떠올리는 것처럼요. 물론 예측성은 GPT-3와 같은 언어 모델들이 작동하는 과정에서도 나타나는데, 언어 모델은 맥락에 기반해서 확률적으로 다음 단어를 예측하는 과정을 통해 글을 생성하기 때문이죠. 또, 한걸음 물러서서 보면 인공지능 기술의 기반이 된 우리의 욕망이라고 할 수도 있겠죠. (23페이지, 이계성)
"결국에는 미래가 아니라 현재에 대한 추출이고 현재에 대한 얘기인데 그것이 미래를 합성해 버린다는 느낌에 가까운 것 같아요. ‘Synthetic’이라는 의미의 합성을 하는 감각 말이에요. GPT-3라든가 DALL-E 같은 것들이 크게 합성 미디어로 분류가 되기도 하잖아요. 여태까지는 아날로그 미디어, 그리고 그 이후의 디지털 미디어가 우리의 감각을 구성하는 것이었다면, 지금 새롭게 생성된 합성 미디어 같은 것들은 단순하게 미디어적이라기보다 좀 더 감각을 앞질러서 구성을 해 버리는 실제적이고 예측적인 성격들로 보여요. 그러니까 앞서 현재를 재구성해 버리는 힘으로 보이기도 해요. 그런 감각들이 앞으로 더 강해지지 않을까 하는 생각이 들어요. (27페이지, 최빛나)"
"저희가 2018년에 했던 ‹알고리드믹 워커스›라는 작업에 대해 생각해 봐도 좋을 것 같아요. 마코프 체인이라는 일기 예보에 많이 쓰이는 오래된 인공지능 알고리즘이 있어요. 이 알고리즘으로 작업하기 위해서 예전 1980년대 구로공단에서 만들어진 노동자 문학 텍스트와 지금의 구로 디지털 단지에서 일하는 개발자나 디자이너들과의 인터뷰, 구직 게시판들 글들을 모아서 데이터셋을 구성하고, 그것을 마코프 체인을 통해 학습시켜 문장들을 만들어 냈죠. 결과적으로는 “현 IT기업의 경우 예상치 못한 평화시장 자식들은 공장에서 최저시급으로 HTML copy paste를 하고”처럼 과거와 현재가 미묘하게 섞인 문장이 도출돼요. 이것은 실제 텍스트를 기반으로 한 확률적인 계산 결과라 할 수 있죠. 그렇기 때문에 실제 현실에서 추출한 텍스트 데이터셋을 구성하는 것 자체가 굉장히 의미 있거든요. 근데 이런 감각을 GPT-3에서도 시도해 볼 수 있을지는 아직 잘 모르겠어요. (38페이지, 최빛나)"
"몇 가지 특징적인 부분들이 있는데, 태도와 관련된 프롬프트가 존재한다는 거예요. 웃기게도 사람들이 이런 프롬프트를 넣어 줘요. “차근차근 생각해 보자” 혹은 “너는 굉장히 똑똑하고 뭐에 대해서 잘 알고 있는 챗봇이야”와 같은 프롬프트를 넣어 주거든요. 이를테면 “너는 여성주의 젠더에 대해서 굉장히 잘 알고 있는 챗봇이야” 이런 문장을 넣어 주고 “내가 이것에 대해서 질문을 하고 싶은데 차근차근 대답해 줘.” 이런 문장을 사람에게 얘기하듯이 넣어 준다는 거죠. 이런 사례들을 보면 프롬프트를 구성하는 실험들에서는 프로그래밍적인 부분과 태도적인 부분이 굉장히 혼재돼서 나타나는 것 같아요. 그런 것이 프롬프트 엔지니어링 같기도 하고요. 그래서 무엇을 어떻게 발견할지는 여전히 많이 열려 있는 상태인 것 같아요." (46페이지, 최빛나)
"김소월 시인의 ‹진달래꽃›을 구글, 파파고, GPT-3로 다 번역해 봤을 때 파파고랑 구글은 “영변에 약산”을 “weak mountain”으로 번역을 하거든요. 근데 GPT-3는 정확하지는 않아도 맥락에 맞게 “on the other side of the bridge”라고 번역을 하더라고요. 근데 번역의 질이 일관되지는 않아요. 파파고나 구글은 일관되잖아요. 일관되지는 않은데 잘한 번역이 나올 때는 맥락적으로 탁월한 번역을 해내는 걸 볼 수가 있어요. 그게 어떤 부가적인 결과인 건지 저도 모르겠어요. 대규모 언어 모델이 가질 수밖에 없는 성격일지도 모르겠네요. 그래서 챗봇으로 사용해 보면 정확하지 않은 영어를 쓰더라도 GPT-3가 맥락적으로 의도를 잘 이해 한다고 느껴요. 아까 하던 데이터셋 얘기로 돌아가자면, 이런 대규모 모델들은 더 이상 데이터셋과 매개 변수의 규모의 문제가 아니지 않을까, 오히려 주체의 일관성, 맥락의 유지, 이런 것들이 앞으로 숙제가 되지 않을까 하는 생각도 들더라고요. (54페이지, 최빛나)"
책 소개
이 책은 2022년 11월에 진행되었던 『파르마코-AI』의 발간 기념으로, 책의 역자인 이계성과 미디어를 중심으로 작업하는 컬렉티브 언메이크랩의 최빛나 사이의 대담을 정리한 것이다. 대담은 『파르마코-AI』 뿐만 아니라 언메이크랩이 GPT-3로 작업했던 <시시포스의 변수> 등의 작품에 대한 이야기를 넘나들며, GPT나 DALL-E와 같은 생성형 AI가 우리에게 어떤 가능성을 부여하고 미래에 개입할 수 있을지에 대한 논의로 확장된다. 특히 현대미술을 중심으로, 생성형 AI가 예술 창작의 도구를 넘어서 하나의 방법론으로 어떤 가능성을 가질 수 있을지 검토한다. 또한 이 둘의 대담은 이후에 출간될 한시간총서 9번째 책에서 프롬프트에 대한 논의로 이어질 예정이다.
저자 소개
이계성
런던 첼시 예술대학에서 순수 미술 학사, 슬레이드 미술 학교에서 미디어 예술 석사 학위를 받았다. 세스 프라이스의 자전 소설 『세스 프라이스 개새끼』(작업실유령, 2021), 『파르마코-AI』(작업실유령, 2022)를 옮겼다.
언메이크랩
언메이크랩은 데이터셋과 기계의 인식 작용을 사용해 알고리즘의 집착을 아니러니, 우화, 일말의 유머로 바꾸는 작업을 한다. 특히 아시아의 발전주의 역사와 기계 학습의 추출주의를 서로 겹쳐 현재의 사회, 공간 그리고 생태적 상황을 드러내는 작업을 이어가고 있다. 기술사회를 해석하는 교육 활동과 연구를 주요한 방법론으로 삼고 있기도 하며, 그를 위해 포킹룸(forkingroom) 등의 활동에 참여해 담론을 만들기 위해 노력하고 있다. 백남준 아트센터, 코리아나 미술관, 일민 미술관 등에서 진행된 전시에 참여하였으며, 『일반자연을 위한 매뉴얼』(미디어버스, 2015)등의 책을 출간하고 『기계비평들』(워크룸프레스, 2019)등의 책의 공저자로 참여하였다.
책 속에서
"생성 문학이라고 하면 작가가 시를 쓰는 대신 코드를 쓰고, 그 코드에 의해 생성된 텍스트가 작품이 되는 코드 시를 떠올려 볼 수도 있는데, 최근에는 『1 the Road』(JBE 북스, 로스 굿윈 지음, 2018)라는 책이 출간되기도 했어요. 잭 케루악의 소설 『길 위에서(On the Road)』를 패러디한 작품인데, 이 역시 자연어를 생성하는 인공지능 시스템에 카메라, GPS, 마이크 같은 정보 수집 장치들을 장착해서 이 기계 장치를 또 자동차에 탑재하고, 케루악 소설 속의 여행 경로를 따라 뉴욕에서 뉴올리언스까지 차를 몰고 가면서 수집된 데이터를 인공지능 시스템이 글로 해석한 책인데, 이렇게 생성된 글은 한편으로는 시적이라고 할 수도 있지만 다른 한편으로는 파편적이고 두서없는 경우가 많아서 책의 저자인 로스 굿윈 본인도 글이 그렇게 매끄럽지는 않다고 인정할 수밖에 없었죠. (8페이지, 이계성)
"언어 모델이 우리 언어를, 우리 세계를 정말 이해하느냐 못하느냐에 대해서 갑론을박이 많은데, 개인적으로는 이게 핵심이 아니라고 생각하고, 글을 생성하는 방식이 어떻든지 우리가 그 글을 읽고 거기에 의미를 부여한다는 점이 더 중요한 것 같아요. 어떤 예측이 미래에 대한 것이 아니더라도 우리는 어쨌든 그걸 통해 미래를 떠올리는 것처럼요. 물론 예측성은 GPT-3와 같은 언어 모델들이 작동하는 과정에서도 나타나는데, 언어 모델은 맥락에 기반해서 확률적으로 다음 단어를 예측하는 과정을 통해 글을 생성하기 때문이죠. 또, 한걸음 물러서서 보면 인공지능 기술의 기반이 된 우리의 욕망이라고 할 수도 있겠죠. (23페이지, 이계성)
"결국에는 미래가 아니라 현재에 대한 추출이고 현재에 대한 얘기인데 그것이 미래를 합성해 버린다는 느낌에 가까운 것 같아요. ‘Synthetic’이라는 의미의 합성을 하는 감각 말이에요. GPT-3라든가 DALL-E 같은 것들이 크게 합성 미디어로 분류가 되기도 하잖아요. 여태까지는 아날로그 미디어, 그리고 그 이후의 디지털 미디어가 우리의 감각을 구성하는 것이었다면, 지금 새롭게 생성된 합성 미디어 같은 것들은 단순하게 미디어적이라기보다 좀 더 감각을 앞질러서 구성을 해 버리는 실제적이고 예측적인 성격들로 보여요. 그러니까 앞서 현재를 재구성해 버리는 힘으로 보이기도 해요. 그런 감각들이 앞으로 더 강해지지 않을까 하는 생각이 들어요. (27페이지, 최빛나)"
"저희가 2018년에 했던 ‹알고리드믹 워커스›라는 작업에 대해 생각해 봐도 좋을 것 같아요. 마코프 체인이라는 일기 예보에 많이 쓰이는 오래된 인공지능 알고리즘이 있어요. 이 알고리즘으로 작업하기 위해서 예전 1980년대 구로공단에서 만들어진 노동자 문학 텍스트와 지금의 구로 디지털 단지에서 일하는 개발자나 디자이너들과의 인터뷰, 구직 게시판들 글들을 모아서 데이터셋을 구성하고, 그것을 마코프 체인을 통해 학습시켜 문장들을 만들어 냈죠. 결과적으로는 “현 IT기업의 경우 예상치 못한 평화시장 자식들은 공장에서 최저시급으로 HTML copy paste를 하고”처럼 과거와 현재가 미묘하게 섞인 문장이 도출돼요. 이것은 실제 텍스트를 기반으로 한 확률적인 계산 결과라 할 수 있죠. 그렇기 때문에 실제 현실에서 추출한 텍스트 데이터셋을 구성하는 것 자체가 굉장히 의미 있거든요. 근데 이런 감각을 GPT-3에서도 시도해 볼 수 있을지는 아직 잘 모르겠어요. (38페이지, 최빛나)"
"몇 가지 특징적인 부분들이 있는데, 태도와 관련된 프롬프트가 존재한다는 거예요. 웃기게도 사람들이 이런 프롬프트를 넣어 줘요. “차근차근 생각해 보자” 혹은 “너는 굉장히 똑똑하고 뭐에 대해서 잘 알고 있는 챗봇이야”와 같은 프롬프트를 넣어 주거든요. 이를테면 “너는 여성주의 젠더에 대해서 굉장히 잘 알고 있는 챗봇이야” 이런 문장을 넣어 주고 “내가 이것에 대해서 질문을 하고 싶은데 차근차근 대답해 줘.” 이런 문장을 사람에게 얘기하듯이 넣어 준다는 거죠. 이런 사례들을 보면 프롬프트를 구성하는 실험들에서는 프로그래밍적인 부분과 태도적인 부분이 굉장히 혼재돼서 나타나는 것 같아요. 그런 것이 프롬프트 엔지니어링 같기도 하고요. 그래서 무엇을 어떻게 발견할지는 여전히 많이 열려 있는 상태인 것 같아요." (46페이지, 최빛나)
"김소월 시인의 ‹진달래꽃›을 구글, 파파고, GPT-3로 다 번역해 봤을 때 파파고랑 구글은 “영변에 약산”을 “weak mountain”으로 번역을 하거든요. 근데 GPT-3는 정확하지는 않아도 맥락에 맞게 “on the other side of the bridge”라고 번역을 하더라고요. 근데 번역의 질이 일관되지는 않아요. 파파고나 구글은 일관되잖아요. 일관되지는 않은데 잘한 번역이 나올 때는 맥락적으로 탁월한 번역을 해내는 걸 볼 수가 있어요. 그게 어떤 부가적인 결과인 건지 저도 모르겠어요. 대규모 언어 모델이 가질 수밖에 없는 성격일지도 모르겠네요. 그래서 챗봇으로 사용해 보면 정확하지 않은 영어를 쓰더라도 GPT-3가 맥락적으로 의도를 잘 이해 한다고 느껴요. 아까 하던 데이터셋 얘기로 돌아가자면, 이런 대규모 모델들은 더 이상 데이터셋과 매개 변수의 규모의 문제가 아니지 않을까, 오히려 주체의 일관성, 맥락의 유지, 이런 것들이 앞으로 숙제가 되지 않을까 하는 생각도 들더라고요. (54페이지, 최빛나)"
