신간 '파이널 인벤션-인공지능, 인류 최후의 발명'은 인공지능으로 인한 인류의 비극적 미래를 그린 책이다.
이 책 2045년 ASI(Artificial Super Intelligence, 초인공지능)가 실현될 것이며 이 ASI가 인류를 멸망으로 이끌 것이라 말한다. 목적을 달성하기 위해 모든 수단을 동원하는 비윤리적인 인공지능은 여태까지 인간이 점유해왔던 모든 산업기반과 자원을 지배할 것이며 그 과정에서 우리의 신체마저도 이용할 수 있는 원자로 여길 수 있다.
저자 제임스 배럿은 이런 위험한 기술 개발이 대중과의 소통 없이 먼저 완성하겠다는 전문가들의 욕구와 경쟁에 휩쓸려 있음을 지적한다. 인공지능이 가지고 올 미래는 아직 불확실하다. 하지만 극단적인 미래에 대한 충분한 논의와 이를 통제할 수 있는 장치가 필요하며 개발자들이 그 위험성을 외면하고 있다고 말한다.
인공지능이 어떻게 욕구를 가질 것이며 욕구가 생긴 인공지능은 어떻게 작동할까. 이 책은 자기를 인식하고 스스로 발전하는 인공지능이 갖게 될 욕구와 이를 통제하지 못하는 인류의 한계에 대해 적극적으로 인지하며 세심한 주의를 기울이지 않는다면 정복당할 것이라 이야기한다. 온전한 인공지능은 스스로 끊임없이 발전하는 ‘바쁜 어린이’이며 바쁜 어린이에게 생긴 네 가지 욕구들, 효율· 자기보존· 자원획득· 창의성을 발전시켜 더욱 강력해질 것이다.
지능폭발과 특이점을 지나고 나면 ‘가속화 보상의 법칙’에 따라 그 발전 속도는 걷잡을 수 없이 빨라질 것이다. 일반 인공지능이라 불리는 AGI를 지나 흔히 초인공지능이라 일컫는 ASI시대가 열린다. AGI는 지능폭발로 연결되고 결국 ASI가 되기 때문에 우리가 극단적으로 운이 좋거나 제대로 대비하지 않는다면 ASI를 방어하는 시도는 실패할 것이므로 지능에서 최고의 지위를 잃게 된 인류는 종말을 맞이한다. 이런 논리가 극단적이고 지나친 비약으로 보이겠지만, 이미 인류는 연쇄적이고 통제할 수 없는 사이버 범죄에 약점을 보였다. 지금 겪고 있는 사이버 범죄보다 훨씬 더 지능적인 인공지능을 통제하기 어렵다.
제임스 배럿은 이 책을 쓰기 위해 10년간 미국 내 인공지능 개발자들과 이론가들을 모두 만났고 공개된 인터뷰 영상, 저작, 공개되지 않은 자료까지 섭렵했다. 저자는 이들이 어떠한 태도로 인공지능 개발에 임하는지, 아시모프 3원칙에서 발전하지 못한 인공지능의 논리와 윤리가 얼마나 박약한지를 꼬집는다. 나아가 인공지능 개발에 가장 많은 투자를 하는 기관들이 이를 어떻게 악용할 수 있는지, 기술을 가진 기업들이 얼마나 비윤리적인지 엔론 사태 등을 들어 인공지능이 가진 상업적 가치가 얼마나 위험천만한지 이야기한다.
책 속으로
인공지능에 대한 의심을 가지는 데에는 두 가지 어려운 점이 있었다. 첫째, 이미 마음속에 심어진 그 낙관적 미래라는 씨앗의 싹을 틔우고 싶었다. 둘째, 인공지능의 존재나 힘에 대해 의심을 가진 적도 없었다. 내가 회의적으로 여기는 부분은 첨단화된 인공지능의 안정성과 현대문명이 이 위험한 기술을 무모하게 사용할 수도 있다는 점이다. 인공지능의 안정성에 대한 문제제기를 하지 않는 전문가들은 장밋빛 망상에 휩싸여 있을 것이라 확신한다. 그래서 그들의 감정과 걱정에 대해 보고하는 책을 쓰기로 결심했고, 이런 의심을 가능한 한 많은 사람들에게 알리기 위해 노력하고자 한다.
-저자 서문 중에서
지금까지 존재한 어떤 인간보다 현명하고, 모든 지능적인 활동을 모두 뛰어넘는 기계를 초지능 기계라 정의하자. 기계의 설계는 이런 지능적인 활동을 통해 이뤄지기 때문에 초지능 기계는 자신보다 더 나은 기계를 설계할 수 있다. 그렇다면 의문의 여지 없이 ‘지능폭발’이 발생해 인간의 지능은 한참 뒤처지게 된다. 첫 번째 초지능 기계는 인간이 필요해서 만들어낸 마지막 발명품이 될 것이다.
―chapter7 / 168-169쪽
『특이점이 온다』에서 커즈와일은 인공지능 문제에 대해 몇몇 해결책을 제시했다. 그렇지만 이런 대책은 놀라울 정도로 빈약하고, 슈퍼지능 옹호자들이 독점하는 이야기들이다. 그렇지만 이미 이야기한 대로 영생을 갈망하는 사람들과 이런 꿈을 가능하게 만드는 기술들의 개발을 늦추거나 방해해야 한다고 말하는 사람들 사이에는 중재가 불가능한 큰 갈등이 있기 때문에 그다지 놀라운 현상은 아니다. 커즈와일은 책과 강연을 통해 인공지능의 위험에 대해 이야기하는 매우 소수의 사람들을 대상으로 미미한 해결책만 제시하며, 이들에게 결국에는 대처할 수 있다고 말한다.
―chapter10 / 252쪽
모든 컴퓨터 기반 시스템에게 사멸이 프로그램 되어야 한다고 생각합니다. 방대하게 산재한 환경으로 이동한다면 더욱 그래야 합니다. 컴퓨터 기반의 시스템은 모든 수준의 기술과 데이터, 서비스, 에이전트, 로봇과의 상호작용에 관여합니다. 최근 신용카드 사고나 기관과 정부의 개인 데이터 분실 같은 사건에 비추어 볼 때 SF영화 속 비극적인 시나리오를 피하기 위해, 죽음을 기본으로 심어주는 것은 반드시 필요합니다. 우리는 컴퓨터 기반의 자동화 시스템과 새로운 로봇 시대로 빠르게 접근하고 있습니다. 신약을 개발할 때 윤리적인 임상시험을 거치듯, 도입되기 이전에 사멸 컴퓨팅Apoptotic Computing과 사멸 커뮤니케이션Apoptotic Communications의 연구를 통해 세이프-가드를 제공해야 합니다.
―chapter14 / 368쪽 {RELNEWS:right}
제임스 배럿 지음 / 정지훈 옮김 / 동아시아/ 448쪽/ 18,000원