Но защищая обе стороны, не угрожая ни одной, активные щиты могли бы ослабить цикл гонки вооружений.
Технические, экономические и стратегические вопросы, поднимаемые активными щитами сложны, и они могут быть, а могут не быть практическими в предассемблерную эру. Если они практические, то будет несколько возможных подходов к их построению. В одном подходе, сотрудничающие демократии построили бы щиты в одностороннем порядке. Чтобы дать возможность другим нациям удостовериться, что система будет и (что более важно) не будет делать, мы могли бы позволить многосторонние инспекции ключевых конструкций, компонентов, и шагов производства. Нам не нужно выдавать все участвующие технологии, почему "знаю что" не то же самое, что "знаю как". В другом подходе, мы бы строили щиты совместно, ограничивая передачу технологии до минимума, необходимого для кооперации и верификации (используя принципы, обсуждаемые в Примечаниях).
У нас больше шанса запретить космические вооружения, чем нанотехнологию, и это могло бы даже быть лучшим способом минимизировать наши краткосрочные риски. В выборе долгосрочной стратегии контроля гонки вооружений, однако мы должны рассматривать больше, чем следующий шаг. Анализ, который я обрисовал в этой главе подсказывает, что традиционные подходы к контролю вооружений, основанные на переговорах о проверяемых ограничениях, не могут справиться с нанотехнологией. Если это так, то нам нужно разработать альтернативные подходы. Активные щиты - что кажется существенным, в конченом счёте могут предложить новую стабилизирующую альтернативу гонке вооружений в космосе. Исследуя эту альтернативу, мы можем исследовать основные вопросы, общие для всех активных щитов. Если мы в этом случае их разработаем, мы получим опыт и построим институциональные механизмы, которые могут позже оказаться существенными для нашего выживания.
Активные щиты - новый выбор, основанный на новых технологиях. Чтобы заставить их работать, потребуется творческий, междисциплинарный синтез идей в проектировании, стратегии и международных отношениях. Они предложат новые возможности, которые могут позволить нам избежать старых тупиков. Они очевидно предложат ответ на старый вопрос защиты без угрозы - но не простой ответ.
Власть, зло, некомпетентность и лень
Я обрисовал, как нанотехнология и продвинутый ИИ дадут огромную власть ведущей силе - власть, которая может быть использована чтобы уничтожить жизнь, или чтобы расширить и освободить её. Поскольку мы не можем остановить эти технологии, представляется, что мы должны как-то справиться с возникновением концентрации власти, большей, чем любая другая в истории.
Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.
Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов - государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.
Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.
Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.
Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло - слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность - слишком ли мы глупы, чтобы делать правильные вещи? Лень - слишком ли мы ленивы, чтобы подготовиться?
Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.
Демократические правительства - большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.
Некомпетентность будет кончено неизбежна, но должна ли она быть фатальной? Мы, человеческие существа, по своей природе глупы и невежественны, однако мы иногда ухитряемся объединить наши кусочки компетентности и знания, чтобы достигать великих вещей. Никто не знает, как долететь до Луны и никто никогда не узнает, однако дюжина людей прошлась по её поверхности. Мы преуспели в технических вопросах, потому что научились строить институты, которые собирают многих людей вместе, чтобы генерировать и проверять идеи. Эти институты добиваются надёжности путём избыточности, и качество их результатов зависит от во многом от того, как сильно это нас заботит и как напряжённо мы работаем. Когда мы концентрируем достаточно внимания и ресурсов на надёжности, мы часто преуспеваем. Это - то, почему полёты на Луну закончились успешно без гибели в космосе и почему никакое ядерное оружие никогда не было запущено и не взорвалось по случайности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95
Технические, экономические и стратегические вопросы, поднимаемые активными щитами сложны, и они могут быть, а могут не быть практическими в предассемблерную эру. Если они практические, то будет несколько возможных подходов к их построению. В одном подходе, сотрудничающие демократии построили бы щиты в одностороннем порядке. Чтобы дать возможность другим нациям удостовериться, что система будет и (что более важно) не будет делать, мы могли бы позволить многосторонние инспекции ключевых конструкций, компонентов, и шагов производства. Нам не нужно выдавать все участвующие технологии, почему "знаю что" не то же самое, что "знаю как". В другом подходе, мы бы строили щиты совместно, ограничивая передачу технологии до минимума, необходимого для кооперации и верификации (используя принципы, обсуждаемые в Примечаниях).
У нас больше шанса запретить космические вооружения, чем нанотехнологию, и это могло бы даже быть лучшим способом минимизировать наши краткосрочные риски. В выборе долгосрочной стратегии контроля гонки вооружений, однако мы должны рассматривать больше, чем следующий шаг. Анализ, который я обрисовал в этой главе подсказывает, что традиционные подходы к контролю вооружений, основанные на переговорах о проверяемых ограничениях, не могут справиться с нанотехнологией. Если это так, то нам нужно разработать альтернативные подходы. Активные щиты - что кажется существенным, в конченом счёте могут предложить новую стабилизирующую альтернативу гонке вооружений в космосе. Исследуя эту альтернативу, мы можем исследовать основные вопросы, общие для всех активных щитов. Если мы в этом случае их разработаем, мы получим опыт и построим институциональные механизмы, которые могут позже оказаться существенными для нашего выживания.
Активные щиты - новый выбор, основанный на новых технологиях. Чтобы заставить их работать, потребуется творческий, междисциплинарный синтез идей в проектировании, стратегии и международных отношениях. Они предложат новые возможности, которые могут позволить нам избежать старых тупиков. Они очевидно предложат ответ на старый вопрос защиты без угрозы - но не простой ответ.
Власть, зло, некомпетентность и лень
Я обрисовал, как нанотехнология и продвинутый ИИ дадут огромную власть ведущей силе - власть, которая может быть использована чтобы уничтожить жизнь, или чтобы расширить и освободить её. Поскольку мы не можем остановить эти технологии, представляется, что мы должны как-то справиться с возникновением концентрации власти, большей, чем любая другая в истории.
Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.
Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов - государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.
Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.
Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.
Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло - слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность - слишком ли мы глупы, чтобы делать правильные вещи? Лень - слишком ли мы ленивы, чтобы подготовиться?
Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.
Демократические правительства - большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.
Некомпетентность будет кончено неизбежна, но должна ли она быть фатальной? Мы, человеческие существа, по своей природе глупы и невежественны, однако мы иногда ухитряемся объединить наши кусочки компетентности и знания, чтобы достигать великих вещей. Никто не знает, как долететь до Луны и никто никогда не узнает, однако дюжина людей прошлась по её поверхности. Мы преуспели в технических вопросах, потому что научились строить институты, которые собирают многих людей вместе, чтобы генерировать и проверять идеи. Эти институты добиваются надёжности путём избыточности, и качество их результатов зависит от во многом от того, как сильно это нас заботит и как напряжённо мы работаем. Когда мы концентрируем достаточно внимания и ресурсов на надёжности, мы часто преуспеваем. Это - то, почему полёты на Луну закончились успешно без гибели в космосе и почему никакое ядерное оружие никогда не было запущено и не взорвалось по случайности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95