Корпорация «Бог и Голем»

«Корпорация «Бог и Голем». Обсуждение некоторых проблем, в которых кибернетика сталкивается с религией» (англ. God & Golem, Inc. A Comment in Certain Points where Cybernetics Impinged on Religion) — последняя книга Норберта Винера, впервые опубликованная посмертно в 1964 году.

Цитаты

	Машина может создавать сообщение, а сообщение может создавать другую машину. — III (проводя аналогию с живыми существами)
	The machine may generate the message, and the message may generate another machine.

	Я имел возможность развить свои идеи в курсе лекций, прочитанных в январе 1962 года в Йельском университете и на семинаре, организованном летом 1962 года на Международном философском коллоквиуме в Руайемоне, близ Парижа. Хотя настоящая книга и содержит материал из моих высказываний в обоих местах, он был полностью пересмотрен и переработан. — предисловие
	I found an opportunity to elaborate my ideas in a course of lectures which I gave in January of 1962 at Yale University, and in a seminar that was held in the summer of 1962 at the Colloques Philosophiques Internationaux de Royaumont near Paris. However, this book, though containing material from my talks at both these places, has been completely rewritten and reorganized.

	Даже живые системы не являются живыми (по всей вероятности) ниже молекулярного уровня. Кроме того, при всём различии между живыми системами и обычными механическими системами неверно было бы отказываться от мысли, что системы одного типа могут в какой-то мере помочь нам раскрыть сущность организации систем другого типа. — IV
	Even living systems are not (in all probability) living below the molecular level. Furthermore, with all the differences between living systems and the usual mechanical ones, it is presumptuous to deny that systems of the one sort may throw some light upon systems of the other.

V

Христианство, что бы там ни говорили, всегда считало грехом симонию <…>. Пусть силы машинного века на самом деле нельзя считать сверхъестественными, но всё же они не укладываются в представления простого смертного о естественном порядке вещей. И хотя мы больше не считаем своим долгом приводить эти колоссальные силы в движение ради вящей славы божьей, тем не менее, нам представляется неприемлемым пускать их в ход ради суетных или корыстных целей. Грех нашего времени состоит в том, что магические силы современной автоматизации служат для получения ещё больших прибылей или используются в целях развязывания ядерной войны с её апокалиптическими ужасами. Если этому пороку следует дать имя, мы вправе назвать его симонией или колдовством. <…> Среди фанатичных жрецов силы встречается немало таких, которые нетерпимо относятся к ограниченным возможностям человечества, и в особенности к ограничениям, связанным с ненадежностью и непредсказуемостью человеческого поведения. Эти обычно скрываемые склонности руководителя можно выявить по облику подчинённых, которых он себе выбирает. Они смиренны, незаметны и готовы выполнить любое его распоряжение; именно поэтому они, в общем-то, оказываются беспомощными, когда неожиданно перестают быть только механическими исполнителями его воли. Способные проявить огромное усердие и в то же время почти лишённые собственной инициативы, они подобны евнухам в гареме идей, с которыми обвенчан их султан. Помимо того что машинопоклонник преклоняется перед машиной за то, что она свободна от человеческих ограничений в отношении скорости и точности, существует ещё один мотив в его поведении, который труднее выявить в каждом конкретном случае, но который, тем не менее, должен играть весьма важную роль. Мотив этот выражается в стремлении уйти от личной ответственности за опасное или гибельное решение. Побуждения такого рода проявляются в попытках переложить ответственность за подобные решения на что и на кого угодно: на случай, на начальство, на его политику, которую-де не положено обсуждать, или на механическое устройство, которое якобы невозможно полностью постичь, но которое обладает бесспорной объективностью. Вероятно, мотивы такого же рода движут потерпевшими кораблекрушение, когда они тянут жребий, чтобы определить, кто должен быть съеден первым. Подобными аргументами искусно оперировала защита Эйхмана. Из таких же мотивов исходят и те, кто раздает одним солдатам, исполняющим приговор о расстреле, боевые патроны, а другим — холостые, с тем чтобы каждый солдат так никогда и не узнал, участвовал ли он в убийстве. Несомненно, что подобными же уловками будет пытаться успокаивать свою совесть то высокопоставленное должностное лицо, которое осмелится нажать кнопку первой (и последней) атомной войны. Это старый колдовской трюк, чреватый, правда, трагическими последствиями: после удачного исхода рискованного предприятия приносится в жертву первое встречное живое существо. Как только такой господин начинает сознавать, что некоторые человеческие функции его рабов могут быть переданы машинам, он приходит в восторг. Наконец-то он нашёл нового подчинённого — энергичного, услужливого, надежного, никогда не возражающего, действующего быстро и без малейших размышлений! Подчинённый такого типа выведен Чапеком в его пьесе «R.U.R.». Так же как и раб из «Лампы Аладдина», он ничего не требует, <…> но стоит только потереть лампу, как он появляется из ниоткуда. И если ради ваших целей вы решитесь пуститься в плавание против ветра общепринятой морали, ваш раб никогда не осудит вас, даже не бросит на вас вопрошающего взгляда. Теперь вы свободны плыть, куда вас влечёт судьба! Такая психология свойственна колдуну в полном смысле этого слова. Колдунов такого рода предостерегают не только церковные доктрины, но и органически присущий человечеству здравый смысл, выраженный в легендах, мифах и творениях здравомыслящих писателей. Все они сходятся на том, что колдовство не только грех, ведущий в ад, оно таит в себе опасность для самой жизни на Земле. Это обоюдоострый меч, который рано или поздно пронзит вас.

Be that as it may, Christianity has always considered simony as a sin <…>. Perhaps the powers of the age of the machine are not truly supernatural, but at least they seem beyond the ordinary course of nature to the man in the street. Perhaps we no longer interpret our duty as obliging us to devote these great powers to the greater glory of God, but it still seems improper to us to devote them to vain or selfish purposes. There is a sin, which consists of using the magic of modern automatization to further personal profit or let loose the apocalyptic terrors of nuclear warfare. If this sin is to have a name, let that name be Simony or Sorcery. <…> Of the devoted priests of power, there are many who regard with impatience the limitations of mankind, and in particular the limitation consisting in man's un-dependability and unpredictability. You may know a mastermind of this type by the subordinates whom he chooses. They are meek, self-effacing, and wholly at his disposal; and on account of this, are generally ineffective when they once cease to be limbs at the disposal of his brain. They are capable of great industry but of little independent initiative—the chamberlains of the harem of ideas to which their Sultan is wedded. In addition to the motive which the gadget worshiper finds for his admiration of the machine in its freedom from the human limitations of speed and accuracy, there is one motive which it is harder to establish in any concrete case, but which must play a very considerable role nevertheless. It is the desire to avoid the personal responsibility for a dangerous or disastrous decision by placing the responsibility elsewhere: on chance, on human superiors and their policies which one cannot question, or on a mechanical device which one cannot fully understand but which has a presumed objectivity. It is this that leads shipwrecked castaways to draw lots to determine which of them shall first be eaten. It is this to which the late Mr. Eichmann entrusted his able defense. It is this that leads to the issue of some blank cartridges among the ball cartridges furnished to a firing squad. This will unquestionably be the manner in which the official who pushes the button in the next (and last) atomic war, whatever side he represents, will salve his conscience. And it is an old trick in magic—one, however, rich in tragic consequences—to sacrifice to a vow the first living creature that one sees after safe return from a perilous undertaking. Once such a master becomes aware that some of the supposedly human functions of his slaves may be transferred to machines, he is delighted. At last he has found the new subordinate—efficient, subservient, dependable in his action, never talking back, swift, and not demanding a single thought of personal consideration. Such subordinates are contemplated in Capek's play R.U.R. The Slave of the Lamp makes no demands, <…> but appears out of nowhere when the lamp is rubbed. If your purposes involve you in a course sailing pretty close-hauled to the moral wind, your slave will never reprove you, even to the extent of a questioning glance. Now you are free, to dree your weird where destiny may lead you! This type of mastermind is the mind of the sorcerer in the full sense of the word. To this sort of sorcerer, not only the doctrines of the Church give a warning but the accumulated common sense of humanity, as accumulated in legends, in myths, and in the writings of the conscious literary man. All of these insist that not only is sorcery a sin leading to Hell but it is a personal peril in this life. It is a two-edged sword, and sooner or later it will cut you deep.

	… хотя человечество в прошлом и сталкивалось со многими опасностями, с ними было значительно легче справляться благодаря тому, что во многих случаях угроза проявлялась односторонне. [Например], в век, когда голод становится большой угрозой, можно искать спасения в увеличении производства пищи, и оказывается, что угроза уже не столь велика.
	… while in the past humanity has faced many dangers, these have been much easier to handle, because in many cases peril offered itself from one side only. In an age where hunger is the great threat, there is safety in an increased production of food, and not much danger from it.

Нет, будущее оставляет мало надежд для тех, кто ожидает, что наши новые механические рабы создадут для нас мир, в котором мы будем освобождены от необходимости мыслить. Помочь они нам могут, но при условии, что наши честь и разум будут удовлетворять требованиям самой высокой морали. Мир будущего потребует ещё более суровой борьбы против ограниченности нашего разума, он не позволит нам возлежать на ложе, ожидая появления наших роботов-рабов.

No, the future offers very little hope for those who expect that our new mechanical slaves will offer us a world in which we may rest from thinking. Help us they may, but at the cost of supreme demands upon our honesty and our intelligence. The world of the future will be an ever more demanding struggle against the limitations of our intelligence, not a comfortable hammock in which we can lie down to be waited upon by our robot slaves.

VI

	Отдайте же человеку — человеческое, а вычислительной машине — машинное. В этом и должна, по-видимому, заключаться разумная линия поведения при организации совместных действий людей и машин.
	Render unto man the things which are man's and unto the computer the things which are the computer's. This would seem the intelligent policy to adopt when we employ men and computers together in common undertakings.

Вероятно, наиболее обещающий путь автоматизации перевода состоит в применении обучающихся машин. Для обеспечения успешной работы таких машин должен быть найден твёрдый критерий хорошего перевода. Такой критерий можно получить двумя путями: либо мы должны иметь полный набор объективно применяемых правил, позволяющих оценить качество перевода, либо мы должны располагать средством, которое само способно выработать и применить критерий хорошего перевода независимо от таких правил. <…> На мой взгляд, наиболее обнадёживающий путь осуществления машинного перевода состоит в замене чисто машинной системы — по крайней мере на начальных этапах — системой механо-биологической, включающей в качестве критика и эксперта человека — опытного переводчика, который обучает машинную часть системы с помощью упражнений, подобно тому как школьный учитель обучает своих учеников. Вероятно, на более поздних этапах в памяти машины накопится достаточное количество указаний, запрограммированных человеком, что впоследствии позволит машине распрощаться с соучастием человека, за исключением, возможно, случаев, когда время от времени понадобится освежать курс. <…> При машинном переводе вовсе не обязательно, чтобы машинные элементы системы давали единственный и законченный вариант перевода. Напротив, машина может нам дать многовариантный перевод отдельных фраз, которые лежат в русле соответствующих грамматических и лексических норм, предоставляя нашему критику-эксперту весьма ответственную задачу оценки и выбора из этих машинных вариантов того, который наилучшим образом передаёт смысл. Нет, однако, никакой необходимости предоставлять машине формирование полностью законченных кусков переводного текста даже в том случае, если он будет в целом критически оцениваться и улучшаться человеком. Поправки, вносимые человеком, могут быть введены и на гораздо более ранних стадиях перевода. Всё сказанное о машинах-переводчиках в равной или в ещё большей мере относится к машинам, составляющим медицинские диагнозы. Такие машины стали очень модными во всех планах развития медицины на ближайшее будущее. Эти машины могут помочь врачу установить данные, которые ему понадобятся для диагноза, но нет никакой необходимости в том, чтобы они устанавливали диагноз сами, без участия врача. Весьма вероятно, что такая тенденция применения медицинских машин может рано или поздно привести к ухудшению здоровья людей и даже ко многим смертельным исходам.

Perhaps the most promising way of mechanizing translation is through a learning machine, such a machine to function, we must have criterion of a good translation. This will involve one of two things: either a complete set of objectively applicable rules determining when translation is good, or some agency that is capable of applying a criterion of good performance apart from such rules. <…> It seems to me that the best hope of a reasonably satisfactory mechanical translation is to replace a pure mechanism, at least at first, by a mechanico-human system, involving as critic an expert human translator, to teach it by exercises as a schoolteacher instructs human pupils. Perhaps at some later stage the memory of the machine may have absorbed enough human instruction to dispense with later human participation, except perhaps for a refresher course now and then. In this way, the machine would develop linguistic maturity. Such a scheme would not eliminate the need for a translation office to have attached to it an expert linguist whose ability and judgment could be trusted. It would, or at least it might, enable him to handle a considerably larger body of translation than he could without mechanical assistance. <…> In a translation machine it is by no means essential that the mechanical element of the machine give us a single complete translation. It can give us a large number of alternative translations for individual sentences that lie within the grammatical and lexicographical rules and leave to the critic the highly responsible task of censorship and selection of the mechanical translation that best fits the sense. There is no need whatever why the use of the machine in translation should leave the formation of a complete closed translation to the machine even in the sense that this translation is to be improved by a criticism as a whole. Criticism may begin at a much earlier stage. What I have said about translating machines will apply with equal or even greater force to machines that are to perform medical diagnoses. Such machines are very much in vogue in plans for the medicine of the future. They may help pick out elements that the doctor will use in diagnosis, but there is no need whatever for them to complete the diagnosis without the doctor. Such a closed, permanent policy in a medical machine is sooner or later likely to produce much ill health and many deaths.

… как я отмечал ранее в статье для московского журнала «Вопросы философии», что хотя наука и вносит свой важный вклад в процесс социального регулирования, однако основные принципы этого научного вклада должны оцениваться заново почти каждым новым поколением. <…> общественный гомеостазис как на Западе, так и на Востоке в настоящее время осуществляется исходя из намерений жёстко закрепить концепции давно минувшего периода. Маркс жил в эпоху первой промышленной революции, а мы давно вступили в период второй промышленной революции. Эпохе Адама Смита соответствует ещё более ранняя и устаревшая фаза первой промышленной революции. <…> Когда я послал эту статью в журнал «Вопросы философии», я предвидел, что моя позиция в отношении окостенелости и догматизма встретит острую реакцию; и в самом деле, моя статья была напечатана с послесловием гораздо большего объёма — в нём были вскрыты уязвимые места моей позиции со строго марксистской точки зрения. Я не сомневаюсь, что если бы моя статья вначале была опубликована у нас, на Западе, я подвергся бы подобной или почти такой же строгой критике с точки зрения наших собственных предрассудков, которые хотя, быть может, и выражаются не столь догматично и формально, но тем не менее столь же сильны.

… as I have said in an article for the Voprosy Filosofii in Moscow, that although science is an important contribution to the homeostasis of the community, it is a contribution the basis of which must be assessed anew every generation or so. <…> both the Eastern and Western homeostasis of the present day is being made with the intention of fixing permanently the concepts of a period now long past. Marx lived in the middle of the first industrial revolution, and we are now well into the second one. Adam Smith belongs to a still earlier and more obsolete phase of the first industrial revolution. <…> When I sent this article to Voprosy Filosofii, I anticipated that there would be a strong reaction to my attitude toward rigidity; in fact, my article was accompanied by a considerably longer article pointing out the defects of my position from a strictly Marxist standpoint. I have no doubt that if my original paper had been first published over here, I would have had a similar and almost equal reaction from the standpoint of our own prejudices, which if not as rigidly and formally expressed are also very strong.

Перевод

М. Н. Аронэ, Р. А. Фесенко (1966, «Творец и робот») с доп. П. Повсячова (2001, «Акционерное общество „Бог и Голем“»)