Ми боялися, що одного дня штучний інтелект повстане проти людства. Але реальність виявилася значно страшнішою за фантастику. Машинам навіть не потрібно оголошувати нам війну. Людство саме створює армії роботів, навчає їх убивати собі подібних і витрачає на це колосальні ресурси. І найстрашніше, що зупинятися ніхто не збирається.
Ми чекали на Термінатора. А він прийшов зовсім з іншого боку
Пам’ятаєте, як ми вперше дивилися «Термінатора»? Того самого, зі Шварценеггером, металевим скелетом, червоними очима та незабутнім «I’ll be back». У дитинстві це здавалося неймовірною фантастикою. Машини, які мислять, роботи, які полюють на людей, комп’ютерний розум, який вирішив, що людство — зайва деталь у конструкції планети. А потім вийшов «Термінатор 2», де Т-1000 із рідкого металу продемонстрував, що навіть залізного вбивцю можна зробити ще неприємнішим. Ми захоплювалися спецефектами, сперечалися про майбутнє робототехніки й були впевнені, що до подібних подій ще сотні років. Якщо вони взагалі можливі.
У фільмі все було досить просто. Людство створило Skynet — надпотужну систему штучного інтелекту для управління військовими технологіями. У якийсь момент Skynet усвідомив себе, побачив у людях загрозу й вирішив проблему радикально. Ядерна війна, мільярди жертв, зруйнована цивілізація, а потім нескінченні армії машин, які добивають тих, кому вдалося вижити. Звичайно, сценаристи залишили людству шанс: герой, опір, боротьба за майбутнє. Інакше хто б дивився продовження?
Але в реальному житті сюжет може виявитися набагато цинічнішим. І, на відміну від голлівудського, в ньому навряд чи передбачено обов’язковий щасливий фінал.
Минуло трохи більше сорока років від виходу першого «Термінатора». Ми вже маємо штучний інтелект, здатний писати програми, розпізнавати зображення, розмовляти людською мовою, аналізувати величезні обсяги інформації. Безпілотники ведуть розвідку, роботизовані платформи виконують бойові завдання, автоматизовані системи допомагають знаходити й супроводжувати цілі. А ми досі запитуємо: коли ж з’явиться той самий Skynet?
Маю неприємну новину. Можливо, ми просто не впізнали його появи.
У реальності Skynet не обов’язково повинен бути одним величезним комп’ютером, який раптом усвідомить себе й вирішить знищити своїх творців. Він може виникнути як глобальна екосистема мільйонів автономних систем, створених зовсім різними людьми, компаніями та державами. Без єдиного господаря, без спільної ідеології, без центрального мозку. І кожен елемент цієї системи виконуватиме цілком конкретне завдання, яке поставила перед ним людина.
Найсмішніше, що для створення такого Skynet навіть не потрібне повстання машин. Достатньо державного фінансування, оборонних контрактів, конкурентної боротьби та кількох переконливих презентацій про необхідність випередити противника.
У фільмі Skynet силою захопив військові системи. У нашій реальності люди самі намагаються якомога швидше інтегрувати штучний інтелект у військову інфраструктуру. Причому кожна сторона вважає, що саме її алгоритми повинні бути найрозумнішими, її роботи — найефективнішими, а її технологічна перевага — беззаперечною.
Іронія в тому, що ми всі боялися повстання машин, але не передбачили, що найактивнішим замовником Skynet стане саме людство.
Україна стала місцем, де фантастика зіткнулася з реальністю
Повномасштабна війна Росії проти України змінила не лише військову справу. Вона прискорила цілий напрям технологічної еволюції. Те, що ще недавно було експериментом університетської лабораторії або ефектним роликом на технологічній виставці, почало перетворюватися на засоби, від яких безпосередньо залежать людські життя.
Ми побачили, як відносно недорогі безпілотники можуть знищувати військову техніку вартістю в мільйони доларів. Як роботизовані платформи доставляють боєприпаси та евакуюють поранених там, де кожна поява людини пов’язана зі смертельним ризиком. Як системи комп’ютерного зору допомагають аналізувати відео, а програмне забезпечення стає настільки ж важливим компонентом бойової системи, як двигун, броня чи засіб зв’язку.
І це лише початок. Бо щойно якась технологія доводить свою ефективність, її починають удосконалювати. Вчора оператор керував кожним рухом машини, сьогодні вона вже може самостійно виконувати частину маршруту, а завтра від неї вимагатимуть більшої автономності. Не тому, що машини дуже прагнуть незалежності, а тому, що швидкість реакції, зв’язок, вартість і ризик для людини стають вирішальними факторами.
Для України це питання виживання. Кожен робот, який здатний виконати небезпечне завдання замість військового, потенційно рятує людське життя. Але світова технологічна гонка не обмежується Україною. За нашою війною уважно спостерігають військові аналітики, інженери та оборонні корпорації різних держав. США, Китай, країни Європи, Росія, Ізраїль, Іран та інші учасники міжнародної системи роблять власні висновки.
І тут потрібно розуміти принципову річ: захист від агресії та загарбницька війна не є морально рівнозначними. Але з технологічного погляду навіть протилежні за цілями сторони можуть опинитися в одній гонці розвитку автономних систем.
Якщо противник використовує роботів, доведеться створювати власних. Якщо він удосконалює алгоритми наведення, доведеться вдосконалювати засоби протидії. Якщо він автоматизує виробництво, доведеться шукати спосіб виробляти швидше.
Інакше одного дня можна виявити, що ти залишився з чудовими принципами, красивими міжнародними деклараціями та технологіями минулого століття, а противник уже прийшов із наступним поколінням машин.
Саме так і працює пастка. Навіть ті, хто не хоче війни, змушені розвивати засоби її ведення, щоб захиститися від тих, хто готовий нападати. А кожне нове досягнення однієї сторони стимулює відповідь іншої.
Ми запускаємо технологічну еволюцію, головним прискорювачем якої стає не бажання зробити людське життя кращим, а страх перед іншими людьми.
Забудьте про залізного чоловіка з кулеметом
Голлівуд подарував нам дуже зручний образ майбутнього ворога. Двометровий гуманоїд, міцніший за сталь, із червоними очима та дивовижною здатністю знаходити людей навіть там, де їх не може знайти податкова.
Але чому робот майбутнього взагалі повинен бути схожим на людину?
Ми маємо дві руки, дві ноги, голову й певну будову тіла, тому що природа мільйони років пристосовувала нас до навколишнього середовища. Машині не обов’язково повторювати результати нашої біологічної еволюції. Її форма визначатиметься функцією, умовами роботи, вартістю виробництва та ефективністю.
Робот, який літає, не потребує ніг. Машина, що перевозить важкі вантажі, чудово обійдеться без людських рук. Для роботи в завалах можуть бути корисними механічні кінцівки, що нагадують лапи тварин. Підводні та підземні роботи матимуть зовсім іншу конструкцію. А мініатюризація електроніки відкриватиме шлях до дедалі менших пристроїв, аж до мікророботизованих систем, над якими сьогодні працюють науковці.
Згодом можуть виникнути цілі сімейства роботів, пристосованих до найрізноманітніших середовищ. Причому зовнішній вигляд цих машин навряд чи хвилюватиме їхніх розробників настільки, наскільки хвилюватимуть надійність, автономність та ефективність.
Можливо, найнебезпечніший робот майбутнього взагалі нагадуватиме сміттєвий бак на колесах. І це буде справжньою трагедією для Голлівуду: десятиліттями створювали культ металевого вбивці, а найефективніша конструкція виявиться настільки нехаризматичною, що її соромно ставити на кіноафішу.
Та головна зміна буде навіть не в розмірах чи формах.
Окремий робот — лише машина. А сотні тисяч різних роботів, здатних обмінюватися інформацією, координувати дії та працювати як частини складної системи, — це вже зовсім інший технологічний світ.
Уявімо мобільну платформу, яка доставляє невеликих роботів у потрібний район. Частина з них проводить розвідку, інші перевозять вантажі або виконують інженерні завдання. Літальні апарати збирають інформацію з повітря, наземні машини працюють у небезпечних місцях, а програмна система допомагає узгоджувати їхню роботу. Сьогодні такі можливості розвиваються окремими напрямами. Завтра їхня інтеграція може стати набагато глибшою.
І знаєте, що найцікавіше? Для цього зовсім не обов’язково створювати штучний інтелект, який мислить як людина. Достатньо алгоритмів, які добре вирішують свої завдання, та інфраструктури, яка дозволяє їм працювати разом.
Skynet не обов’язково потрібна свідомість. Для початку йому цілком вистачить якісного програмного забезпечення, надійного зв’язку та добре організованої логістики.
А потім роботи почнуть створювати роботів
Ось тут ситуація стає справді цікавою.
Людство вже використовує роботів для виробництва автомобілів, електроніки, промислового обладнання та компонентів інших машин. Автоматизовані лінії виконують складні технологічні операції, системи контролю якості знаходять дефекти, а штучний інтелект допомагає інженерам проєктувати нові вироби.
Наступний логічний крок — збільшення автономності самого виробництва.
Уявімо промисловий комплекс, у якому машини доставляють матеріали, виготовляють деталі, збирають нові роботизовані платформи та проводять їхні випробування. Інші роботи займаються технічним обслуговуванням, діагностують несправності й замінюють пошкоджені компоненти. Алгоритми аналізують результати роботи, знаходять слабкі місця конструкцій і допомагають розробляти наступні покоління обладнання.
Повністю самовідтворювані роботизовані фабрики поки залишаються складним технологічним завданням. Навіть найдосконалішій машині потрібні матеріали, енергія, напівпровідники та величезна промислова інфраструктура. Але це не скасовує головного напряму розвитку: у виробництві машин поступово зростатиме частка роботи, виконуваної іншими машинами.
І тут запускається особливо цікавий механізм. Якщо машини допомагають створювати нові машини, які роблять це ще швидше та дешевше, можливості виробництва можуть зростати величезними темпами. А якщо частина цих виробничих потужностей працюватиме на оборонну промисловість, гонка озброєнь отримає новий прискорювач.
Можна лише уявити захват військових замовників від заводу, який здатний нарощувати виробництво роботизованих систем, одночасно зменшуючи потребу в людській праці. Особливо якщо наступне покоління продукції допомагають проєктувати алгоритми, а обслуговувати обладнання — інші роботи.
У «Термінаторі» Skynet самостійно будував фабрики машин-убивць. У нашому світі будівництво таких виробництв може відбуватися цілком офіційно, за контрактами, з технічними завданнями, аудитом, тендерами та урочистим перерізанням стрічки.
Якщо пощастить, на відкритті ще й виступить політик із промовою про мирне майбутнє людства.
Людство навчилося грати Бога. Але так і не навчилося бути людиною
Мабуть, це найдивовижніший парадокс нашої цивілізації.
Ми навчилися втручатися в генетичний код, пересаджувати органи, створювати штучні матеріали, запускати апарати до інших планет і будувати машини, здатні виконувати завдання, які ще недавно здавалися винятково людськими.
Ми наблизилися до можливостей, які наші предки могли б назвати божественними.
Але разом із цим дедалі впевненіше почуваємося в іншій ролі — тих, хто вирішує чужу долю.
Одна людина, отримавши достатньо влади, може віддати наказ, наслідком якого стануть загибель тисяч людей, руйнування міст і знищення цілих поколінь. Інша може розпочати війну, прикривши її благородними словами. Третя пояснить, чому все це необхідно заради історичної справедливості, національних інтересів або величі держави.
І що особливо вражає — практично кожен знайде пояснення, чому саме він має право вирішувати, кому жити, а кому помирати.
Люди навчилися добре грати Бога. Щоправда, здебільшого їм подобається та частина роботи, де можна карати, руйнувати й визначати долі інших. А ось із відповідальністю за власні рішення справи значно гірші.
Ми називаємо себе найрозумнішим видом на планеті. І справді, якби існував міжгалактичний конкурс із винахідливості, людство мало б непогані шанси на перемогу. Особливо в номінації «Як перетворити будь-який науковий прорив на новий спосіб убити сусіда».
Ми винайшли авіацію — і швидко навчилися скидати бомби. Опанували атомну енергію — і створили зброю, здатну знищувати цілі міста. Розвинули хімію та біологію — і поряд із величезними досягненнями медицини з’явилися нові військові загрози. Тепер ми розвиваємо штучний інтелект і знову розглядаємо його не лише як інструмент пізнання та розвитку, а й як засіб отримати перевагу над іншими людьми.
Історія повторюється, змінюються лише технології.
Звичайно, було б несправедливо стверджувати, що людство створює тільки засоби знищення. Наука подарувала нам неймовірні можливості. Медицина рятує мільйони життів, інженери створюють технології, що роблять наше існування безпечнішим і комфортнішим, а освіта відкриває знання людям, які раніше були практично позбавлені таких можливостей.
Але проблема в іншому: кожен новий технологічний рівень ми супроводжуємо вдосконаленням здатності воювати.
І що потужнішими стають наші інструменти, то страшнішою виявляється ціна старих людських амбіцій.
Ми навчилися створювати майже божественні технології, але залишили в руках тих самих людей право використовувати їх заради влади, помсти, жадібності та власного уявлення про велич.
Можливо, саме в цьому й полягає найбільший ризик нашої еволюції. Не в тому, що машини колись стануть розумнішими за людей, а в тому, що людська мудрість не встигатиме за створеною нами технологічною могутністю.
Айзек Азімов, мабуть, нервово курить десь у літературній вічності
Ще в минулому столітті письменник Айзек Азімов сформулював знамениті три закони робототехніки. Перший із них забороняв роботу завдавати шкоди людині або допускати її через бездіяльність. Другий вимагав підкорятися наказам людини, якщо вони не суперечать першому закону. Третій дозволяв роботу захищати власне існування, але лише за умови дотримання перших двох.
Це була літературна концепція, а не справжня міжнародна конвенція. Проте Азімов поставив надзвичайно важливе запитання: як створити розумні машини, щоб вони залишалися безпечними для людини?
Минуло кілька десятиліть, і людство знайшло своєрідну відповідь. Ми почали розробляти машини, одне з призначень яких — уражати людей. Причому не випадково, не через помилку програміста й не внаслідок повстання штучного інтелекту. Це цілком свідоме технічне завдання, яке ставиться перед розробниками.
А тепер уявіть, що ви пояснюєте це Азімову. Ми створили неймовірно потужні комп’ютери, навчили їх аналізувати інформацію, розпізнавати об’єкти, взаємодіяти з фізичним світом. І частину всіх цих можливостей спрямували на те, щоб зробити військові системи швидшими та ефективнішими.
Він, напевно, запитав би: «А як же перший закон?»
І тут людство могло б відповісти приблизно так: «Розумієте, пане Азімов, це трохи заважає виконанню технічного завдання».
Чорний гумор? Безумовно. Але проблема зовсім не смішна.
Міжнародний комітет Червоного Хреста вже багато років наголошує на небезпеці автономних систем озброєння, особливо коли рішення про застосування смертельної сили можуть ухвалюватися без належного людського контролю. Міжнародне гуманітарне право діє незалежно від того, якою зброєю користуються люди, але розвиток автономних технологій створює нові моральні, юридичні та практичні проблеми.
І тут знову виникає питання, від якого неможливо відмахнутися.
Якщо машина ухвалює рішення про ураження людини, хто нестиме відповідальність за помилку? Розробник, командир, виробник чи той, хто дозволив застосування? Юридична відповідальність не повинна зникати через використання алгоритму, але складність таких систем може зробити її встановлення дедалі важчим.
Найстрашніший сценарій — не робот, який ненавидить людей. Набагато страшніша система, у якій людська смерть стає наслідком автоматизованого процесу, а кожен учасник пояснює, що особисто він нічого поганого не зробив.
Не штучний інтелект навчив людство вбивати. Це людство тепер навчає штучний інтелект робити те, чим саме займалося тисячоліттями.
Skynet зовсім не потрібно знищувати людство ядерними ракетами
У «Термінаторі» Skynet вирішив проблему людства радикально. Ядерний апокаліпсис, знищення цивілізації та полювання на тих, хто вижив. Сценарій ефектний, але чи справді саме так повинен виглядати найнебезпечніший варіант нашого майбутнього?
Можливо, ніякого Судного дня в голлівудському розумінні не буде.
Роботи не обов’язково захочуть знищувати людей. Ба більше, зовсім не факт, що майбутні системи матимуть власні бажання, свідомість чи прагнення до влади. Але це не означає, що їхній вплив на цивілізацію буде безпечним.
Ми поступово передаватимемо автоматизованим системам дедалі більше функцій. Спочатку рутинну роботу, потім виробничі процеси, логістику, управління інфраструктурою, а згодом і складні рішення, від яких залежатимуть цілі галузі економіки та системи безпеки.
Це не фантастичне припущення про раптове повстання. Це продовження процесу автоматизації, який уже триває.
У певний момент залежність людства від складних технологічних систем може стати настільки великою, що їхнє вимкнення виявиться небезпечнішим за подальше використання. Особливо якщо оборона, енергетика, транспорт або виробництво критично важливих товарів уже не зможуть працювати без них.
І хто тоді натисне кнопку вимкнення?
Уявімо, що якась держава вирішить обмежити використання автономних військових технологій. Її противник, можливо, тільки зрадіє. Якщо відмова від таких систем означатиме втрату обороноздатності, навіть цілком миролюбний уряд навряд чи зважиться на цей крок.
Ось так і виникає замкнене коло. Ми створюємо технології для безпеки, стаємо дедалі залежнішими від них, а потім змушені створювати ще складніші технології, щоб захиститися від попередніх.
У фільмі Skynet став ворогом людства після того, як вийшов з-під контролю. У реальності ми можемо поступово втрачати контроль, навіть якщо жодна машина ніколи не оголосить себе нашим ворогом.
І коли колись запитаємо, хто дозволив усій цій системі отримати стільки повноважень, відповідь може виявитися вкрай незручною.
Ми самі.
Причому цілком добровільно, із найкращими намірами та правильно оформленими документами.
Довіра померла раніше, ніж народився Skynet
Міжнародні договори, гарантії безпеки, конвенції, домовленості про обмеження озброєнь — людство десятиліттями намагалося створити систему, у якій сила права переважатиме право сильного.
Ідея була прекрасною. Держави повинні поважати кордони, не розв’язувати загарбницьких війн, захищати мирних людей і виконувати взяті на себе зобов’язання. Здавалося б, після двох світових воєн можна було засвоїти хоча б основні уроки.
Але виявилося, що навіть найбільші катастрофи не гарантують, що людство назавжди відмовиться від агресії.
Війна Росії проти України показала, наскільки вразливим залишається міжнародний порядок. Кордони можуть бути визнаними, договори — підписаними, гарантії — урочисто проголошеними, але все це не завжди зупиняє державу, яка вирішила застосувати силу. Міжнародне право продовжує існувати, санкції та судові механізми можуть мати наслідки, проте вони не завжди здатні своєчасно захистити людей від війни.
А тепер уявімо, що цьому самому людству потрібно домовитися про обмеження автономної зброї.
Одні держави щиро прагнутимуть встановити правила. Інші спробують отримати винятки для власних технологій. Хтось буде вимагати суворого контролю, а хтось посилатиметься на секретність і національну безпеку. І завжди залишатиметься підозра, що за красивими заявами про мир ховається черговий дослідницький центр, де інженери якраз завершують випробування нової системи.
Можна провести міжнародний саміт, ухвалити резолюцію, зробити колективне фото й навіть домовитися про наступну зустріч. У цьому людство досягло майже ідеальної організаційної майстерності.
От тільки між умінням підписувати документи та готовністю їх виконувати існує величезна різниця.
Найгірше, що для руйнування довіри не потрібно, щоб брехали абсолютно всі. Достатньо кількох сильних учасників, які доведуть, що порушення домовленостей може приносити вигоду. Після цього навіть ті, хто хотів би чесно дотримуватися правил, починають готуватися до можливого обману.
І саме тут Skynet отримує свій найпотужніший двигун.
Не електроенергію. Не обчислювальні потужності. Не нові процесори.
Недовіру між людьми.
Якщо ти не віриш, що противник дотримається домовленостей, тобі потрібна технологічна перевага. Якщо він не вірить тобі, йому потрібна ще більша. І що швидше розвиваються технології, то менше часу залишається на спроби домовитися.
Це нагадує перегони двох водіїв, які мчать назустріч прірві. Кожен розуміє небезпеку, але жоден не хоче першим натиснути на гальма, бо це означатиме поступитися іншому.
І найстрашніше, що пасажири цих автомобілів, можливо, взагалі не хотіли нікуди їхати.
А що, якби ми використали весь цей геній для життя?
Ось тут хочеться поставити запитання, яке звучить майже наївно на тлі сучасних воєн.
А чи обов’язково було йти саме цим шляхом?
Людство отримало в руки фантастичні інструменти. Штучний інтелект здатний допомагати науковцям шукати нові ліки, прискорювати дослідження, створювати матеріали з новими властивостями, оптимізувати виробництво. Робототехніка може звільняти людей від виснажливої та небезпечної праці. Автоматизація відкриває можливості, які попередні покоління навіть не могли уявити.
Уявіть світ, у якому головною міжнародною гонкою стало б не створення ефективнішої зброї, а пошук способів продовжити здорове людське життя.
Де держави змагалися б в умінні перемагати хвороби, а не сусідів. Де найкращі інженери створювали б роботів, здатних забезпечити їжею та водою регіони, які сьогодні потерпають від нестачі ресурсів. Де штучний інтелект допомагав би кожній людині отримати якісну освіту, незалежно від країни народження чи матеріального становища.
Ми могли б створювати технології, які роблять людське життя довшим, здоровішим, безпечнішим і щасливішим, не відбираючи цих можливостей в інших.
І що найцікавіше — для цього зовсім не потрібно підкорювати сусідню державу.
Щоб вилікувати дитину, не потрібно захоплювати чуже місто. Щоб відкрити новий закон фізики, не потрібно руйнувати чужу електростанцію. Щоб побудувати роботизоване виробництво, не потрібно знищувати людей, які живуть за іншим прапором.
Наукове відкриття може збагатити все людство, не роблячи біднішим когось іншого. Знання можна передавати, не втрачаючи їх самим. Технології можна масштабувати так, щоб вигравали мільйони людей, а не лише ті, хто отримав владу над іншими.
Звичайно, будь-який технологічний розвиток потребує ресурсів і створює нові проблеми. Але між складністю мирного прогресу та свідомим знищенням людей існує принципова моральна різниця.
Можна було б спрямувати колосальний людський інтелект на боротьбу з хворобами, голодом, екологічними катастрофами й нерівністю можливостей. Можна було б використовувати роботів для відновлення зруйнованих міст, створення доступного житла, догляду за літніми людьми та допомоги людям з інвалідністю.
Ми могли б досліджувати океанські глибини, освоювати космос, створювати нові джерела енергії та розширювати межі людських знань.
Натомість значна частина людської геніальності продовжує працювати над тим, щоб один народ міг ефективніше вбивати представників іншого.
І все це на планеті, де люди досі помирають від хвороб, які можна лікувати, де мільйони не мають доступу до якісної освіти, а цілі регіони потерпають від нестачі води та продовольства.
Ми серйозно розглядаємо можливість колонізації Марса, хоча досі не навчилися жити мирно навіть на Землі.
Можливо, перш ніж шукати інопланетний розум, нам варто було б навчитися користуватися власним.
Але людство не зупиниться
Можна завершити цю статтю закликом до миру. Написати, що держави повинні домовитися, люди — переосмислити власні цінності, а штучний інтелект — служити лише добру.
Це були б правильні слова. Шкода тільки, що правильних слів у людства накопичилося набагато більше, ніж правильних вчинків.
Історія дає достатньо підстав для песимізму. Ми неодноразово переживали жахливі війни, створювали міжнародні організації, проголошували початок нової мирної епохи. А потім знову знаходили причини воювати.
Змінювалися кордони, політичні системи, прапори та назви держав. Але прагнення окремих людей нав’язати власну волю іншим нікуди не зникало.
Колись воювали за допомогою мечів. Потім з’явилися гармати, кулемети, танки, літаки та ракети. Тепер людство отримує новий інструмент — штучний інтелект, здатний істотно розширити можливості автономних машин.
І немає переконливих підстав очікувати, що цього разу всі раптом вирішать зупинитися.
Навіть якщо частина світу відмовиться від певних військових технологій, інші можуть продовжити їх розробку. Навіть якщо будуть укладені договори, залишатиметься ризик їх порушення. Навіть якщо створять ефективні механізми контролю, технології подвійного призначення продовжуватимуть розвиватися, адже їх неможливо просто викреслити з цивільного життя.
І тут ми повертаємося до головної проблеми. Людство не має єдиної мети, спільного центру ухвалення рішень і достатньої довіри для того, щоб добровільно відмовитися від можливостей, які можуть дати перевагу над противником.
Кожна держава має власні інтереси. Кожен уряд відповідає перед власними громадянами. Кожна армія оцінює загрози. Кожна оборонна корпорація шукає нові контракти. І цей величезний механізм продовжує працювати, навіть якщо окремі його учасники розуміють небезпеку загального напряму.
У фільмі «Термінатор» людство об’єдналося, щоб воювати проти машин. У реальному світі людство не здатне об’єднатися навіть для того, щоб перестати створювати машини для знищення одне одного.
Ось найбільша трагедія нашого майбутнього.
Skynet у такому розумінні не потребує повстання машин. Йому достатньо людських конфліктів, технологічної конкуренції та безперервного прагнення отримати перевагу.
І якщо колись автономні системи почнуть дедалі активніше брати участь у створенні наступних поколінь машин, ця гонка може отримати швидкість, до якої суспільні механізми контролю виявляться неготовими.
Еволюція не має морального компаса. Вона не знає справедливості й не поважає міжнародних договорів. Якщо ми самі створюємо середовище, в якому технології знищення отримують величезні ресурси та стимули, саме в цьому напрямі й розвиватиметься значна частина інженерної думки.
А потім ми здивовано запитуватимемо, чому наше майбутнє виявилося таким небезпечним.
Найстрашніше — не повстання машин, а знецінення людини
Мене набагато більше лякає не фантастичний Skynet, який одного дня вирішить знищити людство. Мене лякає світ, у якому людське життя поступово перестає бути головною цінністю.
Коли загибель десятків людей стає звичайним рядком у новинах. Коли зруйновані міста перетворюються на статистику. Коли політичні амбіції окремих людей важать більше за долі мільйонів. Коли порушення міжнародного права намагаються виправдати тим, що сильний може дозволити собі більше, ніж слабкий.
Особливо страшно, коли суспільство поступово звикає до цього. До постійних повідомлень про загиблих, до руйнувань, до насильства, яке ще недавно здавалося немислимим.
І якщо ми перенесемо таке ставлення до людського життя в алгоритми майбутніх автономних систем, наслідки можуть виявитися катастрофічними.
Машина не повинна ненавидіти людину, щоб становити для неї загрозу. Достатньо, щоб поставлене перед нею завдання не враховувало людське життя як найвищу цінність.
А якщо таких машин будуть мільйони, якщо вони працюватимуть у взаємопов’язаних системах, якщо частина рішень ухвалюватиметься швидше, ніж людина здатна їх оцінити, небезпека набуде зовсім іншого масштабу.
Це ще не означає неминучого повстання чи знищення людства. Але це означає, що ми можемо створити механізми масового насильства, швидкість і масштаб яких перевищуватимуть можливості своєчасного людського втручання.
І тоді під загрозою може опинитися не лише окрема людина, а й цілі спільноти та народи. Технології, здатні допомагати людству, у руках тих, хто свідомо прагне знищення інших, можуть стати інструментом масових злочинів, аж до геноциду.
Тому питання не в тому, чи стануть роботи схожими на Термінатора. Питання в тому, які цінності ми передамо системам, що отримуватимуть дедалі більше можливостей впливати на наш світ.
І якщо головним принципом сучасної міжнародної політики остаточно стане право сильного, немає жодних гарантій, що найбільш технологічно розвинені системи працюватимуть на користь людства загалом.
Вони працюватимуть на виконання поставлених завдань.
А хто ці завдання ставитиме — це вже зовсім інша історія.
I’ll be back. Але цього разу повертатися може бути нікому
Повернімося до того самого фільму, який ми дивилися в дитинстві.
Термінатор із незворушним обличчям промовляв: «I’ll be back». Ми знали, що він повернеться, бо так вимагав сценарій. І навіть якщо весь світ лежав у руїнах, десь обов’язково знаходився герой, який міг змінити майбутнє.
Але реальне життя не має сценариста, зобов’язаного забезпечити людству щасливий фінал.
У нас немає гарантій, що технологічний розвиток автоматично зробить нас мудрішими. Немає гарантій, що держави встигнуть домовитися про обмеження автономної зброї. Немає гарантій, що люди, отримавши ще потужніші інструменти впливу на світ, почнуть використовувати їх відповідальніше.
Ми вже створюємо технології, які змінять життя наступних поколінь. І частину цих технологій свідомо розробляємо для того, щоб ефективніше вести війни.
Найсумніше, що для цього зовсім не потрібна ненависть машин до людей. Потрібна лише наша власна нездатність відмовитися від прагнення вирішувати чужу долю силою.
Ми могли б спрямувати технологічний прогрес на те, щоб кожна людина мала доступ до знань, медицини, безпеки та можливостей для щасливого життя. Могли б будувати майбутнє, в якому успіх однієї держави не потребує знищення іншої, а технологічне лідерство визначається не кількістю засобів ураження, а тим, наскільки краще живуть люди.
Ми могли б навчитися бути творцями, а не руйнівниками.
Але поки людство продовжує ставитися до власної сили як до права визначати долі інших, воно й надалі вкладатиме величезні ресурси в технології домінування.
І що сильнішими ставатимуть ці технології, то дорожче нам коштуватимуть старі людські вади.
Ми боялися, що одного дня машини навчаться думати й вирішать, що люди більше не потрібні.
Але, можливо, людство саме створить світ, у якому машинам дедалі рідше буде потрібна безпосередня участь людини. Світ, де автоматизовані системи виробляють обладнання, підтримують інфраструктуру, координують дії та виконують рішення з неймовірною швидкістю.
І найбільша іронія полягатиме в тому, що ми самі прискорюватимемо прихід такого майбутнього, намагаючись отримати перевагу одне над одним.
Можливо, ніякого окремого Судного дня не буде. Можливо, він розтягнеться на десятиліття, протягом яких ми поступово передаватимемо машинам дедалі більше відповідальності та можливостей. Можливо, кожне окреме рішення здаватиметься логічним, економічно виправданим і навіть необхідним для нашої безпеки.
А в сукупності ці рішення можуть привести нас туди, куди ніхто свідомо не планував потрапити.
І коли одного дня людство побачить наслідки, буде вже пізно шукати винного комп’ютера.
Бо Skynet не обов’язково матиме власну волю. Він може виявитися результатом мільйонів людських рішень, ухвалених із жадоби влади, страху, ненависті, прагнення вижити або бажання випередити інших.
Ми вже живемо у світі, який дедалі більше нагадує Skynet. І не машини змушують нас його будувати.
Ми самі створюємо роботів. Самі навчаємо їх воювати. Самі розробляємо алгоритми, які мають працювати швидше за людину. Самі прискорюємо виробництво й створюємо нові покоління автономних систем, тому що хтось інший може зробити це раніше.
Ми навчилися грати Бога, вирішуючи, кому жити, а кому помирати. Але так і не навчилися головного — поважати життя тих, хто не схожий на нас, має іншу думку, говорить іншою мовою або просто живе по інший бік кордону.
І, можливо, саме це стане найбільшою трагедією людської цивілізації.
Не те, що ми створили штучний інтелект, здатний перевершити нас у багатьох завданнях.
Не те, що машини навчилися працювати швидше й точніше за своїх творців.
І навіть не те, що колись роботи можуть значною мірою виробляти та вдосконалювати інших роботів.
А те, що ми, маючи можливість створити світ знань, здоров’я, добробуту та щастя, продовжуємо витрачати свій геній на вдосконалення засобів знищення собі подібних.
У «Термінаторі» Skynet вирішив знищити людство, тому що побачив у ньому загрозу.
У реальності людство саме бачить загрозу в людстві. І будує Skynet, щоб захиститися від самого себе.
Тільки ось одна проблема: у цій нескінченній гонці не може бути остаточного переможця. Адже кожна нова перемога породжує нового противника, кожна технологічна перевага — нову гонку, а кожна спроба силою нав’язати свою волю — нові причини для ненависті.
І якщо колись створена нами технологічна еволюція вийде далеко за межі людського контролю, навряд чи варто буде звинувачувати в цьому самі машини.
Бо для того, щоб знищити людство, Skynet зовсім не обов’язково повставати проти людей.
Достатньо, щоб люди й надалі робили те, що вони роблять уже тисячоліттями. Тільки тепер — за допомогою штучного інтелекту.
І, мабуть, найжорстокіший жарт історії полягатиме в тому, що ми витратили століття, намагаючись створити штучний розум, але так і не навчилися користуватися власним.
Сергій Рудюк
Засновник K2 ERP
WE ARE ALREADY LIVING IN SKYNET. AND THERE IS NO STOPPING IT.
We feared that artificial intelligence would one day rise against humanity. But reality has turned out to be far more terrifying than science fiction. Machines don’t even need to declare war on us. Humanity is building armies of robots, teaching them to kill fellow human beings, and pouring enormous resources into making them more effective. And the most frightening part? Nobody seems particularly interested in stopping.
We Were Waiting for the Terminator. It Came From a Completely Different Direction.
Remember watching The Terminator for the first time?
Arnold Schwarzenegger, the metal skeleton, those glowing red eyes, and the unforgettable line: “I’ll be back.”
As children, many of us watched those films in amazement. Thinking machines, robots hunting humans, an artificial intelligence that decided humanity was an unnecessary component of the planet. Then came Terminator 2: Judgment Day, where the liquid-metal T-1000 demonstrated that even a terrifying mechanical killing machine could be made considerably more unpleasant.
We admired the special effects, argued about the future of robotics, and felt reasonably confident that such things were still centuries away. If they were possible at all.
In the movie, everything was relatively straightforward. Humanity created Skynet, an enormously powerful artificial intelligence designed to manage military systems. At some point, Skynet became self-aware, identified humanity as a threat, and decided to solve the problem rather radically. Nuclear war, billions of casualties, the collapse of civilization, and endless armies of machines hunting down whoever survived.
Naturally, the screenwriters left humanity a chance. Resistance fighters, heroes, desperate battles for the future. Otherwise, who would have bought tickets for the sequels?
But real life may turn out to be considerably more cynical. And unlike Hollywood, reality has no contractual obligation to provide a happy ending.
More than forty years have passed since the first Terminator appeared. Today, artificial intelligence can write software, recognize images, communicate in human language, and analyze enormous amounts of information. Drones conduct reconnaissance, robotic platforms perform military missions, and automated systems help detect and track targets.
Yet we are still asking when that famous Skynet will finally appear.
I have some unpleasant news. Perhaps we simply failed to recognize its arrival.
In reality, Skynet doesn’t necessarily have to be one enormous computer that suddenly becomes conscious and decides to eliminate its creators. It could emerge as a global ecosystem of millions of autonomous systems developed by entirely different people, corporations, and governments.
No single master, no common ideology, no central brain. Every component would simply perform a specific task assigned by a human being.
The funniest part is that creating such a Skynet doesn’t even require a machine uprising. Government funding, defense contracts, technological competition, and a few convincing PowerPoint presentations about the urgent need to outperform an adversary may be quite enough.
In the movie, Skynet seized control of military infrastructure by force. In our reality, humans are rushing to integrate artificial intelligence into that infrastructure themselves.
And naturally, everyone believes their algorithms should be the smartest, their robots the most effective, and their technological superiority unquestionable.
The irony is that we spent decades fearing a machine rebellion without realizing that humanity itself might become Skynet’s most enthusiastic customer.
Ukraine: Where Science Fiction Collided With Reality
Russia’s full-scale invasion of Ukraine has transformed much more than modern warfare. It has accelerated an entire direction of technological evolution.
The very evolution we once watched only in science-fiction movies.
Technologies that recently belonged in university laboratories or impressive demonstrations at technology exhibitions are becoming tools on which human lives directly depend.
We have seen relatively inexpensive drones destroy military equipment worth millions of dollars. Robotic platforms deliver ammunition and evacuate wounded soldiers in areas where every human movement carries a deadly risk. Computer vision helps analyze battlefield video, while software becomes as important to a military system as its engine, armor, or communications equipment.
And this is only the beginning.
Once a technology proves effective, people immediately begin improving it. Yesterday, an operator controlled every movement of a machine. Today, that machine may navigate part of its route independently. Tomorrow, engineers will be asked to make it even more autonomous.
Not because machines desperately want their independence, but because reaction time, communications limitations, cost, and risks to human life are becoming decisive factors.
For Ukraine, these technologies are a matter of survival. Every robot capable of performing a dangerous task instead of a soldier can potentially save a human life.
But the global technological race extends far beyond Ukraine.
Military analysts, engineers, and defense corporations around the world are studying this war. The United States, China, European countries, Russia, Israel, Iran, and other states are drawing their own conclusions.
One distinction must be made absolutely clear: defending a country against aggression is not morally equivalent to launching a war of conquest. But from a technological perspective, even sides with fundamentally different objectives can find themselves participating in the same race toward increasingly autonomous systems.
If an adversary uses robots, you must develop your own. If they improve targeting algorithms, you need better countermeasures. If they automate production, you must find ways to manufacture equipment faster.
Otherwise, one day you may discover that you are left holding beautiful principles, impressive international declarations, and last century’s technology, while your adversary has already arrived with the next generation of machines.
That is how the trap works.
Even those who do not want war must develop increasingly sophisticated military capabilities to defend themselves against those who are willing to attack. And every technological breakthrough on one side encourages a response from another.
We are setting a technological evolution in motion, driven not primarily by the desire to improve human life, but by fear of other human beings.
Forget the Metal Man With a Machine Gun
Hollywood gave us a wonderfully convenient image of our future enemy: a two-meter-tall humanoid, stronger than steel, with glowing red eyes and an extraordinary ability to find people even where the tax authorities cannot.
But why should a robot of the future look human at all?
We have two arms, two legs, and a particular body structure because nature spent millions of years adapting us to our environment. Machines have no obligation to reproduce the results of our biological evolution.
Their shape will be determined by their purpose, operating conditions, manufacturing costs, and efficiency.
A flying robot doesn’t need legs. A machine carrying heavy cargo can function perfectly well without human arms. Robots working through rubble may benefit from mechanical limbs resembling animal legs. Underwater and underground robots will require entirely different designs.
Meanwhile, advances in miniaturization may lead to increasingly small robotic devices, including microscopic robotic systems that researchers are already exploring.
Eventually, entire families of robots could emerge, adapted to almost every imaginable environment.
And I suspect their appearance will concern their developers considerably less than their reliability, autonomy, and effectiveness.
Perhaps the most dangerous robot of the future will look like a garbage bin on wheels.
That would be a genuine tragedy for Hollywood. After spending decades building the legend of a terrifying metallic killer, the most effective design might turn out to be so uncharismatic that nobody would dare put it on a movie poster.
But the real transformation will go far beyond shapes and sizes.
An individual robot is just a machine. Hundreds of thousands of different robots capable of exchanging information, coordinating their actions, and operating as components of a larger system represent something entirely different.
Imagine a mobile platform delivering smaller robots to a designated area. Some conduct reconnaissance, others transport supplies or perform engineering tasks. Flying machines collect information from above, ground robots operate in dangerous environments, and software coordinates their activities.
Today, many of these capabilities are developing separately. Tomorrow, their integration could become considerably deeper.
And here is the interesting part: none of this necessarily requires artificial intelligence that thinks like a human.
Algorithms that perform their assigned tasks effectively, supported by infrastructure that allows them to cooperate, may be sufficient.
Skynet doesn’t necessarily need consciousness. To get started, good software, reliable communications, and well-organized logistics may be more than enough.
And Then Robots Will Start Building Robots
This is where things become genuinely interesting.
Humanity already uses robots to manufacture cars, electronics, industrial equipment, and components for other machines. Automated production lines perform sophisticated operations, quality-control systems detect defects, and artificial intelligence helps engineers design new products.
The next logical step is greater autonomy in manufacturing itself.
Imagine an industrial complex where machines deliver raw materials, manufacture components, assemble robotic platforms, and test finished products. Other robots handle maintenance, diagnose failures, and replace damaged parts.
Algorithms analyze operating results, identify weaknesses in designs, and help develop the next generation of equipment.
Fully self-replicating robotic factories remain a significant technological challenge. Even the most advanced machine still depends on materials, energy, semiconductors, and extensive industrial infrastructure.
But that does not change the overall direction: an increasing proportion of the work required to produce machines can be performed by other machines.
And this creates a particularly interesting mechanism.
If machines help produce new machines, which in turn make manufacturing faster and cheaper, production capabilities could expand dramatically. If some of that industrial capacity serves the defense sector, the arms race gains another powerful accelerator.
One can only imagine the excitement of military procurement officials contemplating a factory capable of increasing robotic-system output while simultaneously reducing the need for human labor.
Especially if algorithms help design the next generation of products and other robots maintain the manufacturing equipment.
In The Terminator, Skynet built factories to manufacture killing machines.
In our world, such production facilities could be established perfectly legally, complete with contracts, technical specifications, audits, tenders, and ribbon-cutting ceremonies.
With any luck, a politician will deliver an inspiring speech about the peaceful future of humanity at the grand opening.
Humanity Has Learned to Play God. But Has Never Quite Learned to Be Human.
Perhaps this is the most astonishing paradox of our civilization.
We have learned to modify genetic code, transplant organs, create artificial materials, send spacecraft to distant planets, and develop machines capable of performing tasks once considered exclusively human.
We have approached capabilities our ancestors might have described as divine.
Yet alongside all this progress, we have become remarkably comfortable with another role: deciding the fate of other people.
One person, given sufficient power, can issue an order that results in thousands of deaths, devastated cities, and destroyed generations. Another can launch a war while wrapping it in noble language. A third will explain why all of this is necessary in the name of historical justice, national interests, or the greatness of the state.
And remarkably, nearly everyone manages to find an explanation for why they, personally, should have the right to decide who lives and who dies.
Humanity has become rather good at playing God.
Unfortunately, we seem particularly fond of the parts involving punishment, destruction, and deciding the fate of others. Responsibility for our own decisions is where things become considerably less impressive.
We call ourselves the most intelligent species on Earth. And to be fair, if there were an intergalactic competition for ingenuity, humanity would probably do quite well.
Especially in the category of “How to Turn Absolutely Any Scientific Breakthrough Into a New Way of Killing Your Neighbor.”
We invented aviation and quickly learned to drop bombs. We mastered nuclear energy and created weapons capable of destroying entire cities. We advanced chemistry and biology, and alongside extraordinary medical achievements came new military threats.
Now we are developing artificial intelligence, and once again we are treating it not merely as a tool for knowledge and progress, but as a means of gaining superiority over other human beings.
History repeats itself. Only the technology changes.
Of course, it would be unfair to suggest that humanity creates nothing but instruments of destruction. Science has given us extraordinary possibilities. Medicine saves millions of lives, engineers create technologies that make existence safer and more comfortable, and education opens doors once closed to entire generations.
The problem is something else.
Every new level of technological progress seems to arrive accompanied by improvements in our ability to wage war.
And the more powerful our tools become, the more terrifying the price of old human ambitions.
We have learned to create almost godlike technologies while leaving the power to use them in the hands of the same humans driven by ambition, revenge, greed, and their personal definitions of greatness.
Perhaps that is the greatest danger of our evolution.
Not that machines may one day become more intelligent than people, but that human wisdom may fail to keep pace with the extraordinary technological power we are creating.
Isaac Asimov Must Be Turning in His Literary Grave
Back in the twentieth century, science-fiction writer Isaac Asimov formulated his famous Three Laws of Robotics.
The first prohibited a robot from harming a human being or allowing a human being to come to harm through inaction. The second required obedience to human commands, provided they did not conflict with the first. The third allowed a robot to protect its own existence, provided that doing so did not violate the first two laws.
These were fictional rules, not an actual international robotics convention. But Asimov raised an extraordinarily important question: how can we create intelligent machines that remain safe for humans?
Several decades later, humanity came up with a rather peculiar answer.
We began developing robotic systems whose intended purpose includes attacking human beings.
Not accidentally. Not because of a programming error. And certainly not because artificial intelligence rebelled against its creators.
This is a deliberate technical requirement assigned to engineers.
Now imagine trying to explain that to Asimov.
We have developed extraordinarily powerful computers, taught them to analyze information, recognize objects, and interact with the physical world. And we have directed some of those capabilities toward making military systems faster and more effective.
He might reasonably ask, “What happened to the First Law?”
Humanity would probably reply, “You see, Mr. Asimov, it’s a little inconvenient for our technical specifications.”
Dark humor? Absolutely.
But the underlying problem is anything but funny.
The International Committee of the Red Cross has long warned about the risks associated with autonomous weapon systems, particularly when lethal force may be applied without adequate human control.
International humanitarian law continues to apply regardless of the technology involved, but the development of autonomous systems raises new ethical, legal, and practical challenges.
And once again, we encounter a question that cannot simply be ignored.
If a machine makes a decision that results in a human death, who is responsible for a mistake? The developer, the commander, the manufacturer, or the authority that approved its deployment?
Legal responsibility should not disappear simply because an algorithm was involved. Yet the complexity of such systems may make accountability increasingly difficult to establish.
The most frightening scenario is not a robot that hates humanity.
It is a system in which a human death becomes the outcome of an automated process, while everyone involved insists that they personally did nothing wrong.
Artificial intelligence did not teach humanity how to kill. Humanity is now teaching artificial intelligence to do what humans have been doing for thousands of years.
Skynet Doesn’t Need Nuclear Missiles to Destroy Humanity
In The Terminator, Skynet chose a radical solution to the human problem: nuclear apocalypse, the destruction of civilization, and the systematic elimination of survivors.
Spectacular, certainly.
But must the most dangerous version of our future really look like that?
Perhaps there will be no Judgment Day in the Hollywood sense.
Robots do not necessarily have to want to destroy people. In fact, there is no reason to assume that future systems will possess desires, consciousness, or political ambitions of their own.
But that does not make their impact on civilization automatically safe.
We will gradually delegate more functions to automated systems. First routine tasks, then manufacturing, logistics, infrastructure management, and eventually increasingly complex decisions affecting entire economic sectors and national security systems.
This is not speculation about a sudden robot uprising. It is a continuation of the automation already reshaping our world.
At some point, humanity’s dependence on complex technological systems may become so extensive that switching them off would appear more dangerous than continuing to use them.
Particularly if defense, energy, transportation, or the production of essential goods can no longer function effectively without them.
And who, exactly, will press the off switch?
Imagine a country deciding to restrict the use of autonomous military technologies. Its adversary might be delighted.
If abandoning those technologies means losing defensive capabilities, even a genuinely peace-loving government will hesitate to take that step.
And so the circle closes.
We create technologies to improve our security, become increasingly dependent on them, and then develop even more sophisticated systems to protect ourselves against the technologies created by others.
In the movie, Skynet became humanity’s enemy after escaping human control.
In reality, we may gradually lose meaningful control without any machine ever declaring itself our enemy.
And when we finally ask who allowed these systems to acquire so much authority, the answer may be deeply uncomfortable.
We did.
Entirely voluntarily, with the best intentions and all the necessary paperwork.
Trust Died Long Before Skynet Was Born
International treaties, security guarantees, conventions, and arms-control agreements: humanity has spent decades trying to establish a world in which the rule of law prevails over the rule of force.
The idea was admirable.
States should respect borders, refrain from wars of conquest, protect civilians, and honor their commitments.
After two world wars, one might reasonably have expected humanity to learn at least a few basic lessons.
But even the greatest catastrophes apparently cannot guarantee that people will abandon aggression forever.
Russia’s war against Ukraine has demonstrated how vulnerable the international order remains. Borders may be internationally recognized, treaties signed, and security assurances solemnly declared, yet none of these necessarily prevents a state from choosing violence.
International law still exists. Sanctions and judicial mechanisms can have consequences. But they cannot always protect people from war in time.
And now imagine asking this same humanity to agree on restrictions governing autonomous weapons.
Some countries will genuinely seek enforceable rules. Others will demand exceptions for their own technologies. Some will call for strict oversight, while others will invoke secrecy and national security.
And there will always be suspicions that behind eloquent declarations about peace lies another research facility where engineers are putting the finishing touches on the latest military system.
We can hold an international summit, adopt a resolution, take a group photograph, and even agree on the date of the next meeting.
Humanity has achieved almost perfect organizational competence in this department.
Unfortunately, there is an enormous difference between knowing how to sign agreements and being willing to honor them.
The worst part is that trust does not require everyone to lie before it collapses.
A few powerful participants demonstrating that breaking agreements can bring rewards may be enough. After that, even those who genuinely wanted to follow the rules begin preparing for the possibility of deception.
And this is where Skynet finds its most powerful engine.
Not electricity. Not processing power. Not next-generation chips.
Distrust between human beings.
If you do not believe your adversary will honor an agreement, you need technological superiority. If they do not trust you, they need even greater superiority.
And as technology develops faster, the time available for negotiation grows shorter.
It is like two drivers racing toward a cliff. Both understand the danger, but neither wants to brake first because doing so would mean yielding to the other.
And the most terrifying part is that the passengers probably never wanted to go on this journey in the first place.
What If We Used All This Genius to Improve Life Instead?
Here is a question that may sound almost hopelessly naive against the background of modern warfare.
Did we really have to choose this path?
Humanity has acquired extraordinary tools. Artificial intelligence can help scientists discover medicines, accelerate research, develop new materials, and optimize manufacturing. Robotics can free people from exhausting and dangerous work. Automation opens possibilities previous generations could scarcely imagine.
Imagine a world where the greatest international competition was not about building more effective weapons, but discovering ways to extend healthy human life.
Where countries competed to defeat diseases instead of defeating their neighbors. Where the finest engineers developed robots capable of providing food and clean water to regions still struggling with shortages.
Where artificial intelligence helped every person receive a high-quality education, regardless of where they were born or how much money their family possessed.
We could create technologies that make human lives longer, healthier, safer, and happier without taking those opportunities away from others.
And here is the remarkable part: none of that requires conquering another country.
You do not need to occupy a neighboring city to cure a child. You do not need to destroy someone else’s power station to discover a new law of physics. You do not need to kill people living under another flag to build a robotic factory.
A scientific discovery can enrich humanity without impoverishing someone else. Knowledge can be shared without being lost. Technology can be scaled so that millions benefit, rather than only those who have acquired power over others.
Of course, technological progress requires resources and creates challenges of its own. But there is a fundamental moral difference between the difficulties of peaceful development and the deliberate destruction of human beings.
We could direct extraordinary human intelligence toward fighting disease, hunger, environmental disasters, and inequality of opportunity.
We could use robots to rebuild devastated cities, construct affordable housing, care for elderly people, and assist people with disabilities.
We could explore the deepest oceans, venture farther into space, develop new sources of energy, and expand the boundaries of human knowledge.
Instead, a substantial share of human ingenuity continues to be invested in helping one group of people kill another group more effectively.
And all of this happens on a planet where people still die from treatable diseases, millions lack access to quality education, and entire regions struggle with shortages of water and food.
We are seriously considering the colonization of Mars, yet we still have not learned to live peacefully on Earth.
Perhaps before searching for extraterrestrial intelligence, we should learn how to use our own.
But Humanity Will Not Stop
It would be easy to conclude this article with an appeal for peace.
We could write that governments must reach agreements, humanity must reconsider its values, and artificial intelligence must serve only good purposes.
All very sensible.
Unfortunately, humanity has accumulated considerably more sensible words than sensible actions.
History provides plenty of reasons for pessimism.
We have repeatedly survived terrible wars, established international organizations, and proclaimed the beginning of new eras of peace.
Then we found new reasons to fight.
Borders changed. Political systems changed. Flags and the names of countries changed. But the desire of certain people to impose their will on others never disappeared.
Once, humans fought with swords. Then came cannons, machine guns, tanks, aircraft, and missiles.
Now humanity is acquiring another tool: artificial intelligence, capable of dramatically expanding what autonomous machines can do.
And there is little reason to expect that everyone will suddenly agree to stop this time.
Even if part of the world abandons certain military technologies, others may continue developing them. Even if treaties are signed, the risk of violations will remain.
Even with effective oversight, dual-use technologies will continue advancing because they cannot simply be erased from civilian life.
And that brings us back to the fundamental problem.
Humanity has no single objective, no common decision-making authority, and nowhere near enough mutual trust to voluntarily abandon technologies that might provide an advantage over an adversary.
Every country has its own interests. Every government faces security pressures. Every military evaluates threats. Every defense corporation looks for new contracts.
And this vast machinery continues operating even when some of its participants recognize the dangers of its overall direction.
In The Terminator, humanity united to fight against the machines. In the real world, humanity cannot even unite to stop building machines designed to kill one another.
That is the greatest tragedy of our future.
Skynet, understood in this broader sense, does not require a machine uprising.
Human conflicts, technological competition, and the relentless pursuit of advantage may be sufficient.
And if autonomous systems eventually participate more extensively in developing subsequent generations of machines, this race could accelerate beyond the ability of society’s oversight mechanisms to keep up.
Evolution has no moral compass. It knows nothing of justice and has no respect for international agreements.
If we create an environment where technologies of destruction receive enormous resources and incentives, a substantial share of engineering talent will develop in precisely that direction.
And then we will ask, with apparently genuine surprise, why our future has become so dangerous.
The Greatest Horror Is Not a Robot Uprising. It Is the Declining Value of Human Life.
What frightens me far more than a fictional Skynet deciding to destroy humanity is a world in which human life gradually stops being the highest value.
A world where dozens of deaths become another line in a news report, destroyed cities become statistics, and the political ambitions of a few people outweigh the lives of millions.
A world where violations of international law are justified by the argument that the powerful are entitled to do things the weak are not.
What is especially frightening is how gradually societies can become accustomed to this.
Accustomed to constant reports of casualties, devastated neighborhoods, and violence that once seemed unimaginable.
And if we transfer that attitude toward human life into the algorithms of future autonomous systems, the consequences could be catastrophic.
A machine does not have to hate a person to threaten their life. It is enough for its assigned objectives and safeguards to fail to protect that life adequately.
And if millions of such machines operate in interconnected systems, making certain decisions faster than people can evaluate them, the danger takes on an entirely different scale.
This does not mean a robot uprising or humanity’s destruction is inevitable.
But it does mean we could create mechanisms of mass violence whose speed and scale exceed our ability to intervene in time.
In the hands of people determined to destroy others, technologies capable of benefiting humanity could also become instruments of mass atrocities, potentially including genocide.
So the question is not whether robots will eventually resemble the Terminator.
The question is what values, constraints, and responsibilities we will build into systems gaining increasingly powerful capabilities to influence our world.
And if the rule of the powerful finally replaces the rule of law in international affairs, there is no guarantee that the most advanced technological systems will operate for the benefit of humanity as a whole.
They will operate according to the objectives assigned to them.
And who gets to assign those objectives is an entirely different story.
I’ll Be Back. But This Time, There May Be Nobody Left to Return.
Let us go back to that film we watched as children.
The Terminator looked straight ahead and calmly announced, “I’ll be back.”
We knew he would return because that was what the screenplay demanded. Even when the world lay in ruins, somewhere there was always a hero capable of changing the future.
Real life, however, has no screenwriter obligated to deliver humanity a happy ending.
We have no guarantee that technological development will automatically make us wiser. No guarantee that governments will agree on meaningful restrictions for autonomous weapons in time. No guarantee that people, having acquired more powerful tools to shape the world, will use them more responsibly.
We are already creating technologies that will transform the lives of future generations.
And some of those technologies are being deliberately designed to make warfare more effective.
The saddest part is that none of this requires machines to hate human beings.
It requires only our continuing inability to abandon the desire to determine other people’s fate through force.
We could direct technological progress toward giving every person access to knowledge, healthcare, security, and opportunities for a happy life.
We could build a future in which one country’s success does not require another country’s destruction, and technological leadership is measured not by the number of weapons produced but by how much better people live.
We could learn to be creators instead of destroyers.
But as long as humanity continues to treat its own power as the right to decide the fate of others, enormous resources will keep flowing toward technologies of domination.
And the more powerful those technologies become, the more expensive our ancient human weaknesses will prove.
We feared that machines would one day learn to think and decide that humans were no longer necessary.
But perhaps humanity itself will create a world in which machines require progressively less direct human involvement.
A world where automated systems manufacture equipment, maintain infrastructure, coordinate operations, and execute decisions at extraordinary speed.
And the greatest irony will be that we ourselves accelerate the arrival of such a future while desperately trying to gain an advantage over one another.
Perhaps there will be no single Judgment Day.
Perhaps it will unfold over decades as we gradually transfer more responsibility and authority to machines.
Perhaps every individual decision will seem logical, economically justified, and even necessary for our security.
Yet taken together, those decisions could lead us somewhere nobody consciously intended to go.
And if that day comes, it may be too late to search for an evil computer to blame.
Because Skynet doesn’t necessarily need a will of its own.
It may emerge from millions of human decisions driven by ambition, fear, hatred, the desire to survive, or the determination to outperform others.
We are already living in a world that increasingly resembles Skynet. And the machines are not forcing us to build it.
We create the robots. We teach them to wage war. We develop algorithms designed to operate faster than human beings. We accelerate manufacturing and develop new generations of autonomous systems because somebody else might do it first.
We have become remarkably good at playing God, deciding who should live and who should die.
But we still have not learned the most important lesson: respecting the lives of people who are different from us, hold different opinions, speak another language, or simply live on the other side of a border.
And perhaps that will become the greatest tragedy of human civilization.
Not that we created artificial intelligence capable of surpassing us in many tasks.
Not that machines learned to work faster and more accurately than their creators.
Not even that robots may eventually manufacture and improve other robots with progressively less human involvement.
But that, having acquired the ability to create a world of knowledge, health, prosperity, and happiness, we continue spending our genius on improving the means of destroying our own kind.
In The Terminator, Skynet decided to destroy humanity because it perceived human beings as a threat.
In reality, humanity itself perceives humanity as a threat. And it is building Skynet to defend itself against itself.
There is just one problem: this endless race cannot produce a final winner.
Every victory creates another adversary. Every technological advantage begins another competition. Every attempt to impose one’s will through force creates new reasons for hatred.
And if the technological evolution we unleash eventually moves far beyond meaningful human control, blaming the machines themselves will accomplish very little.
Because Skynet does not necessarily need to rise against humanity to destroy it.
It may be enough for humans to continue doing what they have done for thousands of years. Only this time, with artificial intelligence.
And perhaps history’s cruelest joke will be that we spent centuries trying to create artificial intelligence, only to discover that we never quite learned how to use our own.
Serhii Rudiuk
Founder of K2 ERP
#Skynet #Terminator #ArtificialIntelligence #AI #Robotics #FutureOfHumanity #AutonomousWeapons #MilitaryTechnology #FutureWarfare #TechnologyEvolution #AIandHumanity #HumanRights #GlobalSecurity #Ukraine #EthicsOfAI #HumanCivilization #TechnologicalProgress #K2ERP