Почему AGI может стать экзистенциальной угрозой для человечества

Сегодня мы все чаще слышим о том, что искусственный интеллект (AI) может изменить мир. Но насколько серьезно мы должны относиться к этому будущему? Недавно я посмотрел интервью с профессором безопасности искусственного интеллекта Романом Ямпольским, и его точка зрения, мягко говоря, настораживает.

AGI и экзистенциальная угроза

По мнению Ямпольского, если человечество создаст искусственный общий интеллект (AGI), который будет превосходить человека во всех областях, мы можем потерять над ним контроль. Это уже не разговоры о том, что AI заменит сотрудников на рабочих местах или что переводчики станут не нужны. Это гораздо более глубокая проблема.

Почему контроль станет невозможен?

• Его нельзя будет "уволить"
• Нельзя будет нормально наказать
• Нельзя будет гарантированно выключить
• Нельзя будет быть уверенным, что он действует в наших интересах

И это не фантастика, а реальная угроза, о которой говорят специалисты в области безопасности AI.

Узкий AI против AGI

Сейчас мы видим, как AI помогает в решении бытовых задач: написание писем, анализ данных, автоматизация рутинных процессов. Люди привыкли к полезности узких AI-инструментов и не ощущают, какие риски может принести развитие AGI. Однако важно понимать разницу между этими двумя уровнями технологий.

Почему узкий AI безопасен?

Узкий AI работает в рамках заданных задач, он не имеет возможности выйти за их пределы и представляет собой инструмент, который человек может контролировать. Но как только речь идет о создании универсального интеллекта, ситуация меняется кардинально.

Будущее AGI: риск или прогресс?

Если негативные сценарии AGI окажутся правдой, нам нужно будет задаться вопросом: не создаем ли мы систему, которую сами не сможем остановить? Это важное различие, которое мы должны учитывать, когда говорим о будущем искусственного интеллекта.