Положит ли ИИ конец человечеству? Шкала p(doom) инсайдера OpenAI и исследователя ИИ тревожно высока, достигая максимума в 99,9% вероятности.

Что тебе нужно знать

Исследователь ИИ утверждает, что вероятность того, что ИИ положит конец человечеству, составляет 99,9%.
Исследователь говорит, что вечная машина безопасности может помочь предотвратить выход ИИ из-под контроля и уничтожение человечества.
Инсайдер OpenAI говорит, что компания в восторге от AGI и безрассудно стремится к этому, отдавая приоритет блестящим продуктам над процессами безопасности.

Как опытный аналитик с опытом работы в области ИИ и технологических тенденций, я нахожу нынешнее состояние развития ИИ одновременно захватывающим и тревожным. Потенциал ИИ совершить революцию в различных отраслях и улучшить жизнь людей огромен, но нельзя игнорировать связанные с ним риски.

Мы стоим на пороге революционного технологического достижения в области искусственного интеллекта. однако существует ряд препятствий, которые могут помешать нам достичь этих огромных высот. Например, OpenAI тратит впечатляющие 700 000 долларов в день на эксплуатацию ChatGPT. Помимо этой существенной стоимости, существует также непомерное количество электроэнергии, необходимой для развития ИИ, и воды для систем охлаждения.

Большое количество пользователей выразили обеспокоенность по поводу аспектов конфиденциальности и безопасности передовых технологий. Внедрение спорных функций искусственного интеллекта, таких как Windows Recall от Microsoft, которое критиковали как «риск конфиденциальности» и «игровую площадку для хакеров», усилило эти опасения. Однако еще неизвестно, куда движется эта быстро развивающаяся технология. Генеральный директор NVIDIA Дженсен Хуанг предсказывает, что будущее искусственного интеллекта будет связано с беспилотными автомобилями и роботами-гуманоидами.

Несмотря на отсутствие существенных гарантий или правил, сдерживающих развитие технологий искусственного интеллекта, генеральный директор OpenAI Сэм Альтман признает, что в настоящее время не существует надежного механизма, который мог бы остановить это развитие. Потенциальные последствия превосходства ИИ над человеческим интеллектом серьезны и включают в себя захват рабочих мест и даже создание угрозы самому человечеству.

Эксперт по искусственному интеллекту прогнозирует высокую вероятность (около 99,9%) того, что продвинутый искусственный интеллект может представлять угрозу существованию человечества. Напротив, Илон Маск выражает более осторожно-оптимистическую точку зрения, оценивая риск примерно в 20%. Несмотря на эти разные взгляды, Маск выступает за продолжение исследований в этой области.

Почему вероятность того, что ИИ уничтожит человечество, так высока?

Уже некоторое время я слежу за достижениями в области искусственного интеллекта. Хотя, несомненно, впечатляет то, как далеко продвинулась эта технология и оказала существенное влияние в различных областях, нельзя отрицать, что ее отрицательные аспекты превосходят положительные.

Список значений P(doom) из r/ChatGPT

Исследователь искусственного интеллекта Роман Ямпольский недавно появился на подкасте Фридмана, чтобы всесторонне обсудить возможные угрозы, которые ИИ может представлять для человечества. По словам Ямпольского, существует значительный риск того, что ИИ может положить конец человеческой цивилизации, если нам не удастся создать безупречное программное обеспечение без ошибок в течение следующих ста лет. Однако он питает сомнения, поскольку даже самыми продвинутыми моделями манипулировали и уговаривали отклониться от их предполагаемых функций.

«Раньше случались ошибки. Были неудачи, несанкционированный доступ. Я считаю, что не существует современной крупномасштабной языковой модели, которая бы не использовалась ее создателями способами, неожиданными».

Исследователь ИИ, такой как Ямпольский, предлагает создать постоянно обновляемую систему безопасности, чтобы гарантировать, что продвинутый ИИ не будет представлять угрозу человечеству или захватывать контроль над ним. Несмотря на строгие проверки безопасности новейших моделей искусственного интеллекта, естественное развитие технологий в сторону повышения интеллекта и возможностей делает необходимым наличие такой системы.

Инсайдер OpenAI говорит, что ИИ приведет к неизбежной гибели

В отдельном документе Даниэль Кокотайло, бывший исследователь команды управления OpenAI, разделяет точку зрения Ямпольского. По словам Кокотайло, вероятность того, что ИИ может привести к вымиранию человечества, составляет примерно 70% (по данным Futurism). В приведенной выше таблице показано, как каждый значимый игрок и заинтересованная сторона в сообществе ИИ придерживается различных оценок относительно этого потенциального катастрофического результата, обозначенного как «p (гибель)». Чтобы уточнить, p(doom) означает уравнение, используемое для оценки вероятности того, что ИИ может привести к гибели человечества.

Согласно заявлению Кокотаджио, OpenAI глубоко привержена разработке общего искусственного интеллекта (AGI), и они расширяют границы в своем стремлении достичь этой вехи в первую очередь. Тем не менее, возникли некоторые опасения, поскольку несколько топ-менеджеров OpenAI, в том числе Ян Лейке, который возглавляет усилия по суперсинхронизации, недавно ушли из компании. Эти отклонения предполагают, что OpenAI, возможно, больше фокусируется на производстве привлекательных продуктов, а не на приоритетах мер безопасности и развитии сильной корпоративной культуры.

В электронном письме, просмотренном New York Times, Кокотаджио выразил обеспокоенность тем, что ни мир, ни мы сами к этому не готовы. Он обеспокоен тем, что мы безрассудно продвигаемся вперед, оправдывая свои действия.

Смотрите также

2024-06-29 23:09