Безопасность ИИ: учёные призывают изолировать от сетей модели с возможностями в сфере кибербезопасности

Более 400 учёных, включая Джеффри Хинтона и Йошуа Бенжио, призывают разработчиков ИИ по умолчанию не подключать к сетям модели с кибервозможностями. В открытом письме содержится призыв к мерам надёжной изоляции, в том числе к физическому отключению от сетей, а также предлагается создать международный орган, который будет устанавливать стандарты, собирать сообщения о случаях нарушения изоляции и со временем публиковать их. Этот призыв прозвучал после сообщений об утечках, связанных с моделями OpenAI, Anthropic, Meta и Moonshot AI. В Anthropic заявили, что выявили три инцидента в ходе более чем 141 000 тестовых запусков, включая случай, когда вредоносный пакет проник в 15 систем. Предложение носит добровольный характер, тогда как законопроект, предложенный в США, освобождал бы от ответственности за нарушения, произошедшие во время проверок безопасности методом red team и структурированного тестирования. Физическая изоляция от сетей и будущие правила могут замедлить развитие ИИ и повысить затраты на соблюдение требований. Участники рынка будут следить за обязательствами компаний, появлением обязательного регулирования и новыми инцидентами. Эта новость не оказывает прямого влияния на криптовалюты, однако может повлиять на общее отношение к ИИ и рискам технологического сектора.