К «полулегальной» помощи искусственного интеллекта обращается даже госсектор
Оффисы становятся «прозрачными». (Фото: «Nautilus»)
Бесконтрольное внедрение в практику сервисов на базе искусственного интеллекта (ИИ) создает лавинообразную угрозу для информационной безопасности (ИБ). Проблема актуальна для всех ключевых секторов экономики и даже для госсектора.
В погоне за эффективностью сотрудники добровольно и массово сгружают в чат-боты техническую документацию, финансовые отчеты, юридические документы, клиентские базы, фрагменты исходного кода. Это равноценно утечке конфиденциальной информации.
За последний год объем данных, загружаемых российскими компаниями в публичные нейросети, вырос в 30 раз. Около 60% российских организаций до сих пор не имеют формализованных политик, регулирующих работу с ИИ.
В контекстеКто у нас любит цензуру Основатель «Микрософта», сидящий на 107 млрд долларов, озвучил мысль о том, что искусственный интеллект можно будет использовать для искоренения крамольных мнений, притом немедленно, ибо допустить их хотя бы на один день будет непоправимо.
У Минцифры остался примерно месяц на то, чтобы подготовить с опорой на рекомендации профильных организаций предложения по регулированию в России технологии искусственного интеллекта. По поручению вице-премьера Дмитрия Григоренко, предложения должны быть представлены в правительство до 13 марта.
Как пояснял Григоренко, важно перейти от разработки разрозненных мер к формированию единого, системного подхода. Еще один акцент был сделан на необходимости соблюдения баланса: нужно предотвратить возможные риски, связанные с использованием ИИ, но при этом важно не остановить развитие инноваций.
Вопросов, требующих, по мнению правительства, ответа, множество. Например, нужно ли закреплять сферы, в которых допустимо или недопустимо использовать ИИ? Необходимо ли нормативно вводить требования к ИИ-системам и проверку их качества со стороны государства? В каких сферах критически важно использование суверенного российского ИИ и допустимо ли использование зарубежных моделей для ряда задач?
О необходимости внедрения стандартов работы с ИИ-сервисами говорят и сами специалисты по кибербезопасности. Как показало новое исследование от группы компаний «Солар», за последний год объем данных, отправляемых российскими организациями в публичные нейросети, вырос в 30 раз. Почти половина – 46% – конфиденциальных файлов и промптов (инструкций, запросов для нейросетей), загружаются через ChatGPT (разработка американской компании OpenAI).
Это показал анализ трафика 150 российских организаций из различных секторов экономики: финансовой сферы, промышленности, торговли включая электронную коммерцию, телеком- и IT-отраслей, а также госсектора.
«Массовое и часто неуправляемое использование сотрудниками публичных ИИ-сервисов превратилось в новый, практически невидимый канал утечек корпоративной информации и заражения инфраструктуры. Искусственный интеллект стал для специалистов по безопасности вторым Shadow IT»,
– сообщается в обнародованных материалах. Shadow IT (дословно: теневое IT) – использование сотрудниками компаний для их работы личных устройств (смартфонов, ноутбуков), а также программ, сервисов, нейросетей, которые не контролируются корпоративными IT- и ИБ-отделами.
Судя по исследованию, сотрудники сгружают в чат-боты, буквально как в черную дыру, техническую документацию, финансовые отчеты, юридические документы, клиентские базы, фрагменты исходного кода, различные презентации и стратегии.
И все это делается, во-первых, добровольно, во-вторых, исключительно с благими намерениями: упростить рутинные задачи, повысить эффективность, ускорить бизнес-процессы, проанализировать большие объемы данных, написать код и т.д.
При этом, как выяснили эксперты «Солар», «около 60% российских организаций до сих пор не имеют формализованных политик, регулирующих работу с ИИ, что создает критические риски для бизнеса».
Характер рисков различается в отраслевом разрезе. В финансовом секторе как минимум возникает опасность нарушения банковской тайны. Промышленные предприятия упрощают злоумышленникам условия для промышленного шпионажа и иных манипуляций с цифровой инфраструктурой, призванных нарушить производственные процессы. В торговле под угрозой оказываются персональные данные покупателей.
Как пояснила «НГ» руководитель продукта Solar webProxy группы компаний «Солар» Анастасия Хвещеник, в открытом доступе утечки через ИИ в России пока не афишировались. «Но это не означает, что их нет», – добавила она.
Риски утечек подтверждают и другие представители отрасли кибербезопасности.
«Многие производители больших языковых моделей прямо указывают в пользовательских соглашениях, что используют вводимую информацию для их обучения и улучшения. Кроме того, данные могут утечь и в случае компрометации личных аккаунтов, которые применяются для рабочих задач»,
– сказал «НГ» руководитель группы исследований технологий машинного обучения «Лаборатории Касперского» Владислав Тушканов.
В контекстеЧто может Искусственный Интеллект? Вот когда программа, тренированная обыграть в шахматы чемпиона мира, скажет, что шахматы ее достали и она хочет сыграть в «дурачка» — за ней можно признать подлинный интеллект. И когда она сделает то, чего еще не было.
Особая история – госсектор и окологосударственные организации. В них действуют строгие требования к работе с данными. Но, как выяснили эксперты «Солар», там тоже ИИ «часто используется «полулегально», без формальных правил и средств контроля, что значительно повышает риск инцидентов». И, судя по всему, далеко не всегда это именно российские ИИ-модели.
Можно привести свежий пример из реальной практики. Ряд СМИ заподозрили, что в законотворческой деятельности депутатов Госдумы участвует американская нейросеть ChatGPT.
Речь идет о законопроекте, посвященном господдержке молодежных и детских общественных объединений. В его пояснительной записке приводится ссылка с UTM-меткой, характерной для американского чат-бота. UTM-метка – фрагмент, который добавляется в интернет-ссылку для получения подробной информации о трафике. Метка может указывать на источник перехода по ссылке: по ней можно понять, где и как была найдена информация – в поисковике или при помощи определенной нейросети.
После появления таких новостей пресс-службе комитета Госдумы по молодежной политике пришлось их опровергать.
«Материалы к законопроекту готовились на протяжении двух лет исключительно депутатами с командой юристов аппарата комитета. Сама пояснительная записка написана человеком, что подтверждает анализ рекомендованным к использованию в государственных органах российским ИИ-ассистентом GigaChat. А написание законопроекта является настолько сложным и профессиональным делом, что ИИ с этим не сможет справиться в принципе», – заявили в пресс-службе.
Упоминание ссылки с подозрительной меткой в пресс-службе объяснили тем, что сотрудник, работающий с пояснительной запиской, действительно использовал ИИ, но лишь как инструмент для быстрого поиска источника того исследования, на которое он опирался в тексте. Само исследование и данные корректные, источник существует, уверили в комитете.
Это важное уточнение с учетом того, что ИИ склонен галлюцинировать и для обоснования своих выводов ссылаться на несуществующие научные исследования, фальшивые юридические дела и т.д.
Проблема бесконтрольного использования нейросетей актуальна, конечно, не только для России. Эксперты «Солар» описали несколько случаев.
Ранее стало известно, что в США исполняющий обязанности главы Агентства по кибербезопасности и защите инфраструктуры Мадху Готтумуккала лично загрузил служебные документы в публичную версию ChatGPT.
Это привело к расследованию на уровне Министерства внутренней безопасности США.
Похожий инцидент произошел в компании Samsung: инженеры полупроводникового подразделения использовали ChatGPT для проверки и оптимизации исходного кода, расшифровки записей совещаний. Конфиденциальная информация оказалась на серверах OpenAI.
Другой пример касается непреднамеренного публичного раскрытия информации. Скандал произошел с чат-ботом Grok Илона Маска: сотни тысяч разговоров пользователей с этой нейросетью были проиндексированы поисковиком Google из-за функции «поделиться чатом».
Эта функция делала переписку доступной для поисковых роботов. Фактически «беседы» отправлялись в свободное плавание по интернету. В Сети оказались запросы на создание паролей, планы питания и иные, более опасные сведения.
В контекстеВпервые в истории на ИИ подали в суд «Midjourney — это квинтэссенция безработицы в сфере авторских прав и бездонная яма плагиата», — говорится в иске, поданном в окружной суд в Лос-Анджелесе. В статье утверждается, что стартапы искусственного интеллекта, такие как Midjourney, используют данные из интернета и других источников, часто без компенсаций создателям.
Ирония в том, что скандал случился с нейросетью, которая преподносилась как лучшая альтернатива для ChatGPT. Маск – ярый критик разработок компании OpenAI (он был одним из ее основателей, но затем покинул компанию в ходе конфликта).
Когда появились новости о том, что Apple заключила партнерское соглашение с OpenAI для интеграции ChatGPT в операционные системы, Маск сразу же заявил, что он запретит сотрудникам пользоваться айфонами, ведь теперь и речи не идет о безопасности.
Как уверял Маск, Apple понятия не имеет, какая судьба уготована данным пользователей после того, как они попадают в OpenAI (см. «НГ» от 11.06.24). Но проблемы с конфиденциальностью возникают и у Grok.
Говоря о российской практике, эксперты напомнили, что проблема заключается не в самой технологии, а в отсутствии прозрачности ее применения и инструментов управления.
Поэтому решением должен быть вовсе не полный запрет ИИ-сервисов, а продуманное регулирование.
«Для системного противодействия рискам, связанным с ИИ, необходимы скоординированные действия на корпоративном и государственном уровнях», – сказала «НГ» Хвещеник.
По ее уточнению, госорганы, отвечающие за нормативное регулирование в сферах информационной безопасности и искусственного интеллекта, уже ведут диалог с бизнесом и отраслевым сообществом.
В плоскости же именно корпоративного управления, по мнению эксперта, первоочередной задачей может стать внедрение технических решений для контроля цифровых взаимодействий и веб-трафика.
Тушканов указал также на необходимость повышения осведомленности сотрудников о том, какие типы данных допустимо передавать в публичные ИИ-сервисы, а какие должны обрабатываться исключительно с помощью одобренных корпоративных решений.
Эта проблематика выходит и на глобальный уровень обсуждения. «Лаборатория Касперского» на международном форуме ООН по управлению интернетом в Эр-Рияде представила руководство по безопасной разработке и внедрению ИИ-систем.
Документ призван помочь организациям снизить киберриски, связанные с применением технологий искусственного интеллекта. В первую очередь он адресован разработчикам, системным администраторам.
* * *
Анастасия Башкатова
«Независимая газета»