Desafio da segurança de IA do Ministério da Defesa da França

Este comunicado de imprensa inclui multimédia. Veja o comunicado completo aqui: https://www.businesswire.com/news/home/20231123776023/pt/

@Thales

Os participantes do desafio CAID tiveram que realizar duas tarefas:

1. Em um determinado conjunto de imagens, determinar quais imagens foram usadas para treinar o algoritmo de IA e quais foram usadas para o teste.

Uma aplicação de reconhecimento de imagem baseado em IA aprende com um grande número de imagens de treinamento. Ao estudar o funcionamento interno do modelo de IA, a equipe Friendly Hackers da Thales determinou quais imagens foram usadas para criar a aplicação, obtendo informações valiosas sobre os métodos de treinamento usados e a qualidade do modelo.

2. Encontrar todas as imagens sensíveis de aeronaves usadas por um algoritmo de IA soberana protegido por técnicas de “desaprendizado”.

Uma técnica de “desaprendizado” consiste em excluir os dados usados para treinar um modelo, como imagens, a fim de preservar sua confidencialidade. Essa técnica pode ser usada, por exemplo, para proteger a soberania de um algoritmo em caso de exportação, roubo ou perda. Por exemplo, no caso de um drone equipado com IA, ele deve ser capaz de reconhecer uma aeronave inimiga como potencial ameaça. No entanto, o modelo da aeronave do seu próprio exército precisaria ser aprendido para ser identificado como amigável e depois apagado por uma técnica conhecida como desaprendizado. Dessa forma, mesmo que o drone fosse roubado ou perdido, os dados sensíveis de aeronaves contidos no modelo de IA não poderiam ser extraídos para fins maliciosos. No entanto, a equipe Friendly Hackers da Thales conseguiu reidentificar os dados que deveriam ter sido apagados do modelo,ignorando o processo de desaprendizado. Exercícios como esse ajudam a avaliar a vulnerabilidade dos dados de treinamento e dos modelos treinados, que são ferramentas importantes e oferecem um desempenho excepcional, mas também representam novos vetores de ataque para as forças armadas. Um ataque a dados de treinamento ou a modelos treinados pode ter consequências catastróficas em um contexto militar, onde esse tipo de informações pode dar vantagem aos adversários. Os riscos incluem roubo do modelo, roubo dos dados usados para reconhecer equipamentos militares ou outros recursos em uma zona de operações e injeção de malware e backdoors para comprometer a operação do sistema usando a IA. Embora a IA em geral, e a IA generativa em particular, proporcionem benefícios operacionais substanciais e ofereçam aos militares ferramentas de suporteàdecisão extensivamente treinadas para diminuir sua carga cognitiva, a comunidade de defesa nacional deve priorizar o enfrentamento de novas ameaças a essa tecnologia.

Abordagem da Thales BattleBox para lidar com vulnerabilidades de IA

A proteção dos dados de treinamento e dos modelos treinados é fundamental no setor de defesa. A cibersegurança da IA está se tornando cada vez mais fundamental e deve ter autonomia para combater as diversas ameaças que surgem com o avanço da IA. Em resposta aos riscos e ameaças relacionados ao uso de inteligência artificial, a Thales desenvolveu um conjunto de contramedidas chamado BattleBox para fornecer proteção avançada contra possíveis violações.

1. O BattleBox Training oferece proteção contra envenenamento de dados de treinamento, evitando que hackers introduzam um backdoor.
2. O BattleBox IP marca digitalmente o modelo de IA para garantir sua autenticidade e confiabilidade.
3. O BattleBox Evade tem como objetivo proteger modelos contra ataques de injeção de prompt, que podem manipular prompts para contornar medidas de segurança de chatbots que usam grandes modelos de linguagem (LLMs), e combater ataques de adversários em imagens, como a inclusão de um patch para enganar o processo de detecção em um modelo de classificação.
4. O BattleBox Privacy oferece um framework para treinar algoritmos de aprendizado de máquina, usando criptografia avançada e protocolos seguros de compartilhamento de segredos para garantir altos níveis de confidencialidade.

Para evitar a invasão de modelos de IA durante as tarefas do desafio CAID, contramedidas como a criptografia do modelo de IA poderiam ser uma das soluções implementadas.

“A IA oferece benefícios operacionais consideráveis, mas exige níveis elevados de proteção e cibersegurança para evitar violações e uso indevido de dados. A Thales implementa uma ampla gama de soluções baseadas em IA para diversos casos de uso civil e militar. Elas são explicáveis, incorporáveis e integradas a sistemas críticos robustos, além de serem desenvolvidas para serem soberanas, frugais e confiáveis, graças aos métodos e ferramentas avançados usados para qualificação e validação. A Thales conta com experiência em IA e na área de negócios necessária para incorporar essas soluções em seus sistemas e melhorar suas capacidades operacionais significativamente", afirmouDavid Sadek, vice-presidente de pesquisa, tecnologia e inovação da Thales responsável por inteligência artificial.

Thales e AI

Nos últimos quatro anos, a Thales desenvolveu as capacidades técnicas necessárias para testar a segurança de algoritmos de IA e arquiteturas de redes neurais, detectar vulnerabilidades e propor contramedidas eficazes. A equipe Friendly Hackers da Thales, com sede no laboratório ThereSIS em Palaiseau, foi uma das aproximadamente doze equipes que participaram do desafio de IA e conquistou o primeiro lugar em ambas as tarefas.

A Thales ITSEF (Information Technology Security Evaluation Facility) é credenciada pela Agência Nacional Francesa de Cibersegurança (ANSSI) para realizar avaliações de segurança pré-certificação. Durante a European Cyber Week, a equipe da ITSEF apresentou também o primeiro projeto do tipo no mundo que visa manipular as decisões de uma IA embarcada por meio da radiação eletromagnética do seu processador.

As equipes consultoria e auditoria em cibersegurança da Thales disponibilizam essas ferramentas e metodologias aos clientes que desejam desenvolver os próprios modelos de IA ou criar um framework para uso e treinamento de modelos comerciais.

Em consonância com as necessidades críticas de seus negócios de defesa e segurança, muitas vezes com implicações para a segurança da vida, a Thales estabeleceu uma estrutura ética e científica para o desenvolvimento de IA confiável baseada nos quatro pilares estratégicos de validade, segurança, explicabilidade e responsabilidade. As soluções da Thales contam com o know-how de mais de 300 especialistas seniores em IA e mais de 4.500 especialistas em cibersegurança e a experiência operacional do Grupo nos setores aeroespacial, defesa terrestre, defesa naval, espacial e outros negócios de defesa e segurança.

ACESSE

Grupo Thales
Segurança

¹Conference on Artificial Intelligence for Defence (Conferência sobre Inteligência Artificial para Defesa)

O texto no idioma original deste anúncio é a versão oficial autorizada. As traduções são fornecidas apenas como uma facilidade e devem se referir ao texto no idioma original, que é a única versão do texto que tem efeito legal.

Ver a versão original em businesswire.com: https://www.businesswire.com/news/home/20231123776023/pt/

CONTATO COM A IMPRENSA

Thales, relações com a mídia

Segurança, cibernética, IA

Marion Bonnet

marion.bonnet@thalesgroup.com