Com os avanços tecnológicos tornando a voz e as imagens habilitadas para inteligência artificial mais realistas do que nunca, malfeitores armados com deepfakes estão chegando às empresas.
"Sempre recebemos chamadas fraudulentas. Mas a capacidade desses modelos de IA agora imitarem os padrões reais de voz de um indivíduo dando instruções a alguém com o telefone para fazer algo - esses tipos de riscos são totalmente novos", disse Bill Cassidy, diretor de informações daNew York Life.
Os bancos e os prestadores de serviços financeiros estão entre as primeiras empresas a serem visadas. "Este espaço está se movendo muito rápido", disse Kyle Kappel, líder cibernético da KPMG nos EUA.
A rapidez foi demonstrada no início deste mês, quando a OpenAI apresentou uma tecnologia que pode recriar uma voz humana a partir de um clipe de 15 segundos. A Open AI disse que não divulgaria a tecnologia publicamente até saber mais sobre os riscos potenciais de uso indevido.
Entre as preocupações está a possibilidade de maus atores usarem áudio gerado por IA para manipular software de autenticação de voz usado por empresas de serviços financeiros para verificar clientes e conceder-lhes acesso às suas contas. O Chase Bank foi enganado recentemente por uma voz gerada por IA durante um experimento.
Os incidentes deepfake no setor de fintechs aumentaram 700% em 2023 em relação ao ano anterior, de acordo com um relatório recente da plataforma de verificação de identidade Sumsub.
As empresas dizem que estão trabalhando para implementar mais barreiras de proteção para se prepararem para uma onda de ataques generativos alimentados por IA. Por exemplo, a Cassidy disse que está trabalhando com o grupo de capital de risco da New York Life para identificar startups e tecnologias emergentes projetadas para combater deepfakes. "Em muitos casos, a melhor defesa desta ameaça de IA generativa é alguma forma de IA generativa do outro lado", disse ele.
Os malfeitores também podem usar a IA para gerar fotos de carteiras de motorista falsas para configurar contas online, por isso Alex Carriles, diretor digital do Simmons Bank, disse que está mudando alguns protocolos de verificação de identidade. Anteriormente, uma etapa para abrir uma conta online no banco envolvia o upload de fotos de carteiras de motorista pelos clientes. Agora que as imagens de carteiras de motorista podem ser facilmente geradas com IA, o banco está trabalhando com o fornecedor de segurança IDScan.net para melhorar o processo.
Em vez de enviar uma foto pré-existente, disse Carriles, os clientes agora devem fotografar suas carteiras de motorista por meio do aplicativo do banco e depois tirar selfies. Para evitar uma situação em que eles seguram câmeras contra uma tela com um visual gerado por IA do rosto de outra pessoa, o aplicativo instrui os usuários a olhar para a esquerda, direita, para cima ou para baixo, já que um deepfake genérico de IA não estará necessariamente preparado para fazer o mesmo.