HomeTCE-RS: Utilização de recursos de inteligência artificial (IA) como ferramenta de auditoria

Inteligência Artificial

TCE-RS: Utilização de recursos de inteligência artificial (IA) como ferramenta de auditoria

1. IDENTIFICAÇÃO

a. Tribunal de Contas
Tribunal de Contas do Estado do Rio Grande do Sul (TCE-RS)

b. Endereço
Rua Sete de Setembro, 388, Centro Histórico, 90010-190, Porto Alegre/RS

c. Presidente
Conselheiro Alexandre Postal

d. Unidade responsável pela prática, fone, e-mail

Centro de Gestão Estratégica de Informação para o Controle Externo (CGEX), (51) 3214-9667, [email protected] ; Assessoria de Sistemas de Controle Externo (Asce), (51) 3214-9976

e. Membro ou servidor responsável pela apresentação da prática, fone, e-mail

Aramis Ricardo Costa de Souza, (51) 99702-7033, [email protected]

2. SOBRE A BOA PRÁTICA

a. Título da prática
Utilização de recursos de inteligência artificial (IA) como ferramenta de auditoria

b. Indicador do MMD-TC a que se vincula
QATC-13

c. Descrição
As seguintes ferramentas foram desenvolvidas nos últimos anos:

Laís (Licitacon Análise de Indícios de Sobrepreço): integrado ao sistema LicitaCon, auxilia os auditores na pesquisa de preços de referência e na comparação destes com os estimados e contratados pelos fiscalizados.
Lídia (Leitor de Informações de Diários com Inteligência Artificial): a partir da utilização de conceito de inteligência artificial, identifica licitações ou contratos publicados em diários oficiais e portais de compras públicas que não estejam cadastradas no LicitaCon.
Ícaro (Identificação de Comportamento Atípico na Aplicação de Recursos Orçamentários): analisa as despesas dos fiscalizados e emite alertas automáticos aos auditores quando identificado comportamento atípico na execução dessas despesas.
Raquel (Revisão Automática da Quebra de Uniformidade em Empenhos e Liquidações): valida os dados enviados pelos fiscalizados municipais via Sistema de Informações para Auditoria e Prestação de Contas/Programa Autenticador de Dados (SIAPC/PAD) e identifica a ocorrência de alterações orçamentárias entre as diferentes remessas.
Rianna (Relatório de Indícios para Auditoria com base em Notas Fiscais com Numeração Atípica): identifica a emissão de notas fiscais com numeração atípica contra fiscalizados, como possível indício de irregularidade em contratações de empresas em início de atividade ou exercendo atividades de forma esporádica.
Consuelo (Consulta de Elos): é uma ferramenta responsável por armazenar e pesquisar vínculos ou relacionamentos entre entidades de interesse do TCE-RS, gerando o resultado em formato gráfico, para melhor entendimento.
Larissa (Licitacon Alerta de Riscos aos Serviços de Auditoria): é um robô que avalia os riscos de licitações e contratos cadastrados no sistema LicitaCon e gera alertas aos auditores. Além disso, agrupa análises dos robôs Laís, Alice Nacional e Consuelo em uma única matriz de riscos, auxiliando no planejamento e na execução das auditorias.

i. Objetivos

Com o objetivo de aperfeiçoar o controle concomitante/preventivo, racionalizar as fiscalizações e evitar gastos indevidos, o TCE-RS vem investindo, nos últimos anos, em ferramentas para a realização de auditorias remotas, por meio de recursos de inteligência artificial.

ii. Metodologia adotada

Todas as ferramentas agregam informações remetidas ao TCE-RS pelos fiscalizados periodicamente, a exemplo de licitações, contratos, dados contábeis e financeiros, além de bases de dados de outros entes públicos disponibilizadas a este TCE. A esses conjuntos de dados, são aplicadas técnicas de análise de dados que possibilitam a identificação de padrões, a agregação de informações e/ou o cálculo de risco de dano, conforme o objetivo específico já indicado para cada um dos robôs, de forma a auxiliar os auditores no planejamento e na execução de suas ações de controle.

iii. Tecnologias empregadas, como softwares, “robôs”, acessos móveis, inteligência artificial, scanner de pavimento etc.

Cruzamento de dados e inteligência artificial.

iv. Tempo da prática no tribunal
Desde junho de 2019.

v. Houve compartilhamento com outros TCs? Quais?

Foram realizadas algumas apresentações da ferramenta, de forma on-line, para outros TCs, sem a existência, até o momento, de convênio para compartilhamento de tecnologia.

3. SOBRE O DESENVOLVIMENTO, A IMPLANTAÇÃO E A IMPLEMENTAÇÃO

a. Pessoas e setores envolvidos no desenvolvimento

Cinco pessoas do CGEX e seis pessoas da DSB (Data Science Brigade – empresa terceirizada).

b. Pessoas envolvidas na implantação e na implementação

Cinco pessoas do CGEX, três pessoas da DSB e duas pessoas da Sinf (Supervisão de Informática, atual DTI – Direção de Tecnologia da Informação).

c. Conhecimentos necessários

Infraestrutura de TI: Docker, Linux, ferramentas de gerenciamento do ambiente Hadoop e OrientDB.

Programação: Python, algoritmos de machine learning (clusterização, busca) e teoria de grafos.

d. Passos executados para o desenvolvimento, a implantação e a implementação

Criação de um macroprojeto que consta no planejamento estratégico da instituição.
Criação de infraestrutura de TI para suportar os projetos.
Contratação de empresa para prestar mentoria nos projetos de IA.
Contratação de empresa para auxiliar no desenvolvimento das soluções.
Criação dos projetos específicos de cada robô, com atuação de analistas de negócios, analistas de sistemas internos e terceiros.
Desenvolvimento conjunto da solução.
Entrega dos produtos em formato de microsserviços para poderem ser acessados de qualquer sistema interno.

e. Tempo para o desenvolvimento, a implantação e a implementação

Os projetos foram iniciados em 2018, com a prospecção de soluções disponíveis no mercado para infraestrutura de TI. Em 2019, foram feitas a licitação e a contratação da infraestrutura e da mentoria em ciência de dados. Após isso, o tempo médio para o desenvolvimento de cada robô foi de seis meses a um ano.

f. Custo para o desenvolvimento, a implantação e a implementação

Contratação dos hardwares da infraestrutura de TI: aproximadamente R$ 550 mil.
Contratação dos softwares da infraestrutura de TI: aproximadamente R$ 230 mil por ano.
Contratação de serviços de mentoria e gerenciamento de ambiente: limite de aproximadamente R$ 1 milhão por ano, gasto conforme demanda, num máximo de 6 mil horas.

g. Problemas enfrentados para o desenvolvimento, a implantação e a implementação

Disponibilidade de analistas de negócios para trabalhar nos projetos.
Tecnologia muito nova, com pouca mão de obra interna para trabalhar nos projetos.
Projetos envolvendo inteligência artificial não funcionam como o desenvolvimento de sistemas tradicional, pois possuem mais um viés de laboratório de experimentação do que de fábrica de software.

h. Pontos críticos x soluções

Deslocamento de analistas de negócios responsáveis por cada projeto, com dedicação exclusiva para auxiliar na especificação e na validação dos projetos.
Contratação de empresa terceirizada para prestar mentoria em tecnologias de ciência de dados, com conhecimentos sobre algoritmos de machine learning e projetos envolvendo inteligência artificial (IA).
Capacitação para o público interno adquirir os conhecimentos necessários para a participação nos projetos.
Desenvolvimento de uma nova metodologia para o ciclo dos projetos que envolvem IA, com a qual, mesmo que determinada solução não se mostrasse promissora para a resolução de determinado problema, o aprendizado não era perdido e servia de base para o estudo de outra solução.

4. MENSURAÇÃO DOS RESULTADOS

a. Resultados esperados
Maior agilidade na detecção de possíveis irregularidades.

b. Resultados alcançados
Benefícios de auditoria da Larissa (junho de 2019 a maio de 2023):

18.447 achados registrados;
1.728 achados com benefícios;
R$ 1.173.626.898,73.

c. Lições aprendidas

É necessário estabelecer metodologias para o uso das ferramentas.
É necessária a colaboração constante dos usuários das ferramentas para garantir que elas não se tornem obsoletas ou não sejam aderentes à rotina de trabalho.