1. IDENTIFICAÇÃO
a. Tribunal de Contas
Tribunal de Contas do Estado do Rio Grande do Sul (TCE-RS)
b. Endereço
Rua Sete de Setembro, 388, Centro Histórico, 90010-190, Porto Alegre/RS
c. Presidente
Conselheiro Alexandre Postal
d. Unidade responsável pela prática, fone, e-mail
Centro de Gestão Estratégica de Informação para o Controle Externo (CGEX), (51) 3214-9667, cgex@tce.rs.gov.br ; Assessoria de Sistemas de Controle Externo (Asce), (51) 3214-9976
e. Membro ou servidor responsável pela apresentação da prática, fone, e-mail
Aramis Ricardo Costa de Souza, (51) 99702-7033, aramis@tce.rs.gov.br
2. SOBRE A BOA PRÁTICA
a. Título da prática
Utilização de recursos de inteligência artificial (IA) como ferramenta de auditoria
b. Indicador do MMD-TC a que se vincula
QATC-13
c. Descrição
As seguintes ferramentas foram desenvolvidas nos últimos anos:
- Laís (Licitacon Análise de Indícios de Sobrepreço): integrado ao sistema LicitaCon, auxilia os auditores na pesquisa de preços de referência e na comparação destes com os estimados e contratados pelos fiscalizados.
- Lídia (Leitor de Informações de Diários com Inteligência Artificial): a partir da utilização de conceito de inteligência artificial, identifica licitações ou contratos publicados em diários oficiais e portais de compras públicas que não estejam cadastradas no LicitaCon.
- Ícaro (Identificação de Comportamento Atípico na Aplicação de Recursos Orçamentários): analisa as despesas dos fiscalizados e emite alertas automáticos aos auditores quando identificado comportamento atípico na execução dessas despesas.
- Raquel (Revisão Automática da Quebra de Uniformidade em Empenhos e Liquidações): valida os dados enviados pelos fiscalizados municipais via Sistema de Informações para Auditoria e Prestação de Contas/Programa Autenticador de Dados (SIAPC/PAD) e identifica a ocorrência de alterações orçamentárias entre as diferentes remessas.
- Rianna (Relatório de Indícios para Auditoria com base em Notas Fiscais com Numeração Atípica): identifica a emissão de notas fiscais com numeração atípica contra fiscalizados, como possível indício de irregularidade em contratações de empresas em início de atividade ou exercendo atividades de forma esporádica.
- Consuelo (Consulta de Elos): é uma ferramenta responsável por armazenar e pesquisar vínculos ou relacionamentos entre entidades de interesse do TCE-RS, gerando o resultado em formato gráfico, para melhor entendimento.
- Larissa (Licitacon Alerta de Riscos aos Serviços de Auditoria): é um robô que avalia os riscos de licitações e contratos cadastrados no sistema LicitaCon e gera alertas aos auditores. Além disso, agrupa análises dos robôs Laís, Alice Nacional e Consuelo em uma única matriz de riscos, auxiliando no planejamento e na execução das auditorias.
i. Objetivos
Com o objetivo de aperfeiçoar o controle concomitante/preventivo, racionalizar as fiscalizações e evitar gastos indevidos, o TCE-RS vem investindo, nos últimos anos, em ferramentas para a realização de auditorias remotas, por meio de recursos de inteligência artificial.
ii. Metodologia adotada
Todas as ferramentas agregam informações remetidas ao TCE-RS pelos fiscalizados periodicamente, a exemplo de licitações, contratos, dados contábeis e financeiros, além de bases de dados de outros entes públicos disponibilizadas a este TCE. A esses conjuntos de dados, são aplicadas técnicas de análise de dados que possibilitam a identificação de padrões, a agregação de informações e/ou o cálculo de risco de dano, conforme o objetivo específico já indicado para cada um dos robôs, de forma a auxiliar os auditores no planejamento e na execução de suas ações de controle.
iii. Tecnologias empregadas, como softwares, “robôs”, acessos móveis, inteligência artificial, scanner de pavimento etc.
Cruzamento de dados e inteligência artificial.
iv. Tempo da prática no tribunal
Desde junho de 2019.
v. Houve compartilhamento com outros TCs? Quais?
Foram realizadas algumas apresentações da ferramenta, de forma on-line, para outros TCs, sem a existência, até o momento, de convênio para compartilhamento de tecnologia.
3. SOBRE O DESENVOLVIMENTO, A IMPLANTAÇÃO E A IMPLEMENTAÇÃO
a. Pessoas e setores envolvidos no desenvolvimento
Cinco pessoas do CGEX e seis pessoas da DSB (Data Science Brigade – empresa terceirizada).
b. Pessoas envolvidas na implantação e na implementação
Cinco pessoas do CGEX, três pessoas da DSB e duas pessoas da Sinf (Supervisão de Informática, atual DTI – Direção de Tecnologia da Informação).
c. Conhecimentos necessários
Infraestrutura de TI: Docker, Linux, ferramentas de gerenciamento do ambiente Hadoop e OrientDB.
Programação: Python, algoritmos de machine learning (clusterização, busca) e teoria de grafos.
d. Passos executados para o desenvolvimento, a implantação e a implementação
- Criação de um macroprojeto que consta no planejamento estratégico da instituição.
- Criação de infraestrutura de TI para suportar os projetos.
- Contratação de empresa para prestar mentoria nos projetos de IA.
- Contratação de empresa para auxiliar no desenvolvimento das soluções.
- Criação dos projetos específicos de cada robô, com atuação de analistas de negócios, analistas de sistemas internos e terceiros.
- Desenvolvimento conjunto da solução.
- Entrega dos produtos em formato de microsserviços para poderem ser acessados de qualquer sistema interno.
e. Tempo para o desenvolvimento, a implantação e a implementação
Os projetos foram iniciados em 2018, com a prospecção de soluções disponíveis no mercado para infraestrutura de TI. Em 2019, foram feitas a licitação e a contratação da infraestrutura e da mentoria em ciência de dados. Após isso, o tempo médio para o desenvolvimento de cada robô foi de seis meses a um ano.
f. Custo para o desenvolvimento, a implantação e a implementação
- Contratação dos hardwares da infraestrutura de TI: aproximadamente R$ 550 mil.
- Contratação dos softwares da infraestrutura de TI: aproximadamente R$ 230 mil por ano.
- Contratação de serviços de mentoria e gerenciamento de ambiente: limite de aproximadamente R$ 1 milhão por ano, gasto conforme demanda, num máximo de 6 mil horas.
g. Problemas enfrentados para o desenvolvimento, a implantação e a implementação
- Disponibilidade de analistas de negócios para trabalhar nos projetos.
- Tecnologia muito nova, com pouca mão de obra interna para trabalhar nos projetos.
- Projetos envolvendo inteligência artificial não funcionam como o desenvolvimento de sistemas tradicional, pois possuem mais um viés de laboratório de experimentação do que de fábrica de software.
h. Pontos críticos x soluções
- Deslocamento de analistas de negócios responsáveis por cada projeto, com dedicação exclusiva para auxiliar na especificação e na validação dos projetos.
- Contratação de empresa terceirizada para prestar mentoria em tecnologias de ciência de dados, com conhecimentos sobre algoritmos de machine learning e projetos envolvendo inteligência artificial (IA).
- Capacitação para o público interno adquirir os conhecimentos necessários para a participação nos projetos.
- Desenvolvimento de uma nova metodologia para o ciclo dos projetos que envolvem IA, com a qual, mesmo que determinada solução não se mostrasse promissora para a resolução de determinado problema, o aprendizado não era perdido e servia de base para o estudo de outra solução.
4. MENSURAÇÃO DOS RESULTADOS
a. Resultados esperados
Maior agilidade na detecção de possíveis irregularidades.
b. Resultados alcançados
Benefícios de auditoria da Larissa (junho de 2019 a maio de 2023):
- 18.447 achados registrados;
- 1.728 achados com benefícios;
- R$ 1.173.626.898,73.
c. Lições aprendidas
- É necessário estabelecer metodologias para o uso das ferramentas.
- É necessária a colaboração constante dos usuários das ferramentas para garantir que elas não se tornem obsoletas ou não sejam aderentes à rotina de trabalho.
5. RECOMENDAÇÕES PARA IMPLEMENTAÇÃO POR OUTROS TRIBUNAIS
Apresentação inicial, para análise de viabilidade.
6. OUTRAS INFORMAÇÕES
a. Links de acesso a publicações, notícias etc.
-
https://cloud.tce.rs.gov.br/s/9giqZxjfjFaPbHQhttps://cloud.tce.rs.gov.br/s/9giqZxjfjFaPbHQ
Junho de 2023, Porto Alegre/RS.
