TCE-PA: Extrator de Publicações do Diário Oficial do Estado (DOE) do Pará

a. Pessoas e setores envolvidos no desenvolvimento 

Para o processo de extração dos dados, contamos com a colaboração de dois servidores do TCE-PA, Carlos Patrick e Jenner Maciejewsky, da Assessoria Técnica, e com o apoio de Leo Monteiro, da IOEPA, responsável pela preparação e disponibilização dos dados. 

b. Pessoas envolvidas na implantação e na implementação 

Na etapa de implantação, contamos com a participação de servidores do TCE-PA, incluindo Carlos Patrick e Jenner Maciejewsky, da Assessoria Técnica, bem como outros profissionais da Coordenadoria de Infraestrutura, além de Moshe Dayan e Marcelo Wanderley, da Coordenadoria de Sistemas. 

c. Conhecimentos necessários 

Para a extração e carregamento dos dados, foi essencial possuir conhecimentos em linguagem de desenvolvimento (Python) para criar a interface que lê os dados no servidor da IOEPA e os importa para o servidor do TCE. Além disso, expertise em Banco de Dados (SQL Server) foi fundamental para processar os dados recuperados pelo robô Python, realizar transformações e validações antes de disponibilizá-los para o sistema Fiscalis. 

d. Passos executados para o desenvolvimento, a implantação e a implementação 

• Verificação e download dos arquivos: um robô em Python foi desenvolvido para verificar os arquivos disponíveis na IOEPA, comparando-os com os já recepcionados pelo TCE. 
• Os arquivos não recepcionados foram copiados para o servidor do TCE e organizados em uma estrutura de pastas para a carga subsequente. 
• O robô inicia o processo de carga executando uma procedure armazenada no servidor de Banco de Dados. 
• Carga dos dados para o Banco de Dados: A procedure de importação dos dados copia o conteúdo dos arquivos para uma tabela temporária. 
• Após a carga dos dados na tabela temporária, o procedimento de carga do conteúdo na tabela de publicações é realizado, incluindo análises e transformações de dados. 
• A atualização das tabelas de órgão de publicação e tipo de publicação também ocorre para identificar novos órgãos e tipos de publicações. Todos esses procedimentos são executados em uma base de dados de publicações, preservando todas as informações e publicações anteriores. 
• Exportação dos dados para o sistema Fiscalis: é necessário exportar os novos órgãos de publicação e tipos de publicação para o sistema Fiscalis, permitindo que os gestores do Fiscalis decidam se desejam importar esses dados. 
• O último passo é a exportação das publicações para o sistema Fiscalis, agendada pelo servidor de Banco de Dados. 

e. Custo para o desenvolvimento, a implantação e a implementação 

O custo envolveu o trabalho de quatro servidores no processo. 

f. Problemas enfrentados para o desenvolvimento, a implantação e a implementação 

Não foram identificados problemas relevantes para o desenvolvimento da solução. 

g. Pontos críticos x soluções 

Todo o processo foi desenvolvido utilizando soluções open-source, o que facilita a manutenção no médio e longo prazo. A linguagem de programação Python facilitou bastante a implementação e o entendimento geral por toda a equipe.