Em uma página, o que sua TI e auditoria podem considerar sobre integrações entre aplicativos. Em instituições financeiras, não é raro alguns sistemas de informação terceirizados serem de diferentes fornecedores. Mesmo não sendo de TI, sua qualidade de vida no trabalho pode piorar ou melhorar conforme suas opções de transferência de informações entre essas ferramentas.
Caso real: já fomos surpreendidos pela exportação de uma nova versão da ferramenta da origem de dados num ‘layout’ modificado e sem notificação antecipada que permita seu respectivo ajuste na ferramenta destinatária. Por planilha, foi possível ajustar manualmente uma coluna a mais ou a menos para o ‘layout’ anterior, até que a aplicação destinatária fosse readequada. Mas isso pode ou não ser possível em outros formatos.
Assim, antes de responder tanto faz, a partir do conhecimento de sua rotina de trabalho, volumetria, maturidade em seus processos e rigor da auditoria, sem ser exaustivo nem definitivo e alinhado com a numeração da ilustração, seguem algumas reflexões para você poder opinar sobre o formato de transmissão de dados entre suas ferramentas:
- Todas as transmissões por arquivos TXT, XLS, CSV, XML e JSON (1) possuem a possibilidade de visualização (2) e edição (3) pelo usuário em seu conteúdo, úteis quando o cenário é de muita exceção em relação à regra, permitindo um ajuste pontual de última hora sem necessariamente envolver o fluxo completo de regeração da informação desde a origem.
- A visualização permite o usuário conhecer e validar o conteúdo a ser alimentado na ferramenta destinatária, pois ele possui domínio sobre a modelagem dos dados transmitidos. Mas arquivos XML e JSON não oferecem uma visão geral para leitura humana (4), pois sua sintaxe foi priorizada para o processamento automático de suas informações com ampla liberdade de formatação do ‘layout’.
- Pela falta de rastreabilidade de eventuais ajustes nos arquivos, a auditoria recomenda fluxos de informações diretamente entre bancos de dados (BD) e API (5), cujo domínio é exclusivo entre as aplicações detentoras desses dados e ausência da possibilidade de qualquer ajuste manual do usuário. Para isso, o processo deve ser maduro quanto à qualidade e sincronização de versionamento entre as ferramentas.
- Mesmo naqueles editáveis, ajustar um conjunto de dados só é confortável em arquivos editados por planilhas (6). Já TXT, XML e JSON podem ser abertos por editores de texto, mas incorrem num enorme potencial de risco operacional: qualquer deslocamento no layout de um arquivo TXT ou fechamento indevido de TAG num XML e JSON invalidam o arquivo por completo.
- Quanto à volumetria (7), editores de texto podem ter limitações quanto ao tamanho do arquivo, que depende da capacidade do computador em que está sendo editado. Mesmo planilhas, podem ficar extremamente lentos, além do desconforto em correr a infindável barra de rolagem pela grande quantidade de linhas.
- Uma transmissão direta entre bancos de dados das aplicações envolvidas possui uma restrição relativa ao ambiente comum em que a origem e o destino devem estar instalados (8). Em tese, o uso de API reduz essa dependência de ambiente comum entre as aplicações (9).
- No sentido inverso, uma transmissão de dados direta entre bancos de dados das aplicações permite uma alta volumetria (10), o que pode representar uma limitação para a API dependendo dessa volumetria, mais adequada para troca de informações em blocos menores de dados com maior frequência (11).
Nossa camada de integração permite implementar a importação com todas essas modalidades de arquivos, banco de dados e API. Destaque para os formatos XML e JSON, pois é possível alimentarmos o conteúdo de todos CADOC’s (naturalmente disponíveis, pois são produzidos e obrigatoriamente enviados ao regulador) num único Repositório de Dados, converter e formatar outros CADOC’s derivados, cruzar e validar informações entre eles, além de formar um rico acervo histórico para produção de gráficos e acompanhamento de evolução passada e tendências futuras.
Boa sorte em seus projetos de integração de dados.
Essa e outras publicações com o tema Melhoria Contínua e CADOC em https://www.b3bee.com.br/site/category/melhoriacontinua/ e https://www.b3bee.com.br/site/category/cadoc/.
#pdca #melhoriacontinua #integração #etl #repositoriodedados #bc #bcb #cadoc #validação #conferência #bancos #instituiçõesfinanceiras #banco #instituiçãofinanceira
Yoshio Hada: sócio administrador da B3Bee Consultoria e Sistemas, licenciando sistemas às instituições financeiras nos temas de Modelagem RSAC, dados abertos (Demonstrações Financeiras, Pilar 3, GRSAC e Canais de Atendimento), CADOC’s (DLI 2062, COS 40XX, Saldos Diários 4111, 5011, ETF 80XX, DF 9011/9061, SVR 9800, ESG DRSAC 2030, RCP 4076, Pagamentos do Varejo e Canais de Atendimento 6209), FGC405, conversão de layouts (ETL), controle de limites, calendário de obrigações acessórias ou rotinas administrativas, validação e envio de CADOC’s.