Dados Abertos – Jornada da TI: disponibilização pela Instituição Financeira -

Para os canais de atendimento, destacamos os itens 2 e D

Ilustramos em fluxograma a jornada dentro da instituição financeira para disponibilização dos arquivos de dados abertos por meio da estrutura OpenAPI, exceto as demonstrações financeiras, que seguem processo semelhante ao envio dos demais CADOC’s. Também disponível em PDF para ‘download’ em https://www.b3bee.com.br/site/wp-content/uploads/2021/02/B3Bee_DadosAbertos_JornadaTI.pdf

Seguindo a numeração da figura, com destaque aos itens 2 e D:

1-Evolução regulatória: além da etapa inicial de implementação, vale lembrar que a legislação e critérios técnicos não se encerram com a implantação. Tempestivamente, sua regulamentação deve ser acompanhada ao longo do tempo, bem como a evolução no versionamento dos esquemas (leiautes específicos para cada tipo de arquivo JSON).

É recomendável abreviar o intervalo de tempo entre a publicação da regulamentação e notificação da área de TI, uma vez que pode exigir definições e esforços de infraestrutura ainda desconhecidos pela instituição, bem como envolver múltiplas áreas e aprovação de orçamento adicional necessários para cumprimento dos prazos.

2-Geração: em virtude da diversidade entre as diferentes naturezas de informações em cada tipo de arquivo, áreas distintas serão as fontes de preenchimento ou seleção do conteúdo.

Também há uma ampla gama de complexidade e volume de informações, bem como recorrência ou não no envio de arquivos associados a ‘datas-bases’. Isso pode gerar um nível de solução com maior ou menor nível de automação dessa etapa.

DESTACAMOS: Dessa forma, com prazos reduzidos, baixa complexidade, baixo volume de informações e baixa recorrência de geração, planilhas podem ser suficientes para produção do arquivo como plano tático de curto prazo, permitindo soluções definitivas com maior prazo de implementação. A automação ou não da geração de cada arquivo envolverá a busca de um equilíbrio adequado entre custo e benefício conforme o cenário de cada instituição financeira.

3-Validação: o arquivo gerado deve ser submetido à validação, conforme seu respectivo arquivo de esquema disponibilizado pelo regulador. Diferente dos arquivos CADOC, em que o regulador disponibilizou um executável de validação, para os arquivos JSON dos dados abertos, a orientação é o uso de ferramentas disponíveis no mercado, conforme o item ‘Observações’ da página dos dados abertos “Para mais informações sobre a implementação e obtenção de ferramentas, inclusive validadores de esquemas JSON, favor acessar a página JSON Schema Implementations, em inglês.”.

Disponibilizamos, como uma opção, nossa ferramenta (https://b3bee.com.br/dadosabertos/app/) em que não há necessidade de carregar o esquema por upload a ser utilizado como validação, tais como as soluções mais genéricas gratuitas, bastando apenas selecionar na lista. Os esquemas já estão carregados em nossa plataforma preparada especificamente para arquivos JSON dos dados abertos. Arquivos de menor complexidade podem conter também modelo de preenchimento em planilha geradora de seu conteúdo final, tal como disponibilizado para uma empresa e uma matriz no arquivo de canais de atendimento. Contate-nos se necessitar de mais algumas unidades para seu preenchimento.

4-Resultado da validação do arquivo de dados: no caso de erro, reproduzir sua geração corrigindo o motivo de sua rejeição. Caso esteja sem erro, está disponível para disponibilização, mas a sugestão é antes atualizar o arquivo de catálogo.

5-Catalogação: cada novo arquivo de dados a ser disponibilizado deve ter seu ‘link’ incluído no arquivo de catálogo de dados abertos. Ele também é um arquivo no formato JSON com seu respectivo esquema (layout).

Mas diferente do arquivo de dados, cujas informações são novas e sem necessidade de conexão com o arquivo da data base do ciclo anterior, o catálogo é incremental. Isto é, presume-se que o penúltimo catálogo será atualizado com o acréscimo dos novos arquivos de dados a serem disponibilizados.

Uma nova geração de arquivo de catálogo também pode ser necessária caso haja versionamento publicado pelo regulador.

6-Validação do catálogo de dados abertos: processo semelhante já descrito na etapa 3.

7-Resultado da validação do arquivo de catálogo: regeração no caso de apresentação de erro, caso contrário, está disponível para publicação.

8-Cadastramento do endereço do catálogo na plataforma Olinda: são dois ambientes disponíveis, de homologação e de produção, motivo pelo qual o cronograma definido pelo regulador possui um período sugerido para o primeiro e a data de implantação definitiva para o segundo.

Esse cadastramento ocorrerá ao menos uma vez no início de sua criação.

Poderá ser alterado no caso de alteração no endereço (link ou URL) onde esse catálogo estiver disponibilizado.

9-Disponibilização: essa etapa é a maior novidade no tocante à disponibilização de informações, pois em geral o canal com o regulador é por meio do envio de CADOC’s. Já os dados abertos são canais voltados para consulta pública, ficando disponíveis na estrutura da instituição financeira, tal como dentro de seu ‘website’.

Todo o modelo técnico é baseado na estrutura OpenAPI. Na documentação anterior, exemplificamos a experiência desejada para consulta desses arquivos a partir de uma URL, cujos padrões de nomes são definidos pelo regulador. Mas cada instituição terá hospedado esse arquivo conforme o ‘site’ de sua maior conveniência.

Sob ótica da instituição financeira, o modelo ideal é uma aplicação API receber a solicitação acionada pelo consulente e devolver o respectivo arquivo disponível num ambiente seguro como resposta. Atuando como intermediário, essa aplicação permite inúmeras formas de interação e automatização com esse repositório de arquivos, segregando as redes interna (intranet) da rede externa (website, por exemplo). Também permite evitar interação humana na colocação desses arquivos ‘criando diretórios e colando arquivos manualmente’.

(D) Em função de prazo, volume de dados, quantidade de arquivos, recorrência periódica de publicação e escala de investimento compatível com o porte da instituição, uma alternativa é disponibilizar esses arquivos em pastas do diretório que reproduzem o padrão da URL utilizada como ‘assinatura’ da consulta API.

Mas atenção. Há alguns requisitos técnicos a serem seguidos e definição clara dos processos e direitos de acesso para gravação dos arquivos e criação de diretórios, pois essa estrutura simulará a assinatura de uma consulta API.

DESTACAMOS: Entre vários itens, apenas citando uma vulnerabilidade dessa solução como opção definitiva é a potencial evolução da assinatura na busca desses arquivos evoluírem para parâmetros de filtros de busca muito comuns em qualquer consulta. Por exemplo, pesquisa pelo início de um nome. Isso inviabilizará toda estrutura de uso de diretórios fixos levando à necessária migração para uso de API’s, muitas vezes com escasso prazo conforme alguma futura regulamentação porventura exija essa capacidade.

Desde qualquer um desses dois cenários extremos até várias combinações intermediárias possíveis no nível de automatização, contribuímos na estruturação desses ambientes em instituições S3 e S4 com sucesso e ficamos à disposição, inclusive para eliminar dúvidas quanto aos destaques dos itens 2 e D.

Esse é o terceiro de nossa série de publicações introdutórias sobre o projeto ‘Dados Abertos’ em PDF, disponíveis a partir de nossos canais de divulgação. Passadas as próximas semanas, previstas com intensa agenda de implantações, avaliaremos sua unificação num único e-book.

Boa sorte a todos envolvidos nesse projeto.

Links úteis

Regulamentação, especificação OpenAPI, prazos e esquemas(layouts) do Banco Central – Dados Abertos do SFN: https://www.bcb.gov.br/estabilidadefinanceira/dadosabertossfn

Central de demonstrações financeiras do SFN: https://www.bcb.gov.br/estabilidadefinanceira/encontreinstituicao

Plataforma Olinda com os arquivos dos dados abertos, exceto Demonstrações Financeiras:

https://olinda.bcb.gov.br/olinda/servico/DASFN/versao/v1/odata/Recursos

Ferramenta de validação do esquema de arquivos JSON para os dados abertos e planilha de geração dos Canais de Atendimento

https://b3bee.com.br/dadosabertos/app/

Alguns de nossos resumos

Cartilha Técnica e Plano de Dados Abertos do BC, alinhados ao Governo Federal: http://www.b3bee.com.br/site/2020/01/26/plano-de-dados-abertos-do-bc-alinhamento-com-pilar-3-e-demonstracoes-financeiras-de-bancos-e-assemelhados/

Dados Abertos

– Catálogo: http://www.b3bee.com.br/site/2020/01/14/circular-3-958-dados-abertos-e-carta-circular-3-980-endereco-dos-catalogos/

– Demonstrações Financeiras: http://www.b3bee.com.br/site/2020/05/20/carta-circular-4-051-demonstracoes-financeiras-dados-abertos-em-arquivos-json/

– Pilar 3: http://www.b3bee.com.br/site/2020/08/13/circular-3-930-pilar-3/

– Canais de Atendimento: http://www.b3bee.com.br/site/2021/01/29/dados-abertos-canais-de-atendimento-in-62-e-resolucao-bcb-3/