{"id":2005,"date":"2023-09-14T10:14:25","date_gmt":"2023-09-14T13:14:25","guid":{"rendered":"https:\/\/www.b3bee.com.br\/site\/?p=2005"},"modified":"2023-09-14T11:41:08","modified_gmt":"2023-09-14T14:41:08","slug":"camaleao-integracao-etl-repositorio-de-dados","status":"publish","type":"post","link":"https:\/\/www.b3bee.com.br\/site\/2023\/09\/14\/camaleao-integracao-etl-repositorio-de-dados\/","title":{"rendered":"O Camale\u00e3o, a Integra\u00e7\u00e3o ETL e o Reposit\u00f3rio de Dados"},"content":{"rendered":"\n
\"\"
Prioridade \u00e9 reaproveitar informa\u00e7\u00f5es j\u00e1 dispon\u00edveis: O camale\u00e3o, a integra\u00e7\u00e3o ETL e o Reposit\u00f3rio de Dados. Todo retrabalho manual, dentre eles a digita\u00e7\u00e3o ou a dupla copia-cola ^c^v, potencializa o risco do erro operacional inerente a essa atividade.
\u00a0
Mesmo que voc\u00ea n\u00e3o seja de TI, em algum momento opinar\u00e1 sobre como reduzir o retrabalho e o risco na migra\u00e7\u00e3o de dados entre suas ferramentas para benef\u00edcio de sua pr\u00f3pria qualidade de vida no trabalho.
\u00a0
Integra\u00e7\u00e3o de informa\u00e7\u00f5es pode inviabilizar um projeto: um caso real.<\/strong>
Um cliente na pen\u00faltima empresa onde trabalhei iria declinar de nossa ferramenta porque a solu\u00e7\u00e3o de contabilidade do outro fornecedor que eles j\u00e1 possu\u00edam iria cobrar um valor at\u00e9 maior que nosso projeto todo: apenas para exportar os saldos cont\u00e1beis no nosso layout padr\u00e3o de importa\u00e7\u00e3o.
Demos a op\u00e7\u00e3o de fornecerem o arquivo cadoc 4010 como alternativa de importa\u00e7\u00e3o, visto seu espec\u00edfico cen\u00e1rio. Esse cadoc 4010 \u00e9 gerado por todas as institui\u00e7\u00f5es financeiras para envio ao Banco Central, e sendo um padr\u00e3o, a solu\u00e7\u00e3o cont\u00e1bil deles j\u00e1 o exportava, n\u00e3o sendo necess\u00e1rio solicitar nova implementa\u00e7\u00e3o alguma. Dessa forma, simulamos o c\u00e1lculo com o pen\u00faltimo arquivo 4010 dispon\u00edvel com sucesso e nosso projeto foi aprovado e contratado.
\u00a0
O terror do layout padr\u00e3o: mais or\u00e7amento e gargalo adicional no cronograma<\/strong>
Quem define o layout de integra\u00e7\u00e3o \u00e9 quem recebe esses dados, pois \u00e9 ele quem domina as necessidades para seu processamento e respectiva sa\u00edda. O tempo investido em alinhamento entre o que \u00e9 solicitado pelo destinat\u00e1rio com quem ter\u00e1 de gerar essas informa\u00e7\u00f5es \u00e9 alto, prolongado em virtude de agendas conflitantes ou linguagens e modelagens da organiza\u00e7\u00e3o de dados diferentes entre as tr\u00eas partes: o usu\u00e1rio ou cliente, o fornecedor ou equipe de TI que gera os dados e seu par que receber\u00e1 essas informa\u00e7\u00f5es. Acrescenta-se o tempo para aprova\u00e7\u00e3o do or\u00e7amento adicional para o gerador de dados implementar, sua efetiva implementa\u00e7\u00e3o e testes, al\u00e9m dos demais itens do projeto novo. Em alguns casos, dentre centenas de funcionalidades, apenas esse \u00fanico item torna-se o gargalo de toda implanta\u00e7\u00e3o do projeto, pois dele dependem todo o restante do processamento.
\u00a0
ETL e o camale\u00e3o<\/strong>
Os processos ETL (Extrair, transformar e carregar) buscam facilitar a migra\u00e7\u00e3o de dados entre diferentes plataformas, artefatos ou ferramentas. Longe de ser uma ferramenta altamente parametriz\u00e1vel oferecido pelos grandes fornecedores de software, elaboramos um conceito intermedi\u00e1rio cujo mascote poderia ser um camale\u00e3o. Assim como na natureza onde esse r\u00e9ptil muda de cor em fun\u00e7\u00e3o do ambiente em que se encontra, a analogia \u00e9 apenas quanto a buscarmos nos adaptar ao formato e layout dispon\u00edvel do cliente.
\u00a0
Obviamente temos nosso pr\u00f3prio layout padr\u00e3o onde muitas vezes \u00e9 adotado por nossos clientes sem os dados dispon\u00edveis em formato digital ou n\u00e3o valendo a pena integrar automaticamente. Mas ao considerar esse esfor\u00e7o na ponta do projeto de recep\u00e7\u00e3o sem acionar or\u00e7amento adicional da ferramenta geradora dos dados, pode n\u00e3o resolver todos os casos, mas agiliza a maioria deles. Usamos amplamente num projeto importando 30 diferentes planilhas para converter numa \u00fanica para reporte \u00e0 matriz internacional de um cliente.
\u00a0
Combinando ETL e Reposit\u00f3rio de Dados Unificado: exemplo para reflex\u00e3o<\/strong>
Implementar uma camada ETL e uso intensivo do Reposit\u00f3rio de Dados Unificado (RDU), que num n\u00edvel mais ampliado pode evoluir para um Data Warehouse (DW), ter\u00e1 maior efici\u00eancia e efic\u00e1cia se j\u00e1 previstos desde o in\u00edcio do projeto. Apenas exemplificando, alguns m\u00f3dulos que elaboramos segundo essa vis\u00e3o:
– M\u00f3dulo de integra\u00e7\u00e3o, que \u00e9 o nosso ETL com requisitos simplificados: permite importar diversos formatos de arquivo com poucos ajustes t\u00e9cnicos. Para acrescentar a importa\u00e7\u00e3o de um novo layout, por exemplo, a aplica\u00e7\u00e3o de telas n\u00e3o necessita ser versionada, reduzindo tempo de instala\u00e7\u00e3o e eliminando homologa\u00e7\u00e3o de telas em grande escala pelos usu\u00e1rios (afinal, quem j\u00e1 n\u00e3o foi surpreendido pelo famoso \u2018essa vers\u00e3o n\u00e3o mexeu em nenhuma outra tela\u2019). Para cada importa\u00e7\u00e3o, tamb\u00e9m fica anexada a c\u00f3pia do arquivo original importado, para efeito de auditoria e facilidade de recupera\u00e7\u00e3o.
– Formata\u00e7\u00e3o de CADOC\u2019s: todas ferramentas acessam os dados originais dessa camada do RDU, independentemente de qual formato de arquivo ou layout foi importado. Sua sa\u00edda j\u00e1 no formato CADOC tamb\u00e9m pode ser carregada no mesmo RDU, num processo retroalimentador.
– A valida\u00e7\u00e3o de confer\u00eancia cruzada de informa\u00e7\u00f5es entre CADOC\u2019s tamb\u00e9m acessa esse RDU, a partir do qual aponta diverg\u00eancias entre eles, antecipando cruzamentos que ser\u00e3o feitos pelo Banco Central.
– O envio de CADOC enviar\u00e1 ao STA do Banco Central o mesmo CADOC anexado no m\u00f3dulo de Integra\u00e7\u00e3o, j\u00e1 utilizado para valida\u00e7\u00e3o dentro do RDU. Da\u00ed em diante far\u00e1 a gest\u00e3o da situa\u00e7\u00e3o do retorno dos protocolos de aceite desses arquivos.
-Como um b\u00f4nus, clientes com nosso Calend\u00e1rio de Obriga\u00e7\u00f5es Acess\u00f3rias ainda ter\u00e3o suas respectivas agendas de entrega dos CADOC\u2019s automaticamente baixados, sincronizados pelo retorno de protocolos, desonerando o usu\u00e1rio de ter de baix\u00e1-lo manualmente.
\u00a0
Boa sorte em seus projetos de integra\u00e7\u00e3o de dados.

Essa e outras publica\u00e7\u00f5es com o tema Melhoria Cont\u00ednua e CADOC em https:\/\/www.b3bee.com.br\/site\/category\/melhoriacontinua\/<\/a> e \u00a0https:\/\/www.b3bee.com.br\/site\/category\/cadoc\/<\/a>.

#pdca #melhoriacontinua #integra\u00e7\u00e3o #etl #repositoriodedados #sta #bc #bcb #cadoc #valida\u00e7\u00e3o #confer\u00eancia #protocolodeentrega
\u00a0
\u00a0
\u00a0
Yoshio Hada: s\u00f3cio administrador da B3Bee Consultoria e Sistemas, licenciando sistemas \u00e0s institui\u00e7\u00f5es financeiras nos temas de Modelagem RSAC, dados abertos (Demonstra\u00e7\u00f5es Financeiras, Pilar 3, GRSAC e Canais de Atendimento), CADOC\u2019s (DLI 2062, COS 40XX, Saldos Di\u00e1rios 4111, 5011, ETF 80XX, DF 9011\/9061, SVR 9800, ESG DRSAC 2030, RCP 4076, Pagamentos do Varejo e Canais de Atendimento 6209), FGC405, convers\u00e3o de layouts (ETL), controle de limites, calend\u00e1rio de obriga\u00e7\u00f5es acess\u00f3rias ou rotinas administrativas, valida\u00e7\u00e3o e envio de CADOCs.<\/figcaption><\/figure>\n","protected":false},"excerpt":{"rendered":"

Prioridade \u00e9 reaproveitar informa\u00e7\u00f5es j\u00e1 dispon\u00edveis. Todo retrabalho manual, dentre eles a digita\u00e7\u00e3o ou a dupla copia-cola, potencializa o erro operacional inerente a essa atividade.<\/p>\n","protected":false},"author":2,"featured_media":2006,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[187,195],"tags":[266,363,260,365,360,359,358,357,366,361,362,364],"class_list":["post-2005","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-agenda-corporativa","category-cadoc","tag-bc-2","tag-bcb-2","tag-cadoc-2","tag-conferencia","tag-etl","tag-integracao","tag-melhoriacontinua-2","tag-pdca-2","tag-protocolodeentrega","tag-repositoriodedados","tag-sta","tag-validacao-2"],"_links":{"self":[{"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/posts\/2005","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/comments?post=2005"}],"version-history":[{"count":4,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/posts\/2005\/revisions"}],"predecessor-version":[{"id":2011,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/posts\/2005\/revisions\/2011"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/media\/2006"}],"wp:attachment":[{"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/media?parent=2005"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/categories?post=2005"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.b3bee.com.br\/site\/wp-json\/wp\/v2\/tags?post=2005"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}