DATA MART
• Conceitos
O conceito de Data Mart esta relativamente ligado ao conceito de Data Warehouse, pois trata-se de um subconjunto de um Data Warehouse. Assim, como o Data Warehouse representa um sistema de computação para armazenar as informações relativas a todas as atividades de uma corporação, o Data Mart pode ser relacionado às estruturas que compõem cada setor desta corporação.
Seu principal objetivo consiste em entregar aos responsáveis pela tomada de decisão, a informação na forma mais precisa e utilizável possível. Usualmente são destinados a gerenciar uma grande quantidade de dados, atualizados constantemente, gerando uma representação para posterior análise.
Devido a sua capacidade de atender a setores específicos de uma organização, o Data Mart possui um menor tempo e custo de implementação em relação ao Data Warehouse, podendo ser utilizado como base para a aquisição de conhecimento e experiência em sua aplicação nos demais setores da organização.
O atual momento é o ideal para fortificar esse conceito, pois há dados em produção de forma organizada, eles são armazenados de forma que possibilite sua recuperação. Os computadores possuem recursos para processar esses volumes de dados a preços acessíveis. Existem softwares apropriados aos mais diversos tipos e necessidades relacionadas à manipulação de dados e a obtenção de informações sendo que a concorrência no mercado é cada vez maior.
• Descrição
Um Data Mart é um pequeno Data Warehouse que fornece suporte à decisão de um pequeno grupo de pessoas.
Algumas organizações são atraídas pelos Data Marts não apenas por causa do custo mais baixo e um tempo menor de implementação, mas também por causa dos avanços tecnológicos. São elas que fornecem um SAD customizado para pequenos grupos de tal modo que um sistema centralizado pode não estar apto a fornecer. Os Data Marts podem servir como veículo de teste para empresas que desejam explorar os benefícios do Data Warehouse.
O processo de atuação de um Data Mart envolve três grandes componentes: o primeiro corresponde ao software de obtenção de dados ou back end.
O Data Mart, ou simplesmente repositório de dados, corresponde ao segundo componente, trata-se de um banco de dados analítico, onde os dados estão organizados para permitir alto desempenho na recuperação de informações.
O terceiro componente é formado por ferramentas front end, onde os usuários acessam o repositório, executando suas consultas e relatórios, de modo a obterem informações que permitam a tomada de decisões.
A metodologia ETL atua especificamente no primeiro componente, onde é responsável pela extração dos dados de sistemas e fontes externas, pela transformação e integração desses dados e por sua carga no Data Mart.
O processo de transformação dos dados é a etapa principal da metodologia em função do tratamento que deve realizado nos dados a serem manipulados (limpeza, combinação, validação, consolidação, agregação e sumarização).
• Arquitetura
A arquitetura de Data Marts integrados traz dados departamentais separados em
cada um dos Data Marts, porém eles são integrados, ou interligados de alguma forma.
Os Data Marts podem compartilhar informações entre si, tornando possível uma visão
mais globalizada das informações da empresa.
• Acesso (consultas, operações e etc)
Existem algumas operações básicas para ferramenta do tipo OLAP, que são usadas para a análise dos dados : Drill down, Roll up, Slice e Dice.
Drill down e Roll up são operações realizadas dentro dos níveis hierárquicos de cada dimensão. Um Drill down aumenta o nível de detalhamento da informação, ou seja, parte de um nível menos detalhado para um mais detalhado. Roll up é a operação inversa, o nível de detalhe é diminuído. Por exemplo, em uma dimensão de tempo a operação de Drill down detalharia as vendas apresentadas anteriormente em ano por trimestres. Diminuindo o nível de detalhes do nível de meses para trimestres seria um exemplo de operação Roll up.
Slice e Dice são operações usadas para navegação das informações do cubo.
Slice é um corte no cubo que mantêm a mesma perspectiva na visualização dos dados, é apresentada uma fatia dos dados. No caso da visualização de alguns tipos de clientes, é possível, por exemplo, apresentar somente aquelas do sexo feminino.
• Modelagem
Um Data Warehouse é composto por repositórios centrais, voltados a assuntos ou área específica de negócios, chamados de Data Marts.
Modelagem Multidimensional
É uma técnica de concepção e visualização de um modelo de dados de um conjunto de medidas que descrevem aspectos comuns de negócios. É utilizada especialmente para sumarizar e reestruturar dados e apresentá-los em visões (camada de apresentação) que suportam a análise dos valores desses dados.
Um modelo multidimensional é formado por 3 elementos básicos:
· Fatos
· Dimensões
· Medidas (variáves)
Fatos
É um coleção de itens de dados, composta de dados de medidas e de contexto.
Cada fato representa um item, uma transação ou um evento de negócio e é utilizado para analisar o processo de negócio de uma empresa. É tudo aquilo que reflete a evolução dos negócios do dia-a-dia de uma organização.
Características:
· É representada por valores numéricos
· Implementados em tabelas denominadas “tabelas de fato” (fact tables)
Dimensões
São elementos que participam de um fato, assunto de negócios.
São possíveis formas de visualizar os dados, ou seja, são os “por” dos dados: “por mês”, “por país”, “pos produto”, “por região”, “por funcionário”, etc…
Dimensões normalmente não possuem atributos numéricos, pois são somente descritivas e classificatórias dos elementos que participam de um fato.
Tipos de Dimensões
Dimensão “Normal”
· Novas linhas criadas, sem deleção
SCD Tipo 1
· Sem preservação de histórico
SCD Tipo 3
· Retenção de histórico limitada
· Dois estados são preservados: novo e antigo
· Nova coluna criada
SCD Tipo 2
· Preservação ilimitada de histórico
· Novas linhas criadas
· Coluna de status
Medidas (variáveis)
São os atributos numéricos que representam um fato, a performance de um indicador de negócios relativo às dimensões que participam desse fato, e que tais números são denominados de variáveis.
Segundo Kimball, desenvolver um Data Warehouse é um questão de casar as necessidades dos seus usuários com a realidade dos dados disponíveis.
• Exemplos de SGBD que permitem sua implementação
Muitas implantações de Data Warehouse/Data Marts foram – e estão sendo – concebidas com SGBD tradicionais – Oracle, Teradata, DB2, etc. – cujos núcleos focam no tratamento de linhas. Não obstante esta característica ser adequada a sistemas OLTP, muitos dos seus representantes receberam vultosos investimentos para incrementar sua capacidade de apoio as necessidades analíticas, como incorporação de índice Bit Map, visões Materializadas e capacidade de configuração.
Os SGBD com orientação a coluna – Vertica, Sybase IQ, BigTable, Exasol, ParAccel, entre outras opções comerciais e open-source –, por sua vez, apoiaram a construção do seu núcleo sobre a constatação cujo Data Warehouse/Data Mart apresenta uma freqüência de leitura muito superior a de operações de modificação – insert, update e delete. Tal fato determina seu desempenho ótimo para leituras seletivas – pequeno conjunto de colunas – sobre extenso volume de dados.
• Exemplos de Ferramentas
Para a visualização da informação contida nos Data Marts surgiram as ferramentas OLAP (On Line Analytical Processing, ou Processo Analítico em Tempo Real), que permitem a visualização dos dados sobre diferentes níveis de detalhamento de um cubo de dados. Através das operações de Drill é possível aumentar (Drill down) ou diminuir (Drill up) o nível de detalhamento dos dados. As operações de Drill bem como outras operações utilizadas em ferramentas OLAP se apóiam na capacidade de manipular dados e formas de apresentação de maneira rápida que a modelagem multidimensional provê. Com o uso destes recursos o usuário pode então navegar através das informações de maneira rápida e flexível.
OLAP
Para a visualização da informação contida nos Data Marts surgiram as ferramentas OLAP (On Line Analytical Processing, ou Processo Analítico em Tempo Real), que permitem a visualização dos dados sobre diferentes níveis de detalhamento de um cubo de dados. Através das operações de Drill é possível aumentar (Drill down) ou diminuir (Drill up) o nível de detalhamento dos dados. As operações de Drill bem como outras operações utilizadas em ferramentas OLAP se apóiam na capacidade de manipular dados e formas de apresentação de maneira rápida que a modelagem multidimensional provê. Com o uso destes recursos o usuário pode então navegar através das informações de maneira rápida e flexível.
OLTP
Sistemas OLTP (do inglês,on-line transaction processing): são sistemas que têm a tarefa de monitorar e processar as funções básicas e rotineiras de uma organização, tais como processamento da folha de pagamento, faturamento, estoque, etc. Os fatores críticos de sucesso para este tipo de sistema são: alto grau de precisão, integridade a nível transacional e produção de documentos em tempo hábil.
Os dados transacionais OLTP são usados pelos usuários em geral no dia-a-dia em seus processos e transações, gravação e leitura.Ex: consulta de estoque, registro de vendas.
O principal objetivo da modelagem relacional em um sistema OLTP é eliminar ao máximo a redundância, de tal forma que uma transação que promova mudanças no estado do banco de dados, atue o mais pontualmente possível. Com isso, nas metodologias de projeto usuais, os dados são fragmentados por diversas tabelas (normalizados), o que traz uma considerável complexidade à formulação de uma consulta por um usuário final. Por isso, esta abordagem não parece ser a mais adequada para o projeto de um data warehouse, onde estruturas mais simples, com menor grau de normalização devem ser buscadas
Data Mining
Data mining, ou mineração de dados, é o processo de descoberta de padrões existentes em grandes massas de dados. Apesar de existirem ferramentas que ajudam na execução do processo, o Data mining não tem automatização simples (muitos discutem se é sequer factível) e precisa ser conduzido por uma pessoa, preferencialmente com formação em Estatística ou áreas afins.
Outras ferramentas:
1 - Oracle Data Mart Designer: Uma ferramenta para projeto de Data Marts;
2 - Oracle Discoverer: Ferramenta que permite ao usuário final um acesso facilitado ao Data Mart;
3 - Oracle Reports: Ferramenta para geração facilitada de relatórios, gráficos, etc.
• Exemplos de Utilização
Entre as vantagens da utilização de um Data Mart de uma empresa, selecionamos os seguintes:
· Eles são simples de implementar.
· Pouco envolvem a construção e comissionamento.
· Permitem que você gerencie as informações confidencial.
· Rapidamente as vantagens e qualidades.
· Reduzir a procura de data warehouse.
