Revisãozinha...

Bom dia pessoal, estou trazendo para vocês hoje uma revisão resumida do que vimos até agora sobre Data Warehouse.

UCP - Projeto de Banco de Dados - Data Warehouse from Vinícius Amaral

Oracle Data Warehousing

Boa tarde pessoal, 

Viemos hoje escrever um pouco sobre a Oracle Data Warehousing. A Oracle lidera o mercado em todos os aspectos (participação no mercado e também em inovação dos produtos).

O Oracle OLAP 11g fornece recursos de Data Warehouse de alta perfomance para o Banco de Dados Oracle 11g. Ele é um mecanismo de processamento analítico online com recursos completos. Ele é uma opção a mais que pode ser agregado ao Banco de Dados 11g. Essa agregação traz uma maior escalabilidade, segurança e capacidade de gerenciamento do Banco de Dados.

Entre os principais novos recursos do Oracle OLAP 11g estão visualizações relacionais de um cubo gerenciadas pelo banco de dados, uma fonte de linhas para pesquisa de cubos usada pelo otimizador SQL e visualizações materializadas organizadas por cubos.

Por que Oracle OLAP?

O Oracle OLAP usa um workspace analítico no banco de dados para executar uma análise OLAP. Ele armazena dados no banco de dados como cubos multidimensionais, que são projetados para garantir rapidez na atualização e consulta incrementais. Os cubos são organizados por dimensões, que atuam como chaves para os dados dos fatos e definem a estrutura básica do cubo. Em muitas maneiras, um cubo é semelhante a um esquema de estrela. O cubo desempenha o papel da tabela de fatos, e uma dimensão OLAP desempenha o papel de uma tabela de dimensões. As dimensões podem ser simples listas de membros ou organizadas em níveis e hierarquias. As dimensões hierárquicas permitem que os dados sejam agregados desde os níveis inferiores até os superiores de resumos. Elas suportam navegação como detalhamento e certos tipos de cálculos como Share to Parent, Share within Ancestor e Rank within Parent. Também suportam muitos cálculos de séries de tempo como Year to Date. Esses tipos de cálculos são fáceis de definir no Analytic Workspace Manager (a ferramenta administrativa do Oracle OLAP 11g) e são efetuados com eficiência no cubo em tempo de execução. 

O Oracle OLAP 11g pode reduzir significativamente os tempos de processamento de consultas para usuários de ferramentas de business intelligence (BI) baseadas em SQL como o Oracle Business Intelligence Suite Enterprise Edition e outras ferramentas de terceiros. O Oracle OLAP 11g também facilita a incorporação de cálculos em um cubo OLAP. Todos os recursos do Oracle OLAP 11g são fornecidos no Banco de Dados Oracle, o que permite o controle centralizado dos dados, das regras de negócios e da segurança. 

Criando visualizações materializadas organizadas por cubo para o gerenciamento de resumos

As visualizações materializadas organizadas por cubo são um novo recurso do Oracle OLAP 11g que permite que os cubos sejam usados como uma solução de gerenciamento de resumos, em geral substituindo as tabelas de resumos relacionais e as visualizações materializadas baseadas em tabela. Nesse contexto, um aplicativo consulta a tabela de fatos usando funções de agregação (como SUM) e uma cláusula GROUP BY, e o recurso de reescrita de consulta do banco de dados redireciona automaticamente a consulta para a visualização materializada organizada por cubo. O cubo gerencia os dados de resumo de maneira transparente para o aplicativo que faz a consulta, e os usuários se beneficiam do melhor desempenho das consultas. 

Para criar uma visualização materializada organizada por cubo, os DBAs criam um cubo com as tabelas de fatos e de dimensões que os aplicativos consultam no momento. Depois, habilitam no cubo a atualização de visualizações materializadas e a reescrita de consultas. A visualização materializada pode ser criada através de uma chamada de API ou, o que é mais comum, através de algumas opções no Analytic Workspace Manager. O cubo faz auto-indexação e gerencia todo o espaço agregado.

 

           

 

Fonte: http://www.oracle.com/technetwork/pt/articles/o38olap-097172-ptb.html

Data Warehouse X Big Data

Boa noite pessoal, hoje estou trazendo um texto que resume o conceito de Big Data e a diferença deste com o conceito de Data Warehouse.

Há alguns anos a tecnologia da informação tem sofrido grandes transformações, dada a necessidade cada vez maior das empresas em ter acesso às informações pertinentes ao seu negócio, de forma mais dinâmica. Acrônimos como Cloud Computing, ETL, SOAP, entre outros, são cada vez mais comuns na informática e atualmente temos visto com bastante frequência o crescimento de um novo conceito: Big Data. Segundo o Grupo IDC, o mercado de Big Data irá crescer de $3.2 bilhões, em 2010, para $16.9 bilhões em 2015.

Mas o que significa Big Data ?

Big Data é um conceito onde o foco é o armazenamento de grandes volumes de dados, disponíveis para serem acessados a uma maior velocidade.

O conceito de Big Data pode ser confundido com projetos de Data Warehouse, que são depósitos de dados, onde aos dados são transformadas através de um processo de ETL (extract, transforming and load) e as informações resultantes desse processo são utilizadas para tomadas de decisões. A grande diferença de Data Warehouse com Big Data é a velocidade com que os dados precisam ser disponibilizados, uma vez que, em um projeto de Data Warehouse, o processo de ETL torna-se mais lento até que as informações estejam disponíveis.

O universo do Big Data possibilita o acesso à informação, através de diversos formatos de mídias (e-mails, vídeos, redes sociais, etc), porém a grande dificuldade encontrada nesse novo conceito é a falta de profissionais qualificados para gerir esse volume de dados, pois faz-se necessário um melhor gerenciamento dos dados, para obtenção de informações úteis e relevantes.

Fonte : https://angmaximo.wordpress.com/2012/11/28/big-data-data-warehouse/

Granularidade

Boa tarde pessoal, hoje estou trazendo dois videos muito legais que abordam conceitos e dicas sobre granularidade de DataWarehouse. Além de que, os videos também trazem, resoluções de questões que já estiveram presentes em alguns concursos sobre a granularidade e seus conceitos.

Fonte : http://rogerioaraujo.wordpress.com/2011/10/04/dicas-data-warehouse-granularidade/

A importância do Data Warehouse nas organizações.

Olá pessoal,

Hoje, durante a aula da  disciplina de Sistemas de Informação, pudemos perceber como a Tecnologia  da Informação influenciou e influencia na forma como as atividades são feitas.

Os DW's também são muito importantes nesse processo de evolução. Eles permitem que gestores das organizações possam tomar decisões e elaborar estratégias a partir de uma análise dos dados e não mais pela intuição .

Um exemplo que até já foi citado em postagens anteriores, em que podemos observar o uso da tecnologia para obter maior lucro, é o caso da cervejas e das fraldas. A partir de uma análise dos dados, pode-se observar que grande parte dos pais ao irem ao supermercados comprar fraldas para seus filhos, também compravam cerveja. A partir desta análise, próximo as prateleiras de fraldas, também ficariam os freezers/prateleiras com cerveja.

                           

Como pudemos perceber no parágrafo acima, a tecnologia auxilia muito no dia-a-dia das organizações, elevando seus lucros e auxiliando no melhor desenvolvimento dos negócios.

O QUE DATA WAREHOUSE NÃO É ?

Olá pessoal,

Já vimos com bastante ênfase o que é um Data Warehouse, onde eles são mais utilizados, entre outros. Na postagem de hoje, tentarei sanar qualquer dúvida sobre este conceito. Nada melhor para definir o que é um Data Warehouse do que mostrarmos o que não é.

Produto: O Data Warehouse não é um produto e não pode ser comprado como um software de banco de dados. O sistema de Data Warehouse é similar ao desenvolvimento de um ERP, ou seja, ele exige análise do negócio, exige o entendimento do que se quer retirar das informações. Apesar de existirem produtos que fornecem uma gama de ferramentas para efetuar o Cleansing dos dados, a modelagem do banco e da apresentação dos dados, nada disso pode ser feito sem um elevado grau de análise e desenvolvimento.

A linguagem: O sistema de Data Warehouse não pode ser aprendido ou codificado como uma linguagem. Devido ao grande número de componentes e de etapas, um sistema de Data Warehouse suporta diversas linguagens e programações desde a extração dos dados até a apresentação dos mesmos.
 
Projeto: O sistema de Data Warehouse pode ser pensado mais como um processo. Ele também pode ser pensado como uma série de projetos menores que convergem para a criação de um único sistema de corporativo de Data Warehouse. Devido a natureza evolutiva do DW, é mais fácil aceitá-lo como um processo que está sempre em crescimento do que em um projeto com início-meio-fim, o que definitivamente ele parece mas não é.

Modelagem: O sistema de Data Warehouse não é somente um modelo de banco de dados e não é constituído por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentação das informações ao usuário final.

Cópia do sistema OLTP: Alguns acreditam que o sistema de Data Warehouse é somente uma cópia do sistema transacional existente na empresa. Assim como somente um modelo de dados não faz um sistema de BI/DW, uma cópia de um sistema transacional o faz menos ainda. Existem ferramentas que conseguem extrair dados dos sistemas transacionais existentes e criar relatórios a partir das informações coletadas, mas mesmo eles estão montando um pequeno conjunto de metadados e armazenando a informação em algum local.

Fonte: http://www.datawarehouse.inf.br/Academico/A%20PUBLICAR_DATA_WAREHOUSE_MARCELL_OLIVEIRA.pdf

Usando o Data Warehouse para tomada de decisão

Boa tarde pessoal, encontrei um artigo muito legal sobre a utilização do Data Warehouse em uma empresa bastante conhecida por nós e que está, na maioria das vezes, presente no nosso dia-a-dia.

Vivo – Usando o Data Warehouse Para Tomada De Decisão from Juliana Maria Lopes

Slowly Changing Dimensions

Olá pessoal, hoje estarei trazendo o conceito de SCD (Slowly Changing Dimensions) ! 

É importantíssimo e fundamental que um Data Warehouse armazene todos dados históricos em sua base, ou seja, todo e qualquer tipo de alteração no registros do banco precisam ser gravados para que a veracidade e fidelidade da informações seja mantida,  e também permitir a correspondência dos fatos com suas perspectivas de acordo com o tempo da ocorrência. O SCD é um método utilizado com o intuito de retratar as atualizações no campos dos registros de um banco de dados. 

Vários tipos de SCD podem ser identificados no DW. As alternativas mais comuns de SCD são o SCD Tipo 1, SCD Tipo 2, SCD Tipo 3 e o SCD Híbrido. 

O SCD Tipo 1 é a alteração que não armazena histórico, ou seja, não é feito o versionamento do registro modificado. Trata-se do tipo mais simples, pois não há nenhum controle específico para a atualização dos dados, havendo apenas a sobreposição. 

O SCD Tipo 2 é a técnica mais utilizada para atualizações. Nesse tipo de SCD é adicionado um novo registro com as mudanças, preservando sempre os dados anteriores. Dessa forma, os registros da tabela fato vão apontar para a versão correspondente nas dimensões de acordo com a data de referência. 

O SCD Tipo 3 permite manter as modificações no mesmo registro. Essa técnica funciona com a adição de uma nova coluna na tabela, onde é armazenada a atualização, mantendo na antiga coluna o valor anterior. 

O SCD Híbrido (conhecido também como SCD Tipo 6), combina todas os SCD anteriores. Isso o torna bastante flexível para as atualizações das dimensões, porém com um grande custo de complexidade.  

Fonte : http://skybott-tech.blogspot.com.br/2014/06/O-que-significa-e-qual-a-importancia-do-SCD-no-Data-Warehouse.html

Os benefícios do DW no processo de Gestão da Informação

Olá pessoal, 

Em plena sexta-feira à noite estamos aqui para passarmos um pouco mais de conhecimento.

Como já vimos anteriormente, o principal objetivo dos DW's é auxiliar os gestores da informação no complexo e vital processo de tomada de decisão dentro de uma organização, entretanto, a introdução de um Data Warehouse em uma empresa exige uma mudança de comportamento dos executivos e sua relação entre os computadores e as informações. 

Na construção de um banco de dados para suporte a um Data Warehouse são filtrados e normalizados os dados de vários bancos de dados dos sistemas estruturados, formando uma base de dados com todos os dados relevantes da empresa ou de uma área específica. Com o cruzamento desses dados extraem-se informações que os sistemas de informações estruturados não conseguem identificar. Os Data Warehouse mantém um quadro único e coerente das informações ao longo da empresa, uma única versão da verdade, trazendo produtividade e ganho de dinheiro. A grande vantagem disso, é que as informações são adquiridas a partir de análises de fatos reais, ou seja,  os profissionais não partiram apenas de sua intuição para gerenciar a organização.

A produtividade oferecida pelo DW é traduzida em ganho de tempo e dinheiro. Um bom exemplo que podemos citar, é o caso do banco Itaú que enviava cerca de 1 milhão de malas diretas para seus correntistas e obtinha apenas 2% de retorno. Após a implantação do Data Warehouse, o retorno passou para 30% e a conta do correio diminuiu para um quinto.Outro exemplo clássico, é a relação entre o consumo de fraldas descartáveis e o consumo de cerveja. Essa relação foi adquirida graças a análises feitas pelos DW's pertencentes a rede americana de supermercados Wal-Mart.Analisando a informação do Data Warehouse verificou-se que quando os maridos iam ao supermercado a noite para comprar fraldas aproveitavam e compravam algumas cervejas. Constatado o fato, elaborou-se uma estratégia de vendas onde as fraldas ficam próximas as cervejas, induzindo os maridos a comprarem as cervejas. O resultado foi o aumento de vendas das cervejas. Outro exemplo é o caso da empresa de telecomunicações americana Sprint que com o seu Data Warehouse consegue identificar com 60 dias de antecedência os usuários que trocarão seus serviços por outra operadora. Através de um marketing agressivo ela conseguiu evitar a deserção de 120.000 clientes e uma perda de 35 milhões de dólares em faturamento.

Fonte: http://www.efagundes.com/artigos/Como%20um%20data%20warehouse%20pode%20melhorar%20as%20tomadas%20de%20decisoes%20nas%20empresas.htm

Estrutura de Data Warehouse

Olá pessoal,

Já aprendemos no blog o que é um DataWarehouse, 7 etapas para construção dele, entre outros. Hoje, aprenderemos boas práticas para a construção do mesmo.

Kimball Group é um grupo bastante conhecido devido a grande quantidade de Data Warehouse já implantados, de forma bem sucedida. Foram feitas análises nessas construções e levantou-se um conjunto de boas práticas na produção de um Data Warehouse.

Abaixo, poderemos analisar  os componentes que fazem parte da estrutura de um Data Warehouse:

Data Sources

São deles que virão os dados que serão utilizados na análise do sistema BI. Um sistema BI faz a integração entre os dados, usando diversas fontes como: Acess, Excel, SQL Server, PostgresSQL, entre outros.

Data Staging Area

É a parte responsável pela execução de um conjunto de processos denominados ETL (extração, transformação e carga). Esta área é considerada a "cozinha do restaurante", pois fica entre o Sistema Operacional e a Camada de Apresentação, portanto, fora do alcance do usuário. Pode ser composta por arquivos de texto(flat files)  ou tabelas de banco de dados na 3º forma normal (normalizadas).


Data Presentation Area

São os dados organizados, prontos para responder toda e qualquer consulta dos usuários em um formato dimensional. A modelagem dimensional é uma técnica voltada para a implementação de um modelo que traga uma grande performance na extração dos dados e que também possibilite a visualização dos dados de forma bastante intuitiva.

Fonte: http://vivianeribeiro1.wordpress.com/2011/03/30/o-que-e-data-warehouse/

As 7 etapas.

Depois de algumas breves definições,nos posts abaixo, estou trazendo alguns passos(mais precisamente 7) que podem auxiliar-nos na construção de um ambiente preparado para a utilização de um Data Warehouse.

1. Levantamento das necessidades: devemos antes de tudo fazer o levantamento de todas as informações desejadas pelo usuário. Nesse primeiro momento fazemos o cruzamento de Dimensões e Fatos necessários para alcançar os anseios dos gestores. Nesse primeiro momento trabalhamos em O QUÊ o DW terá, e não O COMO, por isso não devemos nos preocupar com a existência efetiva dos dados e sim com os desejos requisitados.
2. Mapeamento dos dados: nessa etapa fazemos o mapeamento dos dados, identificando a fonte e como chegar até eles. Aqui vemos a viabilidade dos desejos elencados na primeira etapa, verificando a existência ou não dos dados para o alcance das necessidades solicitadas.
3. Construção da Staging Area: após o mapeamento, construímos a estrutura chamada Staging Area, que se trata da área de transição dos dados do DW. Nessa área os dados são copiados e desacoplados dos sistemas de operação (OLTP) e recebem o devido tratamento para as futuras cargas nas tabelas de Fatos e Dimensões.
4. Construção das Dimensões: construímos nessa etapa a estrutura das Dimensões que farão parte do DW. Definimos também a historicidade que os dados irão possuir nas Dimensões.
5. Construção dos(s) Fato(s): construímos nessa etapa (após a construção das Dimensões) a(s) estrutura(s) da(s) Fato(s). Aqui é avaliado e definido a granularidade da informação que será armazenada em cada Fato. Avaliamos também a expectativa de crescimento e de armazenamento que serão utilizados.
6. Definição do processo geral de carga: após concluirmos as etapas anteriores, precisamos criar o motor para que tudo seja carregado, atualizado, orquestrado e processado de forma automática e ordenada. Por isso, a necessidade do processo geral de carga que é o “cérebro” do DW.
7. Criação dos metadados: por fim, precisamos desenvolver toda a documentação dos metadados, que incluem o processo de construção e o dicionário de dados. Os metadados fornecem apoio importante para a gestão do conhecimento.

Fonte: http://corporate.canaltech.com.br/tutorial/banco-de-dados/A-construcao-de-um-Data-Warehouse-em-7-etapas/

Por que utilizar um ambiente de Data Warehouse?

Um ambiente Data Warehouse é muito importante para gestão de dados, principalmente em super sistemas que abrangem toda a organização. A utilização de vários bancos separados podem gerar vários problemas como: Inconsistência de dados, longos tempos de espera, e normalmente estes dados são inadequados para um ambiente de suporte a decisão. Os Administradores de dados sempre escolhem um ambiente Data Warehouse para corrigir estes problemas além de:

• Atender Diferentes tipos de Usuários
• Flexibilidade e agilidade
• Obter Informação de qualidade
• Facilitar o processo de análise sem gerar qualquer impacto para o ambiente operacional
• Integrar dados de Múltiplas Fontes

Fonte da Imagem: http://www.alexandremalmeida.com.br/2013/03/27/master-data-dados-mestre/#more-309

Introdução a Data Warehouse.

Olá,

Essa será nossa primeira postagem sobre nosso tema. Não podemos falar de Data Warehouse sem primeiro respondermos algumas perguntas como: O que é um Data Warehouse? Para que serve? 

Então vamos lá!!! 

Um Data Warehouse é um banco de dados que tem como objetivo auxiliar na tomada de decisão da empresa. A ideia de Data Warehouse é juntar dados espalhados em várias máquinas para que eles estejam acessíveis aos usuários dos níveis decisórios.

O objetivo do Data Warehouse é quebrar as informações em partes menores e a partir delas poder analisar essas informações de diversas visões diferentes. O termo que define bem o que acabamos de comentar é: Slice ou dice, que significa a decomposição dos dados em partes menores para que possam ser analisados.

Fonte: http://vivianeribeiro1.wordpress.com/2011/03/30/o-que-e-data-warehouse/

Apresentação

Olá!!!

Esse blog será desenvolvido como parte da disciplina de Sistemas de Informação da Universidade Federal de Sergipe. Nós trataremos de vários assuntos sobre Data Warehouse.

Nos acompanhem e fiquem mais antenados sobre este tema!

Desde já, agradecemos!