Revisãozinha...

Bom dia pessoal, estou trazendo para vocês hoje uma revisão resumida do que vimos até agora sobre Data Warehouse.

UCP - Projeto de Banco de Dados - Data Warehouse from Vinícius Amaral

Oracle Data Warehousing

Boa tarde pessoal, 

Viemos hoje escrever um pouco sobre a Oracle Data Warehousing. A Oracle lidera o mercado em todos os aspectos (participação no mercado e também em inovação dos produtos).

O Oracle OLAP 11g fornece recursos de Data Warehouse de alta perfomance para o Banco de Dados Oracle 11g. Ele é um mecanismo de processamento analítico online com recursos completos. Ele é uma opção a mais que pode ser agregado ao Banco de Dados 11g. Essa agregação traz uma maior escalabilidade, segurança e capacidade de gerenciamento do Banco de Dados.

Entre os principais novos recursos do Oracle OLAP 11g estão visualizações relacionais de um cubo gerenciadas pelo banco de dados, uma fonte de linhas para pesquisa de cubos usada pelo otimizador SQL e visualizações materializadas organizadas por cubos.

Por que Oracle OLAP?

O Oracle OLAP usa um workspace analítico no banco de dados para executar uma análise OLAP. Ele armazena dados no banco de dados como cubos multidimensionais, que são projetados para garantir rapidez na atualização e consulta incrementais. Os cubos são organizados por dimensões, que atuam como chaves para os dados dos fatos e definem a estrutura básica do cubo. Em muitas maneiras, um cubo é semelhante a um esquema de estrela. O cubo desempenha o papel da tabela de fatos, e uma dimensão OLAP desempenha o papel de uma tabela de dimensões. As dimensões podem ser simples listas de membros ou organizadas em níveis e hierarquias. As dimensões hierárquicas permitem que os dados sejam agregados desde os níveis inferiores até os superiores de resumos. Elas suportam navegação como detalhamento e certos tipos de cálculos como Share to Parent, Share within Ancestor e Rank within Parent. Também suportam muitos cálculos de séries de tempo como Year to Date. Esses tipos de cálculos são fáceis de definir no Analytic Workspace Manager (a ferramenta administrativa do Oracle OLAP 11g) e são efetuados com eficiência no cubo em tempo de execução. 

O Oracle OLAP 11g pode reduzir significativamente os tempos de processamento de consultas para usuários de ferramentas de business intelligence (BI) baseadas em SQL como o Oracle Business Intelligence Suite Enterprise Edition e outras ferramentas de terceiros. O Oracle OLAP 11g também facilita a incorporação de cálculos em um cubo OLAP. Todos os recursos do Oracle OLAP 11g são fornecidos no Banco de Dados Oracle, o que permite o controle centralizado dos dados, das regras de negócios e da segurança. 

Criando visualizações materializadas organizadas por cubo para o gerenciamento de resumos

As visualizações materializadas organizadas por cubo são um novo recurso do Oracle OLAP 11g que permite que os cubos sejam usados como uma solução de gerenciamento de resumos, em geral substituindo as tabelas de resumos relacionais e as visualizações materializadas baseadas em tabela. Nesse contexto, um aplicativo consulta a tabela de fatos usando funções de agregação (como SUM) e uma cláusula GROUP BY, e o recurso de reescrita de consulta do banco de dados redireciona automaticamente a consulta para a visualização materializada organizada por cubo. O cubo gerencia os dados de resumo de maneira transparente para o aplicativo que faz a consulta, e os usuários se beneficiam do melhor desempenho das consultas. 

Para criar uma visualização materializada organizada por cubo, os DBAs criam um cubo com as tabelas de fatos e de dimensões que os aplicativos consultam no momento. Depois, habilitam no cubo a atualização de visualizações materializadas e a reescrita de consultas. A visualização materializada pode ser criada através de uma chamada de API ou, o que é mais comum, através de algumas opções no Analytic Workspace Manager. O cubo faz auto-indexação e gerencia todo o espaço agregado.

 

           

 

Fonte: http://www.oracle.com/technetwork/pt/articles/o38olap-097172-ptb.html

Data Warehouse X Big Data

Boa noite pessoal, hoje estou trazendo um texto que resume o conceito de Big Data e a diferença deste com o conceito de Data Warehouse.

Há alguns anos a tecnologia da informação tem sofrido grandes transformações, dada a necessidade cada vez maior das empresas em ter acesso às informações pertinentes ao seu negócio, de forma mais dinâmica. Acrônimos como Cloud Computing, ETL, SOAP, entre outros, são cada vez mais comuns na informática e atualmente temos visto com bastante frequência o crescimento de um novo conceito: Big Data. Segundo o Grupo IDC, o mercado de Big Data irá crescer de $3.2 bilhões, em 2010, para $16.9 bilhões em 2015.

Mas o que significa Big Data ?

Big Data é um conceito onde o foco é o armazenamento de grandes volumes de dados, disponíveis para serem acessados a uma maior velocidade.

O conceito de Big Data pode ser confundido com projetos de Data Warehouse, que são depósitos de dados, onde aos dados são transformadas através de um processo de ETL (extract, transforming and load) e as informações resultantes desse processo são utilizadas para tomadas de decisões. A grande diferença de Data Warehouse com Big Data é a velocidade com que os dados precisam ser disponibilizados, uma vez que, em um projeto de Data Warehouse, o processo de ETL torna-se mais lento até que as informações estejam disponíveis.

O universo do Big Data possibilita o acesso à informação, através de diversos formatos de mídias (e-mails, vídeos, redes sociais, etc), porém a grande dificuldade encontrada nesse novo conceito é a falta de profissionais qualificados para gerir esse volume de dados, pois faz-se necessário um melhor gerenciamento dos dados, para obtenção de informações úteis e relevantes.

Fonte : https://angmaximo.wordpress.com/2012/11/28/big-data-data-warehouse/

Granularidade

Boa tarde pessoal, hoje estou trazendo dois videos muito legais que abordam conceitos e dicas sobre granularidade de DataWarehouse. Além de que, os videos também trazem, resoluções de questões que já estiveram presentes em alguns concursos sobre a granularidade e seus conceitos.

Fonte : http://rogerioaraujo.wordpress.com/2011/10/04/dicas-data-warehouse-granularidade/

A importância do Data Warehouse nas organizações.

Olá pessoal,

Hoje, durante a aula da  disciplina de Sistemas de Informação, pudemos perceber como a Tecnologia  da Informação influenciou e influencia na forma como as atividades são feitas.

Os DW's também são muito importantes nesse processo de evolução. Eles permitem que gestores das organizações possam tomar decisões e elaborar estratégias a partir de uma análise dos dados e não mais pela intuição .

Um exemplo que até já foi citado em postagens anteriores, em que podemos observar o uso da tecnologia para obter maior lucro, é o caso da cervejas e das fraldas. A partir de uma análise dos dados, pode-se observar que grande parte dos pais ao irem ao supermercados comprar fraldas para seus filhos, também compravam cerveja. A partir desta análise, próximo as prateleiras de fraldas, também ficariam os freezers/prateleiras com cerveja.

                           

Como pudemos perceber no parágrafo acima, a tecnologia auxilia muito no dia-a-dia das organizações, elevando seus lucros e auxiliando no melhor desenvolvimento dos negócios.

O QUE DATA WAREHOUSE NÃO É ?

Olá pessoal,

Já vimos com bastante ênfase o que é um Data Warehouse, onde eles são mais utilizados, entre outros. Na postagem de hoje, tentarei sanar qualquer dúvida sobre este conceito. Nada melhor para definir o que é um Data Warehouse do que mostrarmos o que não é.

Produto: O Data Warehouse não é um produto e não pode ser comprado como um software de banco de dados. O sistema de Data Warehouse é similar ao desenvolvimento de um ERP, ou seja, ele exige análise do negócio, exige o entendimento do que se quer retirar das informações. Apesar de existirem produtos que fornecem uma gama de ferramentas para efetuar o Cleansing dos dados, a modelagem do banco e da apresentação dos dados, nada disso pode ser feito sem um elevado grau de análise e desenvolvimento.

A linguagem: O sistema de Data Warehouse não pode ser aprendido ou codificado como uma linguagem. Devido ao grande número de componentes e de etapas, um sistema de Data Warehouse suporta diversas linguagens e programações desde a extração dos dados até a apresentação dos mesmos.
 
Projeto: O sistema de Data Warehouse pode ser pensado mais como um processo. Ele também pode ser pensado como uma série de projetos menores que convergem para a criação de um único sistema de corporativo de Data Warehouse. Devido a natureza evolutiva do DW, é mais fácil aceitá-lo como um processo que está sempre em crescimento do que em um projeto com início-meio-fim, o que definitivamente ele parece mas não é.

Modelagem: O sistema de Data Warehouse não é somente um modelo de banco de dados e não é constituído por mais de um modelo. Existe o processo todo do sistema de BI/DW que compreende todos os procedimentos de ETL, Cleansing e apresentação das informações ao usuário final.

Cópia do sistema OLTP: Alguns acreditam que o sistema de Data Warehouse é somente uma cópia do sistema transacional existente na empresa. Assim como somente um modelo de dados não faz um sistema de BI/DW, uma cópia de um sistema transacional o faz menos ainda. Existem ferramentas que conseguem extrair dados dos sistemas transacionais existentes e criar relatórios a partir das informações coletadas, mas mesmo eles estão montando um pequeno conjunto de metadados e armazenando a informação em algum local.

Fonte: http://www.datawarehouse.inf.br/Academico/A%20PUBLICAR_DATA_WAREHOUSE_MARCELL_OLIVEIRA.pdf