Slides para apresentação final

Sistemas transacionais x Sistemas de apoio à decisão

Um Sistema de Apoio à Decisão (SAD) tem características completamente distintas de um sistema transacional, pois utiliza “inteligência” para efetuar suas transações, como prover informações para se definir uma campanha demarketing, elaborar as táticas futuras para o lançamento de novos produtos, descobrir qual a melhor estratégia para se aumentar as vendas de um dado produto, etc. Um SAD geralmente utiliza como repositório de dados um DW – Data Warehouse, que está desvinculado das bases de dados que dão sustentação aos sistemas transacionais, também chamadas de OLTP – OnLine Transaction Processing. Novamente para ficar mais claro, voltemos ao caso da instituição bancária.

 

Um exemplo de SAD poderia ser conhecer os potenciais clientes para se realizar uma campanha de financiamento de veículos. Neste caso, o banco poderia considerar como  potenciais clientes, somente aqueles que já sejam proprietários de veículos, que realizaram algum tipo de financiamento com o banco nos últimos 5 anos, cujo saldo médio nos últimos 12 meses seja superior a R$5000.00 e com a restrição de  que sua idade acrescida do prazo de financiamento não superar 75 anos. Para se chegar à lista de clientes potenciais para esta campanha, seria necessário consultar as informações que estão no Data Warehouse e não na base de dados dos sistemas transacionais. Ainda segundo Terribili (2009), em função das particularidades do tipo de processamento e de transação, o ambiente dos sistemas de BI deve ser dissociado do ambiente transacional, uma vez que no BI as pesquisas são mais complexas e há um volume muito maior de informações, das quais os dados históricos são de grande importância.  Assim o tempo de resposta de uma transação de BI pode ser muito mais lento do que o de uma operação transacional. Um exemplo interessante de BI é o utilizado pela rede de supermercados Pão de Açúcar. Em sua estratégia, o cliente da rede, quando efetua suas compras, recebe determinada pontuação como “Cliente Mais” que lhe dá algumas facilidades e benefícios futuros, porém, o mais importante para o BI é que o sistema registre o seu histórico de consumo no DW.

Fonte: http://www.diegomacedo.com.br/data-warehouse/

Quais são as estratégias de implementação de um data warehouse?

A implementação de um data warehouse depende de ações políticas e técnicas. No campo político, assegure-se que exista suporte da alta direção da empresa e o comprometimento dos gerentes e analistas de negócios da área alvo de implementação. 

Escolha uma área que os resultados possam ser obtidos rapidamente. No campo técnico existem três abordagens de implementação: data warehouse virtual,data mart e data warehouse central. Comece implantando um data warehouse virtual para medir os benefícios dessa tecnologia na empresa e obter mais apoio interno. Selecione os dados a serem utilizados no data warehouse, pois os usuários se frustram com relatórios que sabem que estão incorretos. Recrute consultores experientes, interna e externamente.

Um data warehouse deve vir ao encontro de uma necessidade de negócio da empresa. A área de negócio deve ser a patrocinadora da iniciativa. Muitos projetos iniciados pelas áreas de sistemas fracassaram por não terem o apoio político necessário da direção da empresa ou por não terem definido um caso de negócio concreto. Escolha um projeto onde o retorno do investimento seja rápido e de fácil implementação. Evite escolher projetos complexos pois os resultados podem não ser tangíveis a curto prazo. Em projetos complexos o custo e o esforço de implementação são altos, correndo o risco de serem abortados antes dos benefícios aparecerem.

Na área técnica existem três abordagens de implementação de data warehouses: os virtuais, os data marts e os centrais. O data warehouse virtual utiliza o conceito de metadados (dados sobre dados) com regras de negócios. A partir dos metadados são acessados os dados diretamente das bases operacionais, tornando os custos mais baixos e reduzindo o tempo de implementação. Além de serem mais fáceis de implementar é possível demonstrar a viabilidade do projeto. Os data marts são data warehouses distribuídos e dedicados à áreas de negócios específicas. A vantagem é segregar em um ambiente todos os dados relativos a um determinado negócio e utilizar ferramentas analíticas orientadas para o negócio alvo. Os data warehouses centrais contém dados suficientes para descrever o negócio como um todo. Sua implementação é complexa e cara, porém permitindo uma visão global dos dados e pesquisas analíticas mais amplas.

Desenvolve-se data marts a medida das necessidades de negócios e através de metadados padrões obtém-se a visão dos dados distribuídos, ampliando o processo de pesquisa analítica. Também os metadados tem a capacidade de acessar dados operacionais em diversos tipos de bancos de dados, ideal para ambientes que requerem uma baixa extração e transformação dos dados. A utilização de metadados facilita a transição de data marts baseados em bancos de dados de baixo custo para ambientes corporativos mais complexos e na migração para o data warehouse central.

No mercado existem várias ferramentas de pesquisa analítica de dados para data warehouse que podem ser utilizadas em diferentes bancos de dados, incluindo os bancos de dados relacionais e multidimensionais ideais para requisitos complexos de apoio à decisão.

Fonte: http://www.efagundes.com/artigos/Quais%20as%20estrategias%20de%20implementacao%20de%20um%20data%20warehouse.htm

Quais informações devem ser armazenadas no data warehouse?

As empresas investem em tecnologias de data warehouse para melhorar seus processos decisórios e gerenciais, melhorar seus serviços a clientes, aumentar sua competitividade perante a concorrência, reduzir seus custos operacionais, manter e identificar novos clientes. Para garantir a confiabilidade das análises, o processo de migração das bases de dados operacionais para o data warehouse é uma das fases mais críticas o projeto. Evita-se na fase de migração e limpeza dos dados o fenômeno "garbage in, garbage out", ou seja, se os dados de entrada são ruins o resultado das análises será igualmente ruim. Recomenda-se cinco etapas para a migração dos dados desde a extração dos dados nas bases de origem até a validação dos dados. Não negligencie a fase inicial de migração dos dados, pois os usuários reconhecem imediatamente as análises ruins e isso decretará o fracasso do projeto.

Para atingir os objetivos das empresas de melhorias internas de seus processos com a introdução dos data warehouses os analistas envolvidos no projeto deve assegurar a qualidade dos dados migrados das bases operacionais. Dados iguais podem estar representados de diversas formas nas bases de dados. Por exemplo, o código para identificar o sexo da pessoa pode estar representado por "1" e "2" em uma base em outra por "M" e "F". No processo de migração e limpeza dos dados essas divergências devem ser corrigidas. Observe os seguintes passos no processo de limpeza dos dados:

• O exame dos dados determina sua qualidade, verificando os padrões de representação de dados adotados e o número de campos utilizados;
• A análise dos dados determina o contexto e destino de cada campo;
• A correção de dados para garantir que os dados sejam assinalados com bons, ruins ou que os dados possam ser automaticamente corrigidos; e,
• A coincidência de registros determina se dois registros podem ou não representar o mesmo objeto, exigindo muitos julgamentos dos analistas e ferramentas sofisticadas.

O ciclo completo de migração de dados das bases operacionais para os bancos de dados do data warehouse exige cinco etapas:

1. Extração dos dados do sistema de origem para um ambiente intermediário, conhecido com staging area. As rotinas de extração servem para selecionar os dados do sistema de origem para o data warehouse. Normalmente, essas rotinas são executadas no ambiente de origem dos dados para facilitar a execução de rotinas que transformam, convertem, combinam e analisam os dados de origem.
2. Conversão dos esquemas da staging area para carregar os dados. Nessa etapa é realizada a limpeza dos dados para garantir a integridade da informação. Um cuidado especial deve ser dado as chaves de pesquisas utilizadas nos bancos de dados de origem e as chaves que serão utilizadas no banco de dados de destino.
3. Consolidação dos dados da staging area em tabelas que refletem o contexto de negócio. Os dados agregados refletem os dados definidos pelo projeto após passarem por vários processos de classificação e definida qual a melhor chave de pesquisa para o data warehouse.
4. Migração dos dados da staging area para o banco de dados do data warehouse. Recomenda-se nessa etapa o uso do software de carregamento do próprio banco de dados de destino, utilizando a integridade referencial para garantir que as chaves das tabelas estejam íntegras.
5. Validação dos dados. A garantia da qualidade dos dados carregados é assegurada pelo processo de conversão e no exame feito pelos clientes.  

Fonte:http://www.efagundes.com/artigos/Quais%20informacoes%20devem%20ser%20armazenadas%20no%20data%20warehouse.htm

Boas práticas para criar e para fortalecer seu Data Warehouse

Boa noite, vamos escrever um pouco sobre boas práticas para criar e fortalecer seu Data Warehouse. Esperamos que vocês gostem!!!

Em um mercado tão competitivo, onde todas as empresas disputam clientes, ser diferente é fundamental, e é uma prática para se destacar diante de tamanha competitividade.

As empresas preocupadas com a rapidez e com a agilidade nas informações, que irão auxiliá-las na tomada de decisões, se normatizam, criam seu ambiente de Business Intelligence (BI) e certamente se preparam para a criação de seu Data Warehouse (DW).

Mais do que nunca, você e seus modelos precisam dominar diferentes linguagens e atender a diversos públicos-alvo para oferecer suporte adequado às iniciativas de Data Warehouse de sua empresa. Bons metadados podem ser gerados se você tiver uma compreensão real de seus dados.

Os sistemas de DW auxiliam na revitalização dos dados das empresas e consolidam dados inconsistentes dos sistemas mais antigos. Isso faz com que sistemas antigos continuem em operação, ajuda a extrair benefícios de novas informações com origem nas operações atuais e promove um ambiente para planejamento e para arquitetura de novos aplicativos mais operacionais.

Devemos considerar, entretanto, que um DW não contém apenas dados resumidos, podendo conter também dados muito antigos. Precisamos dar ao usuário a capacidade de aprofundar-se num determinado tópico, investigando níveis de agregação menores.

Limitar o conteúdo de um DW apenas a dados resumidos significa limitar os usuários apenas às consultas e às análises que eles puderem antecipar, não deixando qualquer flexibilidade para novas necessidades.

Atualmente os dados estão crescendo a taxas astronômicas, logo, a necessidade de ter as informações mais consolidadas está cada vez mais presente.

Fonte: http://imasters.com.br/artigo/18401/banco-de-dados/as-melhores-praticas-para-criar-e-para-fortalecer-seu-data-warehouse/#

Modernização

Como o volume de dados aumenta na casa de dez vezes a cada cinco anos. Mesmo o DW mais robusto exigirá operações de armazenamento e processamento caros e um hardware maior e mais caro para acompanhar esse crescimento. Então não se pode parar de modernizar um data warehouse, pois moderniza-lo com novas tecnologias pode ajudar as empresas  a atender às necessidades de hoje ao conectar praticamente qualquer volume de dados, privados e públicos, a um BI ágil e familiar, para as melhores decisões de negócios.

Um Data Warehouse Moderno permite:

• Gerir Qualquer Volume de Dados: O Data Warehouse Moderno pode escalar para qualquer volume de dados a partir de terabytes, chegando a até múltiplos petabytes, tratando todos os tipos de dados - relacionais e não- relacionais. Como exemplo, a Virginia Tech foi capaz de triturar os dados de seqüenciadores de DNA (que crescem mais de 15 petabytes por ano) para fazer pesquisas sobre o câncer.

• Desempenho em Tempo Real: A capacidade de trabalhar com dados em tempo real para manter o ritmo crescente da demanda, sem perder o desempenho. Como exemplo, o MEC foi capaz de trazer consultas de clientes on-line a partir de métricas de visitação, de quatro horas para apenas alguns minutos.

• Quaisquer Tipos de dados: a capacidade de se integrar perfeitamente sobre quaisquer tipos de dados a partir de fontes relacionais tradicionais a novas fontes não- relacionais. Como exemplo, a Direct Edge foi capaz de unir mensagens não- relacionais das bolsas de valores com seus dados relacionais de cotações da bolsa.

Fonte:http://blogs.technet.com/b/sqlserverbrasil/archive/2014/11/03/o-data-warehouse-moderno.aspx

Data Mart vs Data Warehouse

Um Data Mart é um mini Data Warehouse que fornece suporte à decisão para um pequeno grupo de pessoas – como aos profissionais da área de marketing, ou de vendas, por exemplo. O tempo de desenvolvimento e implementação, assim como os investimentos necessários, também são bem menores, em comparação ao DW. Segundo estimativas, enquanto um Data Mart custa em torno de US$ 100 mil a US$ 1 milhão e leva cerca de 20 dias para ficar pronto, um DW integral começa a partir de US$ 2 milhões e demora no mínimo um ano para estar consolidado. Mas são valores apenas estimados, uma vez que não existe um projeto padrão que serve para todas as empresas indistintamente. O montante aplicado depende de cada caso.

De acordo com alguns especialistas no assunto, as diferenças existentes entre um Data Mart e um Data Warehouse são apenas com relação ao tamanho do projeto e ao escopo da empresa. Portanto, as definições dos problemas e os requisitos dos dados são essencialmente os mesmos para ambos. No entanto, um Data Mart trata das questões departamentais ou locais (de um departamento específico), enquanto um DW envolve as necessidades de toda a companhia de forma que o suporte à decisão atue em todos os níveis da organização.

Fonte: http://tiagocurcio.com/data-warehouse-ou-data-mart-2/