Quais informações devem ser armazenadas no data warehouse?

As empresas investem em tecnologias de data warehouse para melhorar seus processos decisórios e gerenciais, melhorar seus serviços a clientes, aumentar sua competitividade perante a concorrência, reduzir seus custos operacionais, manter e identificar novos clientes. Para garantir a confiabilidade das análises, o processo de migração das bases de dados operacionais para o data warehouse é uma das fases mais críticas o projeto. Evita-se na fase de migração e limpeza dos dados o fenômeno "garbage in, garbage out", ou seja, se os dados de entrada são ruins o resultado das análises será igualmente ruim. Recomenda-se cinco etapas para a migração dos dados desde a extração dos dados nas bases de origem até a validação dos dados. Não negligencie a fase inicial de migração dos dados, pois os usuários reconhecem imediatamente as análises ruins e isso decretará o fracasso do projeto.

Para atingir os objetivos das empresas de melhorias internas de seus processos com a introdução dos data warehouses os analistas envolvidos no projeto deve assegurar a qualidade dos dados migrados das bases operacionais. Dados iguais podem estar representados de diversas formas nas bases de dados. Por exemplo, o código para identificar o sexo da pessoa pode estar representado por "1" e "2" em uma base em outra por "M" e "F". No processo de migração e limpeza dos dados essas divergências devem ser corrigidas. Observe os seguintes passos no processo de limpeza dos dados:

• O exame dos dados determina sua qualidade, verificando os padrões de representação de dados adotados e o número de campos utilizados;
• A análise dos dados determina o contexto e destino de cada campo;
• A correção de dados para garantir que os dados sejam assinalados com bons, ruins ou que os dados possam ser automaticamente corrigidos; e,
• A coincidência de registros determina se dois registros podem ou não representar o mesmo objeto, exigindo muitos julgamentos dos analistas e ferramentas sofisticadas.

O ciclo completo de migração de dados das bases operacionais para os bancos de dados do data warehouse exige cinco etapas:

1. Extração dos dados do sistema de origem para um ambiente intermediário, conhecido com staging area. As rotinas de extração servem para selecionar os dados do sistema de origem para o data warehouse. Normalmente, essas rotinas são executadas no ambiente de origem dos dados para facilitar a execução de rotinas que transformam, convertem, combinam e analisam os dados de origem.
2. Conversão dos esquemas da staging area para carregar os dados. Nessa etapa é realizada a limpeza dos dados para garantir a integridade da informação. Um cuidado especial deve ser dado as chaves de pesquisas utilizadas nos bancos de dados de origem e as chaves que serão utilizadas no banco de dados de destino.
3. Consolidação dos dados da staging area em tabelas que refletem o contexto de negócio. Os dados agregados refletem os dados definidos pelo projeto após passarem por vários processos de classificação e definida qual a melhor chave de pesquisa para o data warehouse.
4. Migração dos dados da staging area para o banco de dados do data warehouse. Recomenda-se nessa etapa o uso do software de carregamento do próprio banco de dados de destino, utilizando a integridade referencial para garantir que as chaves das tabelas estejam íntegras.
5. Validação dos dados. A garantia da qualidade dos dados carregados é assegurada pelo processo de conversão e no exame feito pelos clientes.  

Fonte:http://www.efagundes.com/artigos/Quais%20informacoes%20devem%20ser%20armazenadas%20no%20data%20warehouse.htm