Precisando elaborar textos e conteúdos com informações oficiais e de referencia?

O governo federal brasileiro criou um portal que centraliza e disponibiliza dados de forma aberta de organizações federais. Podem ser encontrados dados da ANA, ANAC, ANEEL, BNDES, Câmara dos Deputados, Previdência Social entre muitos outros.

O site para acesso é http://dados.gov.br (Portal de dados abertos).

Os dados são disponibilizados em vários tipos de formatos, PDF, XLS, CSV, XML, JSON entre outros que possibilitam fazer analises de informações.

Abaixo um modelo de dados disponibilizado: Obras PAC 2016.

Segue um exemplo de código para mostrar como fazer um UPDATE com SELECT no Oracle.

UPDATE USUARIO US
SET (NOME_USUARIO) = (
     SELECT REPLACE(NOME_USUARIO,' ','-')
       FROM USUARIO US2
      WHERE US2.NOME_USUARIO LIKE '% %'
        AND US2.ID_USUARIO = US.ID_USUARIO
   )

Note que o update e o select foram executados na mesma tabela.

ETL do inglês Extract Transform Load (Extração Transformação Carga) são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação de dados conforme regras de negócios e por fim a carga dos dados em um DM ou um DW, segundo definição da Wikipédia (acesso em 29.abril.2010).

É comum que os sistemas OLTP das organizações tenham sido desenvolvidos por diferentes equipes de programadores, empresas de software, linguagem de programação diferente, que no seu desenvolvimento, tenham adotado diferentes convenções na codificação de variáveis, nomes dos atributos das tabelas, diferentes tipos de dados ou formatos de datas. A etapa de ETL é considerada uma das fases mais críticas da elaboração de DW ou um DM pela grande variedade de fontes de dados possíveis para obtenção de dados para alimentar os mesmos. Ao reunir dados dos diferentes sistemas deve ser definida uma norma única para o DW e realizar as transformações necessárias em cada caso. Basicamente devem ser realizadas as seguintes tarefas:

• Estabelecer as regras que serão utilizadas para realizar a transformação. 
• Detectar as inconsistências que podem ocorrer ao extrair dados de diferentes fontes. 
• Planejar cuidadosamente e com detalhes a transformação dos dados, que ofereçam como resultado final conjuntos de dados consistentes. 

O grande desafio por trás da alimentação de dados das fontes para o DW não é técnico, mas sim, gerencial, como afirma Gonçalves (2003). Muitos dos processos envolvidos no ETL são definidos no processo de analise e projeto como definições de mapeamento e integração de dados. Gonçalves (2003) diz que as definições de regras de transformação e detecção de dados consomem cerca de 80% do tempo do projeto, sendo que a maioria das regras necessárias de mapeamento e transformação de dados existe apenas na cabeça dos analistas e usuários. Isso certamente é um indicador de influencia para justificar o tempo gasto para a definição dos mesmos.

Extração de dados 

Várias alternativas para extração de dados permitem o balanceamento de desempenho. Por exemplo, se a fonte for um banco de dados online e aceitar a submissão de consultas diretas, pode ser criado arquivo de consulta apenas com instruções SQL, todavia, podem ocorrer quedas de desempenho no banco de dados online e as consultas para a extração de dados concorrem entre si. Uma solução alternativa para este caso seria a criação de um banco de dados cópia para a extração do pacote de dados. Processo este que geraria a necessidade maior de espaço em disco.

As rotinas de extração devem ser capazes de isolar somente os dados que foram inseridos e atualizados desde a última extração processo este conhecido como refresh. Conforme Gonçalves (2003) diz a melhor política de refresh só pode ser avaliada pelo administrador de DW, pois, neste processo vários fatores são determinantes para escolha do mesmo como as necessidades do usuário final, tráfego na rede e períodos de menor carga no sistema.

 Transformação 

Depois que os dados são extraídos é necessário o tratamento destes efetuando limpeza e a filtragem afim de, garantir a integridade dos dados através de programas ou rotinas especiais que tentam identificar anomalias e caso encontre é necessário resolve-las antes de ser inseridas do DW. Correção de erros de digitação, a descoberta de violação de integridade, a substituição de caracteres desconhecidos, a padronização de abreviações podem ser exemplos de limpeza de dados. Pode ser encontrados conflitos de semântica nos dados que são divididos de duas formas conflitos semânticos e conflitos estruturais.

Conflitos Semânticos - Os conflitos semânticos são todos aqueles que envolvem o nome ou a palavra associada às estruturas de modelagem, por exemplo, mesmo nome para diferentes entidades ou diferentes nomes para a mesma entidade (Gonçalves, 2003).

Conflitos Estruturais - Englobam os conflitos relativos às estruturas de modelagem escolhidas, tanto no nível de estrutura propriamente dita como no nível de domínios. Os principais tipos de conflitos estruturais são aqueles de domínio de atributo que se caracterizam pelo uso de diferentes tipos de dados para os mesmos campos (Gonçalves, 2003). De acordo com Gonçalves (2003), os conflitos típicos de domínio de atributo são:

• Diferenças de unidades: quando as unidades utilizadas diferem, embora forneçam a mesma informação (exemplo: distância em centímetros ou polegadas); 
• Diferenças de precisão: quando a precisão escolhida varia de um ambiente para outro (exemplo: o custo do produto é armazenado com duas posições ‘0,12’ ou com seis posições decimais ‘0,123456’);
• Diferenças em códigos ou expressões: quando o código utilizado difere um do outro (exemplo: sexo representado por M ou F e por 0 ou 1); 
• Diferenças de granularidade: quando os critérios associados a uma informação, embora utilizando uma mesma unidade, são distintos (exemplo: quando horas trabalhadas correspondem às horas trabalhadas na semana ou às horas trabalhadas no mês); 
• Diferenças de abstração: quando a forma de estruturar uma mesma informação segue critérios diferentes (exemplo: endereço armazenado em um único atributo, ou subdividido em rua e complemento). 

Finalizado este processo de identificação as regras de mapeamento devem ser criadas e o processo de conversão executado afim de, os padrões estabelecidos no DW deve ser respeitado. Todo o processo de ETL pode ser feito com o uso de ferramentas, onde cada uma apresenta particularidades, seja apenas a empresa desenvolvedora ou mesmo funções que da mesma.

 Algumas das ferramentas de ETL segundo Gonçalves 2003 são Acta Works, Amadea, DataMirror Constellar Hub, Date Propagator, Visual Warehouse, DataStage XE, DecisionBase, InfoRefiner, InfoTransport, InfoHub, InfoPump, Decision Stream, DTS, Oracle Warehouse Builder, PowerMart, PowerStage, WebFocus ETL Manager e Microsoft Integration Services.

Quando falamos em banco de dados normalmente nos referimos aos bancos de dados transacionais estruturas essas que são utilizadas para dar suporte a operações da empresa, armazenando dados de processos desenvolvidos no nível operacional e funcional da mesma, tendo uma porção de características que nos ajuda a defini-los, está orientado a aplicação transacional da empresa, os dados são armazenados detalhadamente, é atualizado on-line, e esta em constantes mudanças.

Bancos estruturados desta forma geram um grupo chamado de sistema OLTP (On-Line Transaction Processing) que definimos como Processamento de Transações On-Line.

Business Intelligence (BI) é conhecido em português como inteligência de negócios, pode ser considerada como o centro da análise da informação para a tomada de decisões, permitindo que empresas possam tomá-las e assim atingir seus objetivos.

Dentro da definição de BI temos ferramentas e disciplinas que ajudam o conceito a existir, podemos elencar alguns como:

Data Warehouses – Conhecidos como armazéns de dados onde seus dados estão armazenados em estruturas multidimensionais (cubos), onde informações são calculadas antes do armazenamento e também um produto cartesiano que armazena todas as combinações possíveis o que pode ser considerado exagerado, todavia, os resultados por essa grande redundância de dados é o processamento mais rápidos de consultas e consequentemente tomadas de decisão mais precisas, que normalmente é formado por um banco de dados OLAP, pois, fornece a estrutura multidimensional;

Data Mart – Pode ser considerada um Data Warehouse de um fato especifico, ou seja, focado;

Data Mining – Processo de explorar grandes quantidades de dados a procura de padrões consistentes.

Ferramentas e disciplinas para o BI podem ser definidas em três:

1.     Oferecer informações para o processo de controle do negócio independente da fonte de
dados seja ele de um SGBD (Sistema Gerenciador de Banco de Dados), Planilhas computacionais ou ate mesmo um arquivo de texto contendo dados provenientes de instituições bancárias, governos ou mesmo parceiros comerciais;

2.     Oferecer suporte para a tomada de decisões seja ela disponibilizada por gráficos, relatórios ou mesmo dados puros;

3.     Utilizar de camada semântica, pois, não é possível tomar decisões se não for utilizada a linguagem apropriada, isto é necessário para a linguagem ficar simples e compreensível para o cliente e com isso facilitar e acelerar o processo de tomada de decisão.

Já tivemos alguns problemas em trazer dados em uma sequencia especifica e limitada no Sql Server nessa hora perguntamos "Como usar no Sql Server o Limit do MySql?"

Eis a resposta:

MySql

SELECT * FROM usuarios LIMIT 10, 5 

Sql Server

WITH usuarios AS
(
    SELECT *,
    indicador = ROW_NUMBER() OVER (ORDER BY nome) 
    FROM usuarios
)
SELECT *
FROM usuarios
WHERE indicador BETWEEN 10 AND 15
ORDER BY nome

Em uma nova instalação do SQL Server 2008 R2 tive dificuldades pois a instalação dizia que eu tinha alguma ferramenta do SQL Server 2005 instalada e não tinha mais.

Quem nunca se deparou numa situação onde precisa salvar um cliente que tem um sistema e o desenvolvedor responsável abandonou o barco? Pois bem tive essa experiência.
A primeira emoção dessa empreitada foi emitir uma listagem a partir de um banco de dados MySQL, todavia, o problema é que o relatório era com intervalo de datas e o todas os campos onde armazenavam datas eram do tipo varchar. Agora vou mostrar como resolver esse problema com uma funções do MySQL.
Podemos fazer de duas formas diferentes que varia de acordo com a versão do MySQL:

Versão anterior a 4.0

Temos que fazer a conversão da data manualmente via manipulação de String.

SELECT nome, dtCadastro 
FROM empresa 
WHERE DATE_ADD(CONCAT(SUBSTRING_INDEX('dtCadastro','/',-1) , '-' , SUBSTRING_INDEX(substring_index('dtCadastro','/',2),'/',-1) , '-', SUBSTRING_INDEX('dtCadastro','/',1)), interval 0 day) 
BETWEEN '2011-07-25' AND '2011-08-25'

Versão superior a 4.0

Temos uma função chamada STR_TO_DATE que faz a conversão de STRING para DATE.

SELECT nome, dtCadastro 
FROM empresa 
WHERE STR_TO_DATE(dtCadastro,'%d/%m/%Y')
BETWEEN '2011-07-25' AND '2011-08-25'

Veja mais informação sobre a função em:
http://dev.mysql.com/doc/refman/5.5/en/date-and-time-functions.html#function_str-to-date

Olá pessoal,
Trabalhando com desenvolvimento de sistemas sempre temos a área segura do site que normalmente é acessada com login e senha. Que tal armazenar essa senha criptografada em MD5 no banco de dados SQL Server utilizando um recurso do banco para gerar o hash?
Então, vou postar mais uma função útil para podermos utilizar.

É a função HASHBYTES que pode ser utilizada da seguinte maneira:

SELECT HASHBYTES('MD5', 'minhaSenha')

Ela deverá retornar o valor de “minhaSenha” em MD5 assim:0x25EEF25B04B2113A23697A1E81453201
No entando ela retornará um tipo de dado que não poderiamos utilizar para comparação, pois, salva com caracteres estranhos no banco dificutando o uso dela diretamente. Para resolver isso podemos utilizar uma função adicional para retornar o hash igual ao gerado pelo ASP, PHP, JAVA etc...
Então uma forma tranquila de utiliza-la é assim:

SELECT SUBSTRING(sys.fn_sqlvarbasetostr(HASHBYTES('MD5', 'minhaSenha')),3,32)

Dessa forma ela retornará o valor de “minhaSenha” em MD5 assim: 25eef25b04b2113a23697a1e81453201 já sendo uma string.
A função HASHBYTES só esta disponível no SQLServer apartir da versão 2005, não tendo o mesmo em versões anteriores sendo necessário recursos de terceiros para obtermos o mesmo resultado. Essa função permite gerar outros tipos de Hash com criptografias diferentes (MD2, MD4, SHA, ou SHA1).

Mais informações em: http://msdn.microsoft.com/en-us/library/ms174415.aspx

Olá pessoal, vou passar mais uma dica de função do SQL Server que nos possibilita fazer uma busca em determinado campo retornando valores similares, por exemplo:
Se procuro por "Alessandro" ele retorna mais nomes similares como Alexandre, Alessandra, Alexsandro, Alexsandra, Alexnaldo ou se procuro por "Daniela" ele retorna Daniel, Daniella, Danyella, Danielle, Danilo, claro que só retornará se os mesmos estiverem cadastrados na tabela.

A função é SOUNDEX, um exemplo de uso é mostrado abaixo:

SELECT nome 
FROM clientes 
WHERE SOUNDEX(nome) = SOUNDEX('Alessandro')

Vale lembrar que essa função também existe em outros bancos como o MySql.




Mais informações: http://msdn.microsoft.com/en-us/library/aa259235%28SQL.80%29.aspx

Pessoal, estou desenvolvendo uma aplicação em PHP com banco de dados SqlServer 2005. Fiz toda a minha arquitetura de desenvolvimento e quando chegou na parte de banco onde executo as querys devia fazer o tratamento de erros quando houvesse, fui instintivamente colocando mssql_error() como de costume se fosse MySql, adivinha o que aconteceu?? Pois é, deu erro.
Fiz uma pesquisa nas funções do PHP com Sql Server e cheguei a uma função mais apropriada para o caso, eis ela: mssql_get_last_message().

A função mssql_get_last_message() é uma função que não recebe parâmetros e retorna a última mensagem de aviso do banco de dados SqlServer.

Exemplo de uso:

$executa = mssql_query("SELECT sqlComErro FROM tabela") or die ("Mensagem de erro:".mssql_get_last_message());

A variavel $executa contém o erro.

Mais informações da função veja: http://www.php.net/manual/pt_BR/function.mssql-get-last-message.php