Tripletech TI Solutions » Banco de Dados

Nova classe de banco de dados emerge

Blog — Fri, 25 Jun 2010 18:35:36 +0000

Com alto desempenho e baixo custo, essas soluções conquistam espaço e surgem como alternativa ao SQL

Uma nova geração de software de banco de dados de baixo custo e alta performance emerge rapidamente para desafiar o domínio do SQL em processos distribuídos e aplicativos Big Data. Algumas empresas já trocaram a rica funcionalidade SQL por essas novas opções que permitem criar, trabalhar e gerenciar grandes conjuntos de dados. Um forte motivo para esse movimento, apelidado de NoSQL, é que as diferentes implementações de web, operações e aplicativos de computação em nuvem têm diferentes requerimentos em seus bancos de dados. Nem todo aplicativo requer consistência rígida, por exemplo. Além disso, quando um aplicativo usa dados distribuídos por centenas ou até milhares de servidores, tem um ponto econômico simples, que é usar software de servidor sem custo em vez de pagar licenças por processador. Uma vez livre dessas licenças, você pode escalar, horizontalmente, com hardware ou mesmo optar por um serviço de cloud e evitar os gastos de capital. As ferramentas mais antigas nem sempre conseguiam isso. Os desafios à hegemonia do SQL vêm de produtos especializados, desenvolvidos do zero para armazenamento de documentos e análises de larga escala e, também, para desenvolver sistemas operacionais que requerem alta disponibilidade e mais consistência ao particionar dados.Aplicativos de processos de transações online, inteligência de negócio, gestão de relacionamento com cliente, processamento de documentos e redes sociais não têm as mesmas necessidades de dados, pesquisa ou tipos de índice, nem apresentam as mesmas exigências em relação a consistência, escalabilidade e segurança. Por exemplo, aplicativos de BI rodam pesquisas analíticas e de suporte de decisões que podem explorar índices bitmap para operações com bancos de dados gigabyte ou terabyte.Análises web, modelos financeiros e aplicativos similares procuram por sistemas distribuídos para processar, de forma eficiente, conjuntos de dados gigabyte ou terabyte. OLTP exige segurança e, as redes sociais, como Facebook, adotaram propriedades BASE (basically available, soft state, eventually consistent) em vez das propriedades mais familiares ACID (atomicity, consistency, isolation, durability) para servir suas maciças comunidades web. Essas diferenças não representam o motivo pelo qual NoSQL ganhou força. Elas são mais ferramentas especializadas do que o exército funcional da plataforma SQL. Os arquitetos de sistemas devem considerar as funções e características especializadas que um aplicativo precisa ao escolher seu banco de dados. Os bancos de dados NoSQL podem ser criados especialmente para funções como BI, OLTP, CRM, redes sociais e armazenamento de dados, e incluem funções como escalabilidade, particionamento, segurança e elasticidade.

Fonte: Nova classe de banco de dados emerge

Banco de dados: processos distribuídos

Blog — Wed, 23 Jun 2010 18:53:19 +0000

Para garantir durabilidade e integridade das informações, bancos de dados SQL oferecem registros e replicação de dados

Quando se trata de processos distribuídos de grandes conjuntos de dados, o Hadoop Map-Reduce se tornou a tecnologia do momento. Os pesquisadores do Yahoo!, por exemplo, usaram 3,8 mil nódulos com ele para separar cerca de 1 Petabyte em 16.25 horas. Recentemente, o Google desenvolveu e patenteou o MapReduce. A função de mapeamento produz uma lista de pares de valores-chave que o sistema transforma em uma lista de valores. O Apache Hadoop Project inclui o HDFS (Hadoop Distributed File System), MapReduce, banco de dados HBase, linguagem de análise Pig, pesquisa Hive e ferramentas de análises e outros softwares. O HBase é uma coluna de armazenamento distribuída, modelada com inspiração no Bitable, do Google, que serve como input ou output para o MapReduce. O HBase é uma das várias colunas de armazenamento competindo no mercado de análise e inteligência de negócio. Armazenar tabelas ordenadas em grandes colunas oferece aperfeiçoamento substancial no desempenho sobre armazenando em grandes filas. Benefícios como localização aperfeiçoada e desempenho de cachê tornam aceleram as pesquisas orientadas em retorno, mas não se pode dizer o mesmo para inserção de pesquisas. Outras colunas de armazenamento incluem Sybase IQ, Vertica e CStore, colaboração em código aberto entre diversas universidades. O aumento no interesse de buscas semânticas e Linked Data deram destaque ao armazenamento triplo RDF. Essas ofertas incluem AllegroGraph, Bigdata, Garlik, Jena, Ontotext Big-OWLIM, OpenLink Virtuoso, Oracle 11g e Sesame. Muitos deles foram implementados no EC2, da Amazon, para explorar o poder dos processos distribuídos na nuvem. Pesquisadores da Raytheon BBN também usaram o Hadoop MapReduce para criar armazenamento RDF distribuído que suporta o processo de pesquisa SPARQL. Restrições e melhores práticasPara garantir a durabilidade e a integridade das informações, os bancos de dados SQL oferecem registros e replicação de dados. As ofertas NoSQL precisam de uma rede de segurança similar. O Cassandra, por exemplo, suporta registros de transações e replicação automática. Tokyo, Cabinet e HBase suportam registros WAL (write-ahead logging). Tokyo, Cabinet e CouchDB suportam replicação master-master, enquanto o MongoDB a replicação master-slave e pares replicados. Arquitetos usando banco de dados orientado a documento devem lidar com as diferentes formas de armazenar diversos tipos de documentos e se devem ou não ter bancos de dados separados para cada um deles. Alternativas para separar bancos de dados incluem usar um atributo para especificar os tipos ou coleções separadas. A nova geração de armazenamento de dados é direcionada para as necessidades de disponibilidade e escalabilidade. Com o Amazon SimpleDB, por exemplo, o tempo limite de resposta de pesquisa é de cinco segundos. Se a resposta levar mais tempo, ele retorna com resultados parciais e o aplicativo deve fazer chamadas adicionais para obter os resultados completos. O SimpleDB restringe os resultados das pesquisas a um máximo de 250 itens, enquanto o Google, recentemente, aumentou o limite do AppEngine para mil itens. Em sistemas particionados horizontalmente, as pesquisas exigem cruzamento de junções particionadas, o que é caro, portanto, o design e algoritmos para o particionamento exigem habilidade e conhecimento de padrões de uso de dados. Quando pesquisas complexas, como agrupamento, são necessárias, os bancos de dados operacionais NoSQL não são uma boa opção, mas podem oferecer fonte de dados para soluções separadas para análises. As empresas que usam armazenamento de valores-chave podem, às vezes, precisar das habilidades de pesquisa e indexação do SQL.Elas podem recorrer a outros softwares que suportam pesquisa e indexação, como o Apache Lucene. Independentemente de sua empresa usar banco de dados SQL ou NoSQL, ainda é uma boa ideia usar versões de bancos de dados controlados e separados para testes e produção. Para todas as áreas endereçadas pelas opções NoSQL, ainda temos que pensar sobre qual software de banco de dados adotar. A resposta depende de questões fundamentais: Quanto e qual o tipo de dado será armazenado? Eles serão usados em pesquisas complexas? Quantos usuários concomitantes precisará suportar? E seu banco de dados irá escalar se aceitar mais dados e usuários? Seja SQL ou NoSQL, é aqui que começamos.

Fonte: Banco de dados: processos distribuídos

As cinco falhas que as empresas cometem na gestão de dados

Blog — Mon, 26 Apr 2010 20:06:38 +0000

Um relatório realizado pela Forbes Insight aponta quais os grandes equívocos das áreas de TI e de negócios em relação ao tema

Hoje, a maioria das organizações lida com o aumento e a pulverização dos dados. Na prática, isso gera uma necessidade sem precedentes de coletar e tratá-los de forma adequada para que se transformem em informações relevantes para as áreas de negócio.

De acordo com o Gartner, ao longo dos próximos cinco anos, deve haver um aumento de 650% no volume de Terabytes gerados pelos sistemas corporativos. Ao mesmo tempo, os usuários demandarão cada vez mais um acesso individualizado a informações analíticas. Mas como as organizações têm lidado com essas perspectivas?

Não muito bem, de acordo com o resultado de um recente levantamento realizado pela consultoria Forbes Insight – com o patrocínio da SAP – com 200 executivos das áreas de TI e negócios que atuam em grandes corporações. Acompanhe algumas das principais constatações do levantamento:

1. Importância dos dados

O estudo confirmou a percepção de que os dados são extremamente relevantes para as empresas. 85% dos entrevistados concordam que suas organizações tratam as informações como uma questão estratégica. Além disso, quase todos (95%) analisam que a gestão das informações é fundamental para o sucesso do negócio.

2. Consciência dos problemas

82% dos executivos consultados concordam que as informações ruins geram um custos desnecessários para o negócio. Mas quanto esse prejuízo representa? A maioria dos respondentes estima que equívocos relacionados a dados custam mais de 5 milhões de dólares ao ano para sua companhia. Para 1/5 deles essas cifras anuais chegam a 20 milhões de dólares.

3. Conflitos com as áreas de negócio

Grande parte dos executivos reconhece a importância de gerenciar bem os dados e as informações, bem como entende as consequências negativas de não fazer isso de forma adequada. Contudo, os problemas continuam a existir por problemas de comunicação, principalmente na hora de definir os requisitos para dar mais inteligência aos dados.

Como reflexo, entrevistados que eram da área de TI deram uma nota maior à qualidade dos dados corporativos do que os demais entrevistados que atuam nas áreas de negócio.

4. Quem é o dono dos dados?

Os resultados da pesquisa mostram que a responsabilidade dividida pelos dados é a maior barreira para implementar um modelo bem-sucedido de gestão das informações corporativas. 79% dos gestores de TI consultados afirmaram que a qualidade dos dados está sob responsabilidade deles. Ao mesmo tempo, 74% dos profissionais das outras áreas (provenientes de marketing, finanças e vendas) disseram que faz parte do seu trabalho garantir a qualidade dos dados.

“Essas diferentes perspectivas colocam a TI e os executivos de negócio em conflito, particularmente em relação à qualidade dos dados”, aponta o relatório.

5. A falha de conhecimento persiste

Outra constatação do estudo é que em conseqüência da falta de comunicação e das diferentes expectativas, alguns executivos acabam não utilizando de forma adequada os sistemas oferecidos hoje por suas empresas para gestão de dados.

De acordo com o relatório, 51% dos gestores de TI disseram que estão diretamente engajados em projetos para assegurar a qualidade da gestão dos dados. Essa porcentagem cai para 25% entre os demais executivos.

Como conclusão, o relatório destaca que se os profissionais das áreas de negócio não estiverem diretamente envolvidos com os projetos para garantir a qualidade da gestão dos dados, as iniciativas dificilmente terão sucesso.

Fonte: As cinco falhas que as empresas cometem na gestão de dados

Você está em dia com as atualizações dos seu servidores Microsoft SQL Server?

Leomar — Wed, 10 Mar 2010 20:11:29 +0000

Fique atento! O suporte ao SP2 do SQL Server 2005 encerrou no dia 12/01. O suporte a versão RTM do SQL Server 2008 vai encerrar em 13/04. Confira a tabela abaixo ou acesse o blog oficial da Microsoft aqui.

Product	Version	SP	Mainstream Support End Date	Extended Support End Date	Options / Notes
SQL Server	2000	SP4	04/08/2008	04/09/2013	Technical support continues till 04/09/2013, yet mainstream (hotfix) support ends as of 04/08/2008; options for hotfix support after 04/08/2008: Upgrade to SQL Server 2005 SP3 or SQL Server 2008 SP1 Extended support agreement
SQL Server	2005	RTM (SP0)	07/10/2007	07/10/2007	Technical support ends as of 07/10/2007; options for technical and/or hotfix support after this date: Continue with self-help Upgrade to SQL Server 2005 SP3 or SQL Server 2008 SP1
SQL Server	2005	SP1	04/08/2008	Not Applicable	Technical support ends as of 04/08/2008; options for technical and/or hotfix support after this date: Continue with self-help Upgrade to SQL Server 2005 SP3 or SQL Server 2008 SP1
SQL Server	2005	SP2	01/12/2010	Not Applicable	Technical support ends as of 01/12/2010; options for technical and/or hotfix support after this date: Continue with self-help Upgrade to SQL Server 2005 SP3 or SQL Server 2008 SP1 Custom support agreement
SQL Server	2005	SP3	See Options/Notes		Support ends 12 months after the next service pack releases or at the end of the product’s support lifecycle, whichever comes first. Visit the Lifecycle page to find the support timelines for your particular product.
SQL Server	2008	RTM (SP0)	04/13/2010	Not Applicable	Technical support ends as of 04/13/2010; options for technical and/or hotfix support after this date: Continue with self-help Upgrade to SQL Server 2008 SP1 Custom support agreement
SQL Server	2008	SP1	See Options/Notes		Support ends 12 months after the next service pack releases or at the end of the product’s support lifecycle, whichever comes first. Visit the Lifecycle page to find the support timelines for your particular product.

Como se tornar um DBA

Info Blog — Wed, 30 Dec 2009 20:28:09 +0000

Como se tornar um DBA

Vamos falar um pouco com quem esta querendo se tornar um DBA (Administrador de Banco de Dados) ou empresa que esta tentando contratar um. Existe uma carência grande de profissionais de TI no mercado e a tendência é aumentar ainda mais, entre os profissionais de TI, os DBA só podem estar em extinção, pois é difícil encontrar um que tenha experiência e esteja desempregado.

Para se tornar um DBA não é tão simples como as outras áreas de TI, se um DBA faz uma “besteira” podemos perder informações importantes dos bancos de dados da empresa e leva-lá a falência ou provocar prejuízos grandes e irreparáveis, com isso as empresas preferem contratar DBA que já tenham experiência, colocar um estagiário como DBA é o mesmo que colocar uma “arma de fogo” na mão dele.

Se você quer se tornar um DBA e não sabe por onde começar, as empresas procuram contratar obedecendo a seguinte ordem: Experiência no trabalho com o banco de dados utilizado na empresa, que tenha certificações e cursos oficiais, especialização na área de banco de dados e tenha curso superior.

1.	Experiência
2.	Certificação
3.	Cursos Oficiais
4.	Especialização
5.	Curso Superior

Com exceção da “experiência”, você pode se qualificar para ser um DBA buscando fazer os cursos oficiais e tirando as certificações referentes a banco de dados, apos isso é só torcer para ser “adotado” por um DBA Sênior, uma vez trabalhando junto com o DBA da empresa você passa a ter experiência e a ser disputado no mercado de trabalho.

Não basta apenas querer ser DBA, você tem que se identificar com essa atividade, se você gosta de desenvolver sistemas ou de rede, não perca seu tempo, o nível técnico exigido dos DBA é alto, o seu tempo para estudar novas tecnologias será praticamente destinado a estudar sobre banco de dados e ferramentas de BI.

Na tabela abaixo esta dividida de forma simplificada a área de TI e a porcentagem do tempo de estudo em cada função.

Gerência de Projetos	70% Gerência de Projetos, 10% Banco de Dados, 10% Rede e Infra-estrutura, 10% Desenvolvimento.
Banco de Dados	80% Banco de Dados, 10% Rede e Infra-estrutura, 10% Desenvolvimento.
Rede e Infra-estrutura	100% Rede e Infra-estrutura
Desenvolvimento	90% Desenvolvimento e 10% Banco de Dados.

Se você gosta de banco de dados, procure se qualificar é uma área promissora.

Neste Link tem um artigo legal em .pdf sobre como se tornar um DBA.

Sua empresa esta precisando de Consultoria de uma profissional DBA, entre em contato

Fonte: Como se tornar um DBA?

Web semântica pode transformar a forma de tomada de decisão nas empresas

Info Blog — Wed, 12 Aug 2009 17:40:17 +0000

“As estruturas de gestão que proporcionam mais agilidade são aquelas em que o poder de tomar decisões está distribuído pela organização.” Esta é uma das constatações do 4º Technology Forecast, estudo anual realizado pela PricewaterhouseCoopers (PwC) com o propósito de antecipar algumas tendências de TI que podem ter impacto na forma de gerir o negócio. Nesta quarta edição, a PwC examinou os métodos e tecnologias emergentes que estão sendo desenvolvidos para tratar o significado e o contexto dos dados considerados críticos para gerir uma organização.

A pesquisa realizada pela consultoria aponta que o tema business intelligence (BI) liderou novamente a lista de prioridades dos CIOs neste ano, tanto que muitas empresas continuam a investir bastante em BI, mesmo com a economia em declínio. “Mas a maioria delas reconhece que a promessa do BI não foi cumprida até hoje. Ele ainda tem um viés muito departamental e uma das razões é que não é tão simples montar um BI”, observa Sérgio Lozinsky, consultor da PwC.

O problema, segundo ele, é que a maioria dos executivos não dispõe de um contexto adequado de dados quando estão avaliando uma questão específica para a tomada de decisão. Lozinsky observa ainda que o problema do BI não é nem com o software em si nem com a geração de relatórios, mas de como gerenciar e extrair os dados. De acordo com ele, uma das soluções para o problema de gestão dos dados é a tecnologia de web semântica, que nada mais é que uma web com toda sua informação organizada, de forma que tanto os computadores como as pessoas possam trabalhar em cooperação. Lozinsky diz que a web semântica possibilita entender o que os dados significam e acrescenta que aqueles que conseguem trabalhar o significado dos dados ampliam a capacidade de gerar relatórios, interpretá-los e compartilhá-los, seja internamente, para a tomada de decisões empresariais, seja com parceiros, seja com fornecedores e até mesmo com o público.

A PwC acredita que um banco de dados web proporcionará o desenvolvimento pleno dos documentos da web atuais, por meio do qual será possível encontrar e extrair partes de dados alocados em diferentes locais, agrupá-los sem a necessidade de um repositório de documentos e analisá-los de uma forma mais simples do que atualmente.

Lozinsky lista alguns tópicos que podem facilitar o caminho das empresas para compor um banco de dados na web. Entre eles, cita a necessidade de incluir os temas web semântica e linked data na agenda de BI; de estudar o assunto e desenvolver uma iniciativa piloto – formal ou informal; identificar os “domínios” de informação que interessam à empresa; verificar quais desses domínios já se encontram na web semântica; estabelecer padrões para definir univocamente os dados do negócio e as relações entre eles; avaliar o uso de MDM (Master Data Managment); e, por fim, repensar o uso de ferramentas como o Excel no contexto dos dados da empresa.

fonte: Web semântica pode transformar a forma de tomada de decisão nas empresas

Tunning em Banco de Dados acelera Matone

Info Blog — Fri, 07 Aug 2009 21:12:46 +0000

O Matone teve um ganho de 37% no tempo da rotina de fechamento mensal, através do projeto de tuning do banco de dados SQLServer .

Especializada no desenvolvimento de sistemas e otimização de bancos de dados, a empresa identificou rotinas que consumiam mais tempo no fechamento mensal, a sugestão de melhorias na escrita dos códigos, a limpeza de dados nas tabelas, backups e testes, entre outras.

“Em alguns casos, quando o fechamento ocorria durante a semana, acabávamos entrando expediente adentro realizando o fechamento, chegando no limite do período para abertura do dia”, comenta Elton Peiter, gerente de Infraestrutura do Matone, que tem sede em Porto Alegre e está presente em 20 estados e no Distrito Federal.

Os principais resultados alcançados no projeto foram a redução do tempo de processamento na Rotina Mensal de Fechamento, de 12h para 7h30, o ganho de 60 GB de espaço em disco, a redução do tempo de extração de relatórios de acompanhamento, de 3h20; otimização do tempo de backup full, de 0h50 para 0h30.

Neste processo a etapa que obteve o maior ganho, em comparação com o mês anterior, foi a de “efetivação” que passou de 4h30 para 1h40 com uma redução de 61% no tempo de processo.

“Isto, para nós, é uma melhoria muito grande, pois estávamos em um ponto crítico do sistema de processamento e ganhamos uma folga importante”, continua Peiter.

fonte: Baguete

Mais informações

Como se tornar um DBA excepcional – How to Become an Exceptional DBA (Second Edition)

Leomar — Fri, 24 Jul 2009 23:20:35 +0000

Geralmente um profissional não se torna DBA por vontade própria. É muito comum que o desenvolvedor mais experiente da empresa cuide das tarefas de banco. Mas chega um momento na carreira do profissional ou na situação da empresa em que é preciso fazer a escolha de se especializar ou não no banco de dados. Para quem ainda está “em cima do muro” na definição da carreira e vive esse dilema de metade desenvolvedor e metade DBA dou aqui uma dica de leitura no mínimo atraente.

How to Become an Exceptional DBA (Second Edition)

O livro é gratuíto e foi escrito por Brad M. McGehee. Brad é MVP e um dos mais conhecidos DBAs SQL Server do mundo, ele já fez diversas contribuições para a comunidade SQL Server, inclusive, criou o site SQL-Server-Performance.Com.

O livro está em inglês, o que pode trazer alguma dificuldade momentânea para a leitura, porém, é um incentivo para você melhorar o seu inglês (imprescindível para qualquer DBA).

Para baixar o livro acesse essa página . Na página, procure o link Just the eBook please que está localizado no canto inferior direito.

Nova ferramenta facilita invasão a bancos de dados

Info Blog — Thu, 23 Jul 2009 14:04:00 +0000

Os hackers em breve disporão de uma nova e poderosa ferramenta para invadir bancos de dados da Oracle, o principal software de negócios usado por empresas para armazenar informação eletrônica.

Especialistas em segurança desenvolveram uma ferramenta de software automatizada e fácil de utilizar que pode permitir invasões remotas de bancos de dados da Oracle, via internet, para simular ataques contra sistemas de computadores, mas os vilões virtuais podem usá-la para pirataria.

Os autores da ferramenta a desenvolveram por meio de um controverso projeto de software de código aberto conhecido como Metasploit, que distribui seus programas gratuitos via web.

Chris Gates, um especialista em testes de segurança que desenvolveu a ferramenta Metasploit, deve lançá-la na semana que vem na conferência anual “Black Hat”, em Las Vegas, na qual milhares de especialistas em segurança e hackers se reunirão para trocar segredos profissionais.

“Qualquer pessoa dotada da capacidade e conhecimento requeridos poderia baixar e operar o programa”, disse Pete Finnigan, um consultor independente que se especializa na segurança de produtos Oracle e assessora grandes empresas e agências governamentais.

Ele ainda não estudou a ferramenta para a Oracle, mas conhece outros softwares do projeto Metasploit e diz que funcionam ao automatizar muitos dos complicados procedimentos requeridos para se invadir bancos de dados da empresa, permitindo até ação de amadores.

A Oracle, que preferiu não comentar o assunto, já lançou atualizações para proteger seus produtos contra as vulnerabilidades que a ferramenta Metasploit explora. Mas algumas empresas são lentas na atualização de seus sistemas e por isso podem ficar vulneráveis a atacantes que utilizem a nova ferramenta. Elas contratam consultores como Gates para ajudá-las a garantir que estejam protegidas.

Há ferramentas de invasão Metasploit disponíveis para outros programas, como o Windows e os navegadores Firefox e Internet Explorer.

Mas Gates diz que esse é o primeiro programa do Metasploit a tomar por alvo os bancos de dados da Oracle.

fonte: terra.com.br

Disponível e-book: Introducing Microsoft SQL Server 2008

Info Blog — Wed, 27 May 2009 00:43:11 +0000

Está disponível para download gratuito (mediante cadastro) o livro Introducing Microsoft SQL Server 2008 da Microsoft Press.

O livro se destina a DBAs, desenvolvedores, administradores de sistemas e qualquer outra pessoa que se interesse por bancos de dados em geral. Altamente recomendável também para quem JÁ conhece SQL Server, seja qual for a versão.

Para fazer download do livro visite http://csna01.libredigital.com/?urss1q2we6

Capítulos:

Introducing Microsoft SQL Server 2008:
Chapter 1: Security and Administration
Chapter 2: Performance
Chapter 3: Type System
Chapter 4: Programmability
Chapter 5: Storage
Chapter 6: Enhancements for High Availability
Chapter 7: Business Intelligence Enhancements