**Você provavelmente precisará armazenar dados como administrador ou desenvolvedor, não apenas qualquer dado, mas dados massivos. Onde você recorre? A nuvem é sua opção mais prática e, felizmente, o Azure Data Lake pode ajudar no armazenamento de dados sem preocupações.**
**O Azure Data Lake permite que você realize todos os tipos de processamento e análises em várias plataformas e linguagens em uma velocidade impressionante. E neste tutorial, você aprenderá a usar o Azure Data Lake para armazenamento e análise.**
**Armazene seus dados de forma eficiente e segura em um só lugar com o Azure Data Lake hoje mesmo!**
**Pré-requisitos**
**Este tutorial será uma demonstração prática. Se você quiser acompanhar, certifique-se de ter uma conta Azure com uma assinatura ativa. Se ainda não tiver uma, um teste gratuito será suficiente.**
**Criando um Data Lake pelo Portal do Azure**
**O Azure Data Lake é um serviço de armazenamento de dados baseado em nuvem otimizado para análise de big data e altamente escalável. Você pode começar pequeno e expandir conforme suas necessidades aumentam. Mas como você cria o armazenamento?**
**Faça um rápido tour pelo Portal do Azure e crie uma conta Azure Data Lake.**
1. Abra seu navegador da web favorito e acesse o Portal do Azure.
2. Em seguida, forneça suas credenciais, clique no botão Entrar e faça login na sua conta do Azure.
Depois de entrar, seu navegador será redirecionado para o Portal do Azure (passo três).
3. No seu Portal do Azure, clique em Criar um recurso, o que abrirá a lista de recursos do Azure disponíveis.
Você verá a página abaixo quando fizer login pela primeira vez ou não tiver nenhum recurso implantado em sua assinatura.
4. Procure por ‘conta de armazenamento’ na barra de pesquisa no topo da página e selecione Conta de armazenamento. Fazendo isso, seu navegador será redirecionado para a página de visão geral do recurso Conta de armazenamento.
A barra de pesquisa permite que você encontre rapidamente os recursos que deseja criar, em vez de rolar pelos recursos em destaque. Mas para este tutorial, você estará criando uma conta do Azure Data Lake.
O Azure Data Lake é construído em cima do Azure Storage. Portanto, uma conta de armazenamento é o tipo de recurso que você precisa criar para uma nova conta do Azure Data Lake.
5. Agora, clique em Criar, o que redirecionará seu navegador para a página Criar uma conta de armazenamento (passo seis), onde você configurará sua conta de armazenamento.
6. Configure sua conta de armazenamento começando com os Detalhes do projeto da seguinte maneira:
- Selecione sua Assinatura – Se você tiver várias assinaturas, certifique-se de selecionar aquela onde prefere criar sua conta de armazenamento. Este tutorial utiliza a Assinatura do Azure 1, conforme mostrado abaixo.
- Selecione seu grupo de recursos – Os grupos de recursos são uma maneira de agrupar logicamente os recursos do Azure. Você pode pensar nos grupos de recursos como pastas onde você coloca recursos relacionados. Os grupos de recursos permitem que você gerencie, monitore e exclua recursos mais facilmente.
Se você ainda não tem um grupo de recursos, clique no hiperlink Criar novo para criar um.
7. Na mesma página, configure os detalhes da instância com o seguinte:
- Forneça um nome de conta de armazenamento único – A escolha deste tutorial é ataazurestorage. O nome deve ser único dentro do Azure e deve ter entre três e 24 caracteres de comprimento.
- Selecione a região onde deseja implantar sua conta de armazenamento – A região é onde sua conta de armazenamento residirá fisicamente. Selecione a região mais próxima de você ou de seus usuários.
Por exemplo, se você estiver criando uma conta de armazenamento para uma aplicação da web que usuários dos EUA acessarão, selecione as regiões Leste dos EUA ou Oeste dos EUA.
- Mantenha todas as outras configurações com valores padrão e clique em Avançar: Avançado na parte inferior da página. Neste ponto, você terá uma conta de armazenamento de blob padrão.
8. Na guia Avançado, marque a caixa de seleção Ativar namespace hierárquico no Armazenamento do Data Lake Gen2. Essa opção converte sua conta de armazenamento de blob em uma conta de Data Lake e habilita todas as funcionalidades de um Data Lake, incluindo Análises e Armazenamento.
Clique no botão Revisar + criar (canto inferior esquerdo) para validar suas configurações, o que pode levar alguns minutos para ser concluído.
9. Após a validação, clique no botão Criar para finalizar a criação da conta de armazenamento.
Após a criação da sua conta de armazenamento, você verá o processo de implantação em andamento, como mostrado abaixo, o que pode levar alguns minutos para ser concluído.
10. Por fim, clique no botão Ir para recurso para abrir sua conta de armazenamento recém-criada após a implantação. Neste ponto, você já tem uma conta de Data Lake do Azure.
Criando um Data Lake Usando o CLI
Você viu que criar uma conta de Data Lake do Azure usando o Portal do Azure funciona bem. Mas e se você gostaria de ter uma maneira repetível e automatizada de criar contas de Data Lake? O Portal do Azure não é a melhor opção, mas sim o Azure CLI.
O Azure CLI é uma ferramenta multiplataforma que você pode usar para gerenciar seus recursos do Azure e permite que você integre com seu processo de CI/CD automatizado.
O Azure CLI está disponível para Windows, Linux, Azure Cloud Shell e macOS.
Para criar uma conta no Azure Data Lake via Azure CLI:
1. No Portal do Azure, clique no botão Cloud Shell, conforme mostrado abaixo, para abrir o Azure Cloud Shell.
2. Na parte inferior do Portal do Azure, escolha entre Bash ou PowerShell como o tipo de shell, e o shell será aberto.
No Azure Cloud Shell, você pode mudar seu tipo de shell a qualquer momento para Bash ou PowerShell. Mas, para este tutorial, mantenha o shell Bash ativo.
3. Execute o comando abaixo no Azure Cloud Shell para verificar a versão do Azure CLI instalada. Independentemente da plataforma que estiver usando, certifique-se de ter a versão 2.6.0 ou posterior do Azure CLI, caso contrário, não será possível criar uma conta no Data Lake.
4. Agora, execute o comando abaixo para fazer login no Azure com sua conta do Azure.
Este tutorial utiliza o método de autorização do Azure Active Directory (Azure AD). Este método é o tipo de autorização recomendado, pois é mais fácil e oferece mais segurança do que o uso de um principal de serviço.
Você verá um código e uma URL aparecerem na janela do terminal abaixo. Anote a URL, pois você precisará dela para autenticar o Azure usando o Azure AD na etapa seguinte.
5. Autentique-se usando o Azure AD com o seguinte:
- Acesse a URL que você anotou na etapa quatro em seu navegador.
- Faça login usando suas credenciais da conta Azure e o código anotado na etapa quatro.
6. Em seguida, clique em Continuar para concluir o processo de autenticação.
7. Execute o comando abaixo az account list para listar as assinaturas da conta conectada.
Se sua conta estiver associada a mais de uma assinatura Azure, talvez seja necessário selecionar e definir a assinatura que você deseja usar para sua conta Data Lake.
Observe o nome da assinatura a ser usada para sua conta Azure Data Lake. Para este tutorial, a assinatura a ser usada é a Azure subscription 1.
8. Agora, execute o seguinte comando az account set e especifique o nome de sua assinatura. Este comando não fornece uma saída, mas define a assinatura a ser usada para sua conta Azure Data Lake.
9. Execute o seguinte comando az group create para criar um grupo de recursos. Escolha um nome único para o seu grupo de recursos, mas a escolha deste tutorial é ataadatalakecli e uma -location definida como westus.
10. Após criar um grupo de recursos, execute o comando az storage account create abaixo e passe os valores dos seguintes parâmetros para criar uma conta de armazenamento:
--name– Nome da sua conta Data Lake (ataaazuredatalakecli).
--resource-group– Nome do seu grupo de recursos (ataadatalakecli).
--location– Localização da sua conta Data Lake (westus).
--sku– O SKU de armazenamento para sua conta Data Lake (Standard_LRS).
--kind– O tipo de conta Data Lake a ser criada (StorageV2).
--enable-hierarchical-namespace true - Habilita o namespace hierárquico para sua conta, o que é necessário para usar o Data Lake Storage Gen2.
Observe que o StorageV1 foi descontinuado e você deve usar o StorageV2 para todas as contas de Data Lake recém-criadas. As contas existentes de StorageV1 ainda podem ser usadas por algum tempo, mas eventualmente serão migradas para StorageV2. Portanto, é altamente recomendável migrar seus dados para contas de StorageV2.
11. Agora, navegue até o seu grupo de recursos no Portal do Azure, e você verá os recursos recém-criados, conforme mostrado abaixo.
Clique no hiperlink do seu grupo de recursos para acessar a página de visão geral do grupo de recursos (passo 12).
12. Por fim, clique na sua conta de armazenamento na lista para acessar a página de visão geral.
É isso! Agora você tem uma conta de armazenamento ativa.
Upload de dados para o Data Lake Storage
Você acabou de criar sua conta do Lake Storage Gen2, mas ela está vazia no momento. Então, por que não fazer o upload dos seus dados? Você pode fazer o upload e verificar seus dados usando o Portal do Azure e o Azure CLI, mas primeiro, você precisa criar um contêiner.
1. No painel de controle da sua conta de armazenamento, clique em Contêiner em Armazenamento de Dados (painel esquerdo) e clique em Contêiner, conforme mostrado abaixo, para criar um novo contêiner.
No Azure, um contêiner é um sistema de arquivos para armazenar seus dados.
2. Em seguida, configure o novo contêiner com o seguinte:
- Especifique um nome para o seu contêiner, mas a escolha deste tutorial é azuredatalakecotainer.
- Selecione Privado (sem acesso anônimo) para o nível de acesso.
- Clique em Criar na parte inferior para criar o contêiner.
3. Clique no nome do seu contêiner na lista, como mostrado abaixo, para abri-lo. Observe que seu contêiner está atualmente vazio.
4. Agora, clique no botão Enviar no topo para enviar arquivos ou pastas para o seu contêiner.
5. Na lâmina Enviar blob, clique no botão de envio de pasta, localize seus arquivos ou pastas e clique em Enviar para enviá-los.
Você pode selecionar vários arquivos e pastas para enviar de uma vez.
Você verá o status de cada envio de arquivo/pasta como o abaixo.
Assim que o envio for concluído, você verá os arquivos listados em seu contêiner.
Alternativamente, execute o comando az storage abaixo para listar todos os arquivos enviados para seu contêiner. Substitua o nome do contêiner (azuredatalakecotainer) e o nome da conta (ataaazuredatalakecli ) pelos seus próprios.
A saída abaixo verifica que os arquivos foram enviados com sucesso para sua conta do Azure Data Lake Storage Gen2 e seus metadados.
6. Execute o comando abaixo para criar um novo diretório chamado my-data-lake-directory em seu contêiner (azuredatalakecotainer).
7. Finalmente, navegue de volta para o seu contentor no Portal do Azure e você verá o diretório recém-criado na lista, como mostrado abaixo.
A partir daí, você pode carregar mais arquivos e pastas para o diretório recém-criado seguindo as etapas três a cinco.
Conclusão
Além de ser econômico, pois você só paga pelo armazenamento que usa, o Azure Data utiliza o Azure Active Directory para autenticação e autorização. Segurança dos seus dados é sempre uma prioridade. E neste tutorial, você aprendeu como criar uma conta de Armazenamento do Azure Data Lake Gen2 usando o Portal do Azure e a CLI.
Com o Azure Data Lake, você pode carregar arquivos e verificá-los sem realizar processamentos complicados de cargas de trabalho analíticas de big data.
Neste ponto, você pode armazenar com segurança todos os seus dados em um só lugar e começar a analisar seus dados usando as ferramentas e serviços que o Azure oferece. Por que não começar o serviço de Análise do Data Lake e começar a consultar e visualizar seus dados?