Com o elemento de tecnologia da informação encontrando suas raízes em toda organização financeira e em todas as indústrias, uma forte capacidade de armazenamento forma a espinha dorsal para disponibilidade, durabilidade e escalabilidade. Entre esses, o Amazon S3 é um dos serviços mais populares para atender a essas necessidades. À medida que as empresas se expandem geograficamente, a necessidade de replicação de dados entre locais começa a ser sentida significativamente. Assim, surgiu a necessidade de desenvolver a Replicação entre Regiões no Amazon S3, onde a replicação de dados entre um bucket de uma região da AWS para outro bucket em uma região diferente da AWS é permitida.
O artigo descreverá como configurar a Replicação entre Regiões no Amazon S3 usando Terraform, um software IaC. Ele oferece uma visão geral de como configurar SLAs, discute por que alguém implementaria a replicação entre regiões e mostra como fazer um protótipo funcional.
O Que É Replicação entre Regiões?
CRR significa Replicação entre Regiões, um recurso do Amazon S3 que replica objetos de um bucket para outro bucket em uma região diferente. Essa replicação auxilia com regulamentações de conformidade, recuperação de desastres e otimização de desempenho, armazenando dados mais próximos dos usuários.
Principais Recursos do CRR
- Ela replica automaticamente objetos entre buckets.
- As regiões são independentes; ou seja, os buckets de origem e destino podem ser de regiões diferentes.
- Regras: Isso permite um controle granular sobre o que é replicado.
- Suporte à Criptografia e Marcação: Suporta a replicação de dados criptografados e tags de objetos.
Por que usar o Terraform para CRR?
O Terraform permite a gestão de recursos na nuvem através de configuração declarativa. Enquanto o Console de Gerenciamento da AWS possui políticas de replicação padrão, o Terraform permite templates controlados por versão.
Benefícios do Terraform
- Consistência. O processo reduz as chances de variações na configuração.
- Automação. Permitindo implementação, atualização e desmontagem rápidas.
- Controle de versão. Simplifica rollbacks e rastreamento de histórico.
Pré-requisitos
Antes de configurar CRR com o Terraform, os seguintes itens devem estar em vigor:
- Uma conta AWS com permissões S3 e IAM
- Terraform instalado localmente
- Configuração da AWS CLI para autenticação
Implementação
Passo 1: Definir Seus Buckets S3
Você deve criar pelo menos dois buckets: buckets de origem e de destino.
resource "aws_s3_bucket" "source_bucket" {
bucket = "my-source-bucket-example"
acl = "private"
versioning {
enabled = true
}
tags = {
Name = "SourceBucket"
Environment = "Production"
}
}
resource "aws_s3_bucket" "destination_bucket" {
bucket = "my-destination-bucket-example"
acl = "private"
versioning {
enabled = true
}
tags = {
Name = "DestinationBucket"
Environment = "Production"
}
}
Passo 2: Criar uma Função IAM para Replicação
Para usar CRR, deve haver uma função IAM com os privilégios necessários. Vamos criar uma:
resource "aws_iam_role" "replication_role" {
name = "s3-replication-role"
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = {
Service = "s3.amazonaws.com"
}
}
]
})
}
resource "aws_iam_policy" "replication_policy" {
name = "s3-replication-policy"
description = "Allows S3 to replicate objects"
policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Action = [
"s3:GetObject",
"s3:ListBucket",
"s3:ReplicateObject",
"s3:ReplicateDelete",
"s3:ReplicateTags"
]
Effect = "Allow"
Resource = [
"arn:aws:s3:::my-source-bucket-example/*",
"arn:aws:s3:::my-source-bucket-example"
]
},
{
Action = "s3:PutObject"
Effect = "Allow"
Resource = "arn:aws:s3:::my-destination-bucket-example/*"
}
]
})
}
resource "aws_iam_role_policy_attachment" "replication_role_attachment" {
role = aws_iam_role.replication_role.name
policy_arn = aws_iam_policy.replication_policy.arn
}
Passo 3: Configuração de Replicação S3
Configure uma configuração de replicação para associar buckets de origem e de destino.
resource "aws_s3_bucket_replication_configuration" "replication_config" {
bucket = aws_s3_bucket.source_bucket.id
role = aws_iam_role.replication_role.arn
rule {
id = "ReplicationRule1"
status = "Enabled"
filter {
prefix = ""
}
destination {
bucket = aws_s3_bucket.destination_bucket.arn
storage_class = "STANDARD"
}
}
}
Passo 4: Inicializar e Aplicar a Configuração
Execute a configuração do Terraform usando esses comandos:
terraform init
terraform apply
Ao executar o terraform apply, apenas revise o plano e confirme a execução.
Como Testar a Configuração CRR
Crie um objeto no bucket de origem e veja se ele é replicado no bucket de destino.
# Put a file in the source bucket
aws s3 cp test-file.txt s3://my-source-bucket-example/
# Check if file is there in the destination bucket
aws s3 ls s3://my-destination-bucket-example/
Vantagens da Replicação entre Regiões
- Recuperação de desastres. Proteja os dados espelhando-os em diferentes regiões geográficas.
- Conformidade. Atenda aos requisitos regulatórios para localização e backup de dados.
- Desempenho aprimorado. Reduza a latência armazenando dados mais próximos dos usuários.
- Automação de backup. Gerencie backups e arquivos sem ferramentas ou scripts adicionais.
Dicas de Solução de Problemas
- Erros de permissão. Verifique se a função IAM tem permissões corretas nos buckets de origem e destino.
- Versionamento não habilitado. Certifique-se de que o versionamento está habilitado nos buckets de origem e destino.
- Atrasos na replicação. A replicação é eventualmente consistente. Monitore a replicação usando o CloudWatch.
Conclusão
Amazon S3 A Replicação entre Regiões do Amazon S3 é um recurso muito poderoso para qualquer empresa alcançar redundância de dados apropriada e conformidade. O Terraform permite automatizar e otimizar o processo de implementação para que a configuração da infraestrutura permaneça consistente e escalável.
Neste tutorial, aprendemos como implementar CRR usando Terraform, desde a configuração do bucket até a definição da regra de replicação. Com base no método descrito neste artigo, você pode projetar sua arquitetura de armazenamento ideal para lidar com as necessidades de uma aplicação empresarial moderna.
Source:
https://dzone.com/articles/amazon-s3-cross-region-replication-terraform