Com o elemento de tecnologia da informação enraizado em todas as organizações financeiras e em todos os setores, uma forte capacidade de armazenamento forma a espinha dorsal para disponibilidade, durabilidade e escalabilidade. Dentre esses, o Amazon S3 é um dos serviços mais populares para atender a essas necessidades. À medida que as empresas se expandem geograficamente, a necessidade de replicação de dados entre locais começa a ser sentida de forma significativa. Assim, surgiu a necessidade de desenvolver a Replicação entre Regiões (Cross-Region Replication) no Amazon S3, onde a replicação de dados de um bucket em uma região da AWS para outro bucket em uma região diferente da AWS é permitida.
O artigo descreverá como configurar a Replicação entre Regiões no Amazon S3 usando Terraform, um software IaC. Ele oferece uma visão geral de como configurar SLAs, discute por que alguém implementaria a replicação entre regiões e mostra como fazer um protótipo funcionar.
O que é Replicação entre Regiões?
CRR significa Replicação entre Regiões, um recurso do Amazon S3 que replica objetos de um bucket para outro bucket em uma região diferente. Essa replicação auxilia nas regulamentações de conformidade, recuperação de desastres e otimização de desempenho, armazenando dados mais próximos dos usuários.
Principais Recursos do CRR
- Ele replica automaticamente objetos entre buckets.
- As regiões são independentes; ou seja, os buckets de origem e destino podem ser de regiões diferentes.
- Regras: Isso permite um controle granular sobre o que é replicado.
- Suporte à Criptografia e Marcação: Suporta a replicação de dados criptografados e tags de objetos.
Por que usar Terraform para CRR?
O Terraform permite o gerenciamento de recursos em nuvem por meio de configuração declarativa. Embora o Console de Gerenciamento da AWS tenha políticas de replicação padrão, o Terraform permite templates versionados.
Benefícios do Terraform
- Consistência. O processo reduz as chances de variações na configuração.
- Automação. Permite implementação rápida, atualização e desmantelamento.
- Controle de versão. Simplifica reversões e rastreamento de histórico.
Pré-requisitos
Antes de configurar o CRR com o Terraform, o seguinte deve estar em vigor:
- Uma conta AWS com permissões S3 e IAM
- Terraform instalado localmente
- AWS CLI configurado para autenticação
Implementação
Passo 1: Defina Seus Buckets S3
Você deve criar pelo menos dois buckets: bucket de origem e bucket de destino.
resource "aws_s3_bucket" "source_bucket" {
bucket = "my-source-bucket-example"
acl = "private"
versioning {
enabled = true
}
tags = {
Name = "SourceBucket"
Environment = "Production"
}
}
resource "aws_s3_bucket" "destination_bucket" {
bucket = "my-destination-bucket-example"
acl = "private"
versioning {
enabled = true
}
tags = {
Name = "DestinationBucket"
Environment = "Production"
}
}
Passo 2: Crie uma Função IAM para Replicação
Para usar o CRR, deve haver uma função IAM com os privilégios que o CRR requer. Vamos criar uma:
resource "aws_iam_role" "replication_role" {
name = "s3-replication-role"
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = {
Service = "s3.amazonaws.com"
}
}
]
})
}
resource "aws_iam_policy" "replication_policy" {
name = "s3-replication-policy"
description = "Allows S3 to replicate objects"
policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Action = [
"s3:GetObject",
"s3:ListBucket",
"s3:ReplicateObject",
"s3:ReplicateDelete",
"s3:ReplicateTags"
]
Effect = "Allow"
Resource = [
"arn:aws:s3:::my-source-bucket-example/*",
"arn:aws:s3:::my-source-bucket-example"
]
},
{
Action = "s3:PutObject"
Effect = "Allow"
Resource = "arn:aws:s3:::my-destination-bucket-example/*"
}
]
})
}
resource "aws_iam_role_policy_attachment" "replication_role_attachment" {
role = aws_iam_role.replication_role.name
policy_arn = aws_iam_policy.replication_policy.arn
}
Passo 3: Configuração de Replicação S3
Configure uma configuração de replicação para associar os buckets de origem e destino.
resource "aws_s3_bucket_replication_configuration" "replication_config" {
bucket = aws_s3_bucket.source_bucket.id
role = aws_iam_role.replication_role.arn
rule {
id = "ReplicationRule1"
status = "Enabled"
filter {
prefix = ""
}
destination {
bucket = aws_s3_bucket.destination_bucket.arn
storage_class = "STANDARD"
}
}
}
Passo 4: Inicialize e Aplique a Configuração
Execute a configuração do Terraform usando estes comandos:
terraform init
terraform apply
Ao executar o terraform apply, apenas revise o plano e confirme sua execução.
Como Testar a Configuração de CRR
Crie um objeto no bucket de origem e veja se ele é replicado no bucket de destino.
# Put a file in the source bucket
aws s3 cp test-file.txt s3://my-source-bucket-example/
# Check if file is there in the destination bucket
aws s3 ls s3://my-destination-bucket-example/
Vantagens da Replicação entre Regiões
- Recuperação de desastres. Proteja os dados espelhando-os em diferentes regiões geográficas.
- Conformidade. Atenda aos requisitos regulatórios para localização e backup de dados.
- Desempenho aprimorado. Reduza a latência armazenando dados mais próximos dos usuários.
- Automação de backup. Gerencie backups e arquivos sem ferramentas ou scripts adicionais.
Dicas de Solução de Problemas
- Erros de permissão. Verifique se a função IAM tem permissões corretas nos buckets de origem e destino.
- Versionamento não ativado. Certifique-se de que o versionamento esteja ativado em ambos os buckets de origem e destino.
- Atrasos na replicação. A replicação é eventualmente consistente. Monitore a replicação usando o CloudWatch.
Conclusão
Amazon S3 A Replicação entre Regiões é um recurso muito poderoso para qualquer empresa alcançar redundância de dados apropriada e conformidade. O Terraform permite que você automatize e simplifique o processo de implementação para que a configuração da infraestrutura permaneça consistente e escalável.
Neste tutorial, aprendemos como implementar CRR usando o Terraform, desde a configuração do bucket até as definições da regra de replicação. Com base no método descrito neste artigo, você pode projetar sua arquitetura de armazenamento ideal para lidar com as necessidades de uma aplicação empresarial moderna.
Source:
https://dzone.com/articles/amazon-s3-cross-region-replication-terraform