Escopo do projeto
Inventário dos buckets e do padrão de acesso com Amazon S3 Storage Lens e análise de classe de armazenamento. Decisão por bucket ou prefixo: Amazon S3 Intelligent-Tiering para dado de acesso imprevisível; regras de ciclo de vida para transição a Amazon S3 Glacier Instant Retrieval, Glacier Flexible Retrieval ou Glacier Deep Archive conforme a frequência e o tempo de recuperação aceito; expiração de versões antigas e de uploads incompletos.
Políticas de retenção no AWS Backup alinhadas à exigência do negócio e da LGPD, com transição para armazenamento frio onde o serviço permite. Amazon Data Lifecycle Manager para os snapshots do Amazon EBS que ele passa a criar, com retenção e expiração; os snapshots órfãos já existentes, criados à mão ou por outra ferramenta e fora do alcance do Data Lifecycle Manager, são inventariados e excluídos com aprovação.
Revisão de volumes gp2 remanescentes e de logs que crescem sem expiração (Amazon CloudWatch Logs com retenção definida). Termina com teste de restauração, leitura do custo por classe e o item Armazenamento na rotina mensal.
Desafio e problemas de hoje
- Backup "para sempre" na classe Standard porque ninguém decidiu quanto tempo guardar.
- Buckets com milhões de objetos e ninguém sabe quando foram lidos pela última vez.
- Versionamento ligado sem expiração de versões antigas; uploads incompletos acumulados.
- Snapshots de servidores apagados há anos continuam cobrando.
- Logs guardados sem data para expirar.
- Medo de mover dado para uma classe fria e precisar dele na hora.
O ambiente de partida (perfil típico deste exemplo)
| Item | O que costuma existir |
|---|---|
| Amazon S3 | De 2 a 40 buckets, quase tudo em Standard, de centenas de GB a dezenas de TB; versionamento sem expiração |
| Backups | Planos do AWS Backup ou scripts próprios, sem retenção definida; cópias duplicadas |
| Snapshots | Centenas de snapshots do Amazon EBS, parte de volumes que já não existem |
| Logs | Grupos do Amazon CloudWatch Logs com retenção "nunca expirar" |
| Restrições | Exigência legal ou contratual de guarda por alguns anos para parte dos dados; dados pessoais sob LGPD; tempo de recuperação aceitável ainda por definir |
Perfil típico, com faixas. O retrato real da sua conta é o primeiro entregável do diagnóstico FinOps.
Requisitos
- R1Todo dado só expira com regra de retenção aprovada pelo negócio e pelo jurídico quando houver exigência legal.
- R2Classe escolhida pelo padrão de acesso medido e pelo tempo de recuperação aceito.
- R3Backups com retenção explícita e teste de restauração.
- R4Snapshots e versões antigas com expiração automática.
- R5Visibilidade do crescimento por classe e por bucket, mês a mês.
- R6Aplicação intacta e dado mantido dentro da AWS.
O que desenhamos para cada requisito
| Requisito | Decisão de arquitetura | Serviço AWS |
|---|---|---|
| R1 | Matriz de retenção por tipo de dado (fiscal, operacional, pessoal, log) assinada pelo negócio; regras implementam a matriz | AWS Backup (planos e cofres), Amazon S3 (ciclo de vida) |
| R2 | Storage Lens e análise de classe por bucket e prefixo; Intelligent-Tiering para acesso imprevisível; Glacier Instant Retrieval para arquivo raramente lido mas com recuperação imediata; Glacier Flexible ou Deep Archive para guarda legal | Amazon S3 Storage Lens, Amazon S3 Intelligent-Tiering, Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval, Amazon S3 Glacier Deep Archive |
| R3 | Planos do AWS Backup por criticidade, com retenção e transição para frio nos recursos que suportam; restauração testada por amostra e registrada | AWS Backup |
| R4 | Data Lifecycle Manager para snapshots por tag; regras de expiração de versões não atuais e de uploads incompletos | Amazon Data Lifecycle Manager, Amazon S3 (ciclo de vida) |
| R5 | Painel do Storage Lens e custo de armazenamento por classe no Cost Explorer na rotina mensal | Amazon S3 Storage Lens, AWS Cost Explorer |
| R6 | Transições feitas pelo próprio S3 e pelo AWS Backup, sem mudança no código da aplicação; o dado fica na AWS. Intelligent-Tiering e Glacier Instant Retrieval continuam legíveis na hora; Glacier Flexible Retrieval e Deep Archive exigem pedido de restauração antes da leitura e ficam reservados ao dado que a aplicação não lê diretamente | Amazon S3, AWS Backup |
Arquitetura
Componentes e fluxos deste diagrama
- Nuvem AWS, conta do cliente: Amazon S3 Standard, S3 Intelligent-Tiering e S3 Glacier (Instant, Flexible, Deep Archive).
- Amazon S3 Standard para S3 Intelligent-Tiering e para S3 Glacier: regras de ciclo de vida.
- Amazon S3 Storage Lens para a Equipe RFX: crescimento por classe.
- AWS Backup (cofre e retenção): transição do nível quente para o nível frio do cofre, nos recursos que suportam.
- Amazon Data Lifecycle Manager para Snapshots do Amazon EBS: retenção e expiração.
- AWS Cost Explorer para a Equipe RFX: custo por classe.
- Fora da conta do cliente: Equipe RFX.
Ganhos: o que medimos no projeto
| Indicador | Como medimos | O que muda |
|---|---|---|
| Custo mensal de Amazon S3, AWS Backup e snapshots do Amazon EBS | AWS Cost Explorer por serviço e tipo de uso | De crescimento silencioso para custo explicado por classe |
| Distribuição do armazenamento por classe | Amazon S3 Storage Lens, GB por classe | De quase tudo em Standard para cada dado na classe do seu padrão de acesso |
| Objetos e versões cobertos por regra de ciclo de vida | Buckets e prefixos cobertos por regra sobre o total | De zero regras para cobertura total do que tem dono |
| Backups e snapshots com retenção | Contagem de planos e snapshots com expiração definida | De "para sempre" para retenção aprovada e aplicada |
| Restaurações testadas | Testes de restauração por amostra, registrados | De backup nunca testado para restauração comprovada |
Indicadores de um projeto típico, medidos no próprio projeto: resultado típico, não garantia.
Escopo e entregáveis por fase
| Fase | O que acontece | Entregáveis | Duração |
|---|---|---|---|
| 1. Inventário | Storage Lens, análise de classe, inventário de backups, snapshots e logs | Mapa do armazenamento por bucket, classe e idade | Semana 1 |
| 2. Matriz de retenção | Oficina com negócio e jurídico; decisão por tipo de dado | Matriz de retenção assinada | Semana 2 |
| 3. Regras | Ciclo de vida, Intelligent-Tiering, planos do AWS Backup, Data Lifecycle Manager, retenção de logs | Regras em produção; primeira transição concluída | Semanas 3 e 4 |
| 4. Verificação | Teste de restauração, leitura do custo por classe, entrega da rotina ao time do cliente | Relatório antes e depois; item Armazenamento na rotina | Semanas 5 e 6 |
Durações típicas, em faixa. O plano do projeto fixa as datas reais.
Algo a mais: retenção como política, e a configuração como consequência
A matriz de retenção vira documento da empresa e serve também para LGPD (prazo de guarda de dado pessoal) e para auditoria. A RFX entrega a matriz em formato que o jurídico e a TI leem.
O que a matriz registra para cada tipo de dado
- Que dado é: fiscal, operacional, pessoal ou log.
- Por quanto tempo ele fica guardado.
- Em que classe de armazenamento ele vive em cada fase.
- Quem autoriza a exclusão.
Perguntas frequentes deste exemplo
Depende da classe escolhida, e a escolha é sua: Amazon S3 Glacier Instant Retrieval devolve o objeto em milissegundos; Glacier Flexible Retrieval leva de minutos a horas e Glacier Deep Archive, até 12 horas (até 48 horas na recuperação em massa), e as duas servem para guarda legal. A matriz de retenção registra o tempo de recuperação aceito para cada tipo de dado.
É seguro quando existe regra: com a matriz de retenção aprovada, o que expira é o que o negócio e o jurídico decidiram, e as restaurações são testadas antes. A matriz existe justamente para tirar o risco de apagar sem critério.
As transições são feitas pelo próprio Amazon S3 e pelo AWS Backup, e a aplicação continua igual: o que ela lê e grava fica em Standard, Intelligent-Tiering ou Glacier Instant Retrieval, classes acessíveis na hora. Glacier Flexible Retrieval e Deep Archive exigem uma restauração antes da leitura, por isso só recebem o dado de guarda legal que a aplicação não acessa direto.
Sim, e é um dos motivos para ter a matriz: a LGPD pede prazo de guarda definido. A regra de expiração implementa o prazo que a empresa definir.
Serviços AWS deste exemplo
- Amazon S3
- Amazon S3 Storage Lens
- Amazon S3 Intelligent-Tiering
- Amazon S3 Glacier Instant Retrieval
- Amazon S3 Glacier Flexible Retrieval
- Amazon S3 Glacier Deep Archive
- AWS Backup
- Amazon EBS
- Amazon Data Lifecycle Manager
- Amazon CloudWatch Logs
- AWS Cost Explorer
Incentivos AWS
A RFX busca para o projeto os programas de incentivo e créditos da AWS aplicáveis, sempre sujeitos a aprovação da AWS.