O que é computação de alto desempenho (HPC)?

A Computação de Alto Desempenho (HPC) refere-se à prática de agregar poder de computação de uma forma que oferece potência muito maior do que os computadores e servidores tradicionais. HPC ou supercomputação, é como a computação cotidiana, só que mais poderosa. É uma forma de processar grandes volumes de dados em velocidades muito altas usando vários computadores e dispositivos de armazenamento como uma estrutura coesa. A HPC torna possível explorar e encontrar respostas para alguns dos maiores problemas mundiais em ciência, engenharia e negócios.

Hoje, a HPC é usada para resolver problemas complexos e que exigem alto desempenho, e as organizações estão cada vez mais migrando cargas de trabalho de HPC para a nuvem. A HPC na nuvem está mudando a economia de desenvolvimento e pesquisa de produtos porque requer menos protótipos, acelera os testes e reduz o tempo de comercialização.

Como a HPC funciona?

Algumas cargas de trabalho, como sequenciamento de DNA, são simplesmente imensas para serem processadas por um único computador. Os ambientes de HPC ou de supercomputação abordam esses desafios grandes e complexos com nós individuais (computadores) trabalhando juntos em um cluster (grupo conectado) para realizar grandes quantidades de computação em um curto período de tempo. A criação e a remoção desses clusters costumam ser automatizadas na nuvem para reduzir custos.

A HPC pode ser executada em muitos tipos de cargas de trabalho, mas os dois mais comuns são cargas de trabalho embaraçosamente paralelas e cargas de trabalho fortemente acopladas.

Cargas de trabalho incrivelmente paralelas

São problemas computacionais divididos em tarefas pequenas, simples e independentes que podem ser executadas ao mesmo tempo, geralmente com pouca ou nenhuma comunicação entre elas. Por exemplo, uma empresa pode enviar 100 milhões de registros de cartão de crédito para núcleos de processador individuais em um cluster de nós. Processar um registro de cartão de crédito é uma tarefa pequena e, quando 100 milhões de registros estiverem espalhados pelo cluster, essas pequenas tarefas podem ser executadas ao mesmo tempo (em paralelo) em velocidades surpreendentes. Casos de uso comuns incluem simulações de risco, modelagem molecular, pesquisa contextual e simulações de logística.

Cargas de trabalho extremamente acopladas

Em geral, utilize uma carga de trabalho compartilhada grande e divida-a em tarefas menores que se comunicam continuamente. Em outras palavras, os diferentes nós no cluster se comunicam uns com os outros enquanto executam seu processamento. Casos de uso comuns incluem dinâmica de fluidos computacional, modelagem de previsão do tempo, simulações de materiais, emulações de colisão de automóveis, simulações geoespaciais e gerenciamento de tráfego.

Por que a HPC é importante?

A HPC tem sido uma parte crítica da pesquisa acadêmica e inovação do setor por décadas. A HPC ajuda engenheiros, cientistas de dados, designers e outros pesquisadores a resolver problemas grandes e complexos em muito menos tempo, e com menos custo do que a computação tradicional.

Os principais benefícios da HPC são:

  • Teste físico reduzido: a HPC pode ser usada para criar simulações, eliminando a necessidade de testes físicos. Por exemplo, ao testar acidentes automotivos, é muito mais fácil e barato gerar uma simulação do que executar um teste de colisão.
  • Velocidade: Com as mais recentes CPUs, unidades de processamento gráfico (GPUs) e malhas de rede de baixa latência, como acesso remoto direto à memória (RDMA), juntamente com dispositivos all-flash locais e de armazenamento em bloco, a HPC pode executar cálculos massivos em minutos em vez de semanas ou meses.
  • Custo: respostas mais rápidas significam menos desperdício de tempo e dinheiro. Além disso, com HPC baseada em nuvem, até mesmo pequenas empresas e startups podem se dar ao luxo de executar cargas de trabalho de HPC, pagando apenas pelo que usam, e aumentando e diminuindo conforme necessário.
  • Inovação: a HPC impulsiona a inovação em quase todos os setores, é a força por trás de descobertas científicas inovadoras que melhoram a qualidade de vida das pessoas em todo o mundo.

Caso de uso de HPC - Quais setores usam Computação de Alto Desempenho?

As empresas Fortune 1000 em quase todos os setores empregam HPC e sua popularidade está crescendo. De acordo com a Hyperion Research, o mercado global de HPC deverá atingir US$ 44 bilhões até 2022.

A seguir estão alguns dos setores que usam HPC e os tipos de cargas de trabalho que a HPC os ajuda a realizar:

  • Aeroespacial: criação de simulações complexas, como fluxo de ar sobre as asas dos aviões
  • Manufatura: executar simulações, como as de direção autônoma, para apoiar o projeto, a fabricação e o teste de novos produtos, resultando em carros mais seguros, peças mais leves, processos mais eficientes e inovações
  • Tecnologia financeira (fintech): realizar análises de risco complexas, negociação de alta frequência, modelagem financeira e detecção de fraude
  • Genômica: sequenciando o DNA, analisando interações de medicamentos e executando análises de proteínas para suportar estudos de ancestralidade
  • Assistência médica: pesquisar medicamentos, criar vacinas e desenvolver tratamentos inovadores para doenças raras e comuns
  • Mídia e entretenimento: criar animações, renderizar efeitos especiais para filmes, transcodificar arquivos de mídia enormes e criar entretenimento imersivo
  • Óleo e gás: execução de análises espaciais e testes de modelos de reservatório para prever onde os recursos de petróleo e gás estão localizados e execução de simulações, como fluxo de fluidos e processamento sísmico
  • Varejo: analisar grandes quantidades de dados de clientes para fornecer recomendações de produtos mais direcionadas e melhor atendimento ao cliente
Quais setores usam miniatura de vídeo de Computação de Alto Desempenho

Onde a HPC é realizado?

A HPC pode ser executada no local, na nuvem ou em um modelo híbrido que envolve um pouco de cada um.

Em uma implementação de HPC on-premise, uma empresa ou instituição de pesquisa constrói um cluster HPC cheio de servidores, soluções de armazenamento e outra infraestrutura que gerencia e atualiza com o tempo. Em uma implementação de HPC na nuvem, um provedor de serviços de nuvem administra e gerencia a infraestrutura, e as organizações a usam em um modelo Pay-as-you-go.

Algumas organizações usam implantações híbridas, especialmente aquelas que investiram em uma infraestrutura local, mas também desejam aproveitar a velocidade, a flexibilidade e a economia de custos da nuvem. Eles podem usar a nuvem para executar algumas cargas de trabalho de HPC em uma base contínua e recorrer a serviços em nuvem em uma base ad hoc, sempre que o tempo de fila se tornar um problema local.

Miniatura de vídeo: Onde a HPC é executada

Quais são os desafios das implantações de HPC on-premise?

As organizações com ambientes de HPC on-premises ganham grande controle sobre suas operações, mas devem enfrentar vários desafios, incluindo

  • Investir capital significativo em equipamentos de computação, que devem ser continuamente atualizados
  • Pagar pelo gerenciamento contínuo e outros custos operacionais
  • Sofrer um atraso, ou tempo de fila, de dias a meses antes que os usuários possam executar sua carga de trabalho de HPC, especialmente quando a demanda aumenta
  • Adiar as atualizações para equipamentos de computação mais poderosos e eficientes devido aos longos ciclos de compra, o que diminui o ritmo de pesquisa e negócios

Em parte devido aos custos e outros desafios de ambientes locais, as implantações de HPC baseadas em nuvem estão se tornando mais populares, com a Market Research Future antecipando um crescimento de mercado mundial de 21% de 2017 a 2023. Quando as empresas executam suas cargas de trabalho de HPC na nuvem, eles pagam apenas pelo que usam e podem aumentar ou diminuir rapidamente conforme suas necessidades mudam.

Para conquistar e reter clientes, os principais provedores de nuvem mantêm tecnologias de ponta que são especificamente arquitetadas para cargas de trabalho de HPC, para que não haja perigo de desempenho reduzido conforme o equipamento local envelhece. Os provedores de nuvem oferecem as CPUs e GPUs mais recentes e mais rápidas, bem como armazenamento flash de baixa latência, redes RDMA ultrarrápidas e segurança de classe empresarial. Os serviços estão disponíveis o dia todo, todos os dias, com pouco ou nenhum tempo na fila.

HPC Cloud - Quais são as principais considerações ao escolher um ambiente de nuvem?

Nem todos os provedores de nuvem são criados iguais. Algumas nuvens não são projetadas para HPC e não podem fornecer desempenho ideal durante os períodos de pico de cargas de trabalho exigentes. As quatro características a serem consideradas ao selecionar um provedor de nuvem são

  • Desempenho avançado: seu provedor de nuvem deve ter e manter a geração mais recente de processadores, armazenamento e tecnologias de rede. Certifique-se de que eles ofereçam ampla capacidade e desempenho de ponta que atenda ou exceda as implantações locais típicas.
  • Experiência com HPC: o provedor de nuvem selecionado deve ter uma experiência profunda na execução de cargas de trabalho HPC para uma variedade de clientes. Além disso, seu serviço em nuvem deve ser arquitetado para fornecer desempenho ideal mesmo durante os períodos de pico, como ao executar várias simulações ou modelos. Em muitos casos, as instâncias de computador bare metal oferecem desempenho mais consistente e poderoso em comparação com as máquinas virtuais.
  • Flexibilidade para transferir: suas cargas de trabalho de HPC precisam ser executadas da mesma forma na nuvem e on-premises. Depois de mover as cargas de trabalho para a nuvem "como estão" em uma operação de levantamento e migração, a simulação que você executa na próxima semana deve produzir um resultado consistente com o que executou há uma década. Isso é extremamente importante em setores nos quais as comparações ano a ano devem ser feitas usando os mesmos dados e cálculos. Por exemplo, os cálculos para aerodinâmica, automóveis e química não mudaram e os resultados também não podem mudar.
  • Sem custos ocultos: em geral, os serviços em nuvem são oferecidos em um modelo pago conforme o uso, portanto, certifique-se de entender exatamente o que você pagará sempre que usar o serviço. Muitos usuários costumam se surpreender com o custo da movimentação de dados de saída, ou egresso, você pode saber que precisa pagar por transação e por solicitações de acesso a dados, mas os custos de saída são facilmente esquecidos.

Obtenha os resultados que você espera e deseja

Geralmente, é melhor procurar serviços em nuvem bare metal que oferecem mais controle e desempenho. Combinado com a rede de cluster RDMA, a HPC bare metal fornece resultados idênticos aos que você obtém com hardware semelhante no local.

Qual é o futuro da HPC?

Empresas e instituições em vários setores estão recorrendo à HPC, impulsionando um crescimento que deve continuar por muitos anos. Espera-se que o mercado global de HPC se expanda de US$ 31 bilhões em 2017 para US$ 50 bilhões em 2023. À medida que o desempenho da nuvem continua a melhorar e se torna ainda mais confiável e poderoso, grande parte desse crescimento deve ocorrer em implantações de HPC baseadas em nuvem que aliviam as empresas da necessidade de investir milhões em infraestrutura de data center e custos relacionados.

Em um futuro próximo, espere ver big data e HPC convergindo, com o mesmo grande cluster de computadores usado para analisar big data e executar simulações e outras cargas de trabalho de HPC. Conforme essas duas tendências convergem, o resultado será mais poder de computação e capacidade para cada uma, levando a pesquisas e inovações ainda mais inovadoras.