Observabilidade (Beta) em agentes privados Jitterbit 11.37 ou posterior

Introdução

Você pode monitorar remotamente o desempenho e o comportamento do Docker, Linux, ou Windows agentes privados com qualquer uma das seguintes plataformas de observabilidade suportadas:

Datadog
Elasticsearch com Kibana

Você deve instalar e configurar a plataforma de observabilidade escolhida em cada hospedar de agente privado que deseja monitorar. Após a configuração correta, as métricas dos seus agentes podem ser visualizadas usando o painel pré-criado fornecido pelo Jitterbit, ou seu próprio painel personalizado.

Nota

Este recurso está atualmente disponível como uma versão beta, compatível com agentes privados versão 11.37.0.7 ou posterior. Para enviar feedback, entre em contato com a Equipe de Produto Jitterbit.

Use o Datadog para monitorar um agente privado Jitterbit

Pré-requisitos

Para usar o Datadog para monitorar um hospedar de agente privado, você deve ter o seguinte:

Agente privado 11.37.0.7 ou posterior instalado e em execução.
Uma conta Datadog.
Um superusuário (root) conta no Linux ou uma conta de administrador no Windows.

Importante

Execute todos os comandos como este usuário.

Instalar o agente Datadog

Para instalar o agente Datadog em um hospedar de agente privado, siga estas etapas:

Entre na sua conta Datadog.
No menu principal, selecione Integrações > Agente.
Na página Instruções de instalação do Agente, selecione o tipo de hospedar do seu agente privado.
Clique no botão Chave de API. A caixa de diálogo Selecionar uma Chave de API será aberta.
Se você não tiver nenhuma chave de API, clique em Clique no botão Criar Nova para criar uma. Caso contrário, selecione sua chave de API e clique no botão Usar Chave de API.
No Comando de instalação do Agente, clique em Clique no ícone para copiar para copiar o comando para sua área de transferência.
Abra um terminal ou PowerShell no hospedar do agente privado, cole o comando copiado e pressione Enter para executá-lo.
Feche o terminal ou o PowerShell.

Nota

Para habilitar a observabilidade em agentes privados do Docker, você deve usar variáveis de ambiente.

Configurar o agente Datadog

O software do agente privado Jitterbit inclui um script para configurar o Datadog. Para usá-lo na primeira instalação ou na atualização de uma instalação baseada no agente privado 11.34, siga estes passos:

Para agentes privados do Docker, o valor para o hostname propriedade no /etc/datadog-agent/datadog.yaml deve ser definido como o nome do host. Caso contrário, defina-o manualmente.

Execute o seguinte em um terminal ou PowerShell no hospedar do agente privado:

EstivadorLinuxWindows

cd /opt/jitterbit/scripts/
./configure_datadog.sh

cd /opt/jitterbit/scripts/
./configure_datadog.sh

cd "C:\Program Files\Jitterbit Agent\scripts\"
.\configure_datadog.ps

Leia e responda às seguintes instruções:
1. Instruções 1:
```
*************
***WARNING***
*************
Installing the metric configurations will backup and overwrite your datadog configuration files.
Do you wish to proceed?
1) Yes
2) No
```
  Digite o número correspondente à sua escolha, seguido da tecla Enter. As opções são as seguintes:
  - 1: Continue o script. Se você tiver um arquivo de configuração do Datadog existente (/etc/datadog-agent/datadog.yaml), uma cópia de segurança é feita (/etc/datadog-agent/datadog.yml.jb.bak) e uma nova é criada.
  - 2: Pare o script.
2. Prompt 2:
```
*************
***WARNING***
*************
Turning on Agent observability on the agent will turn on Enhanced Capability feature for the agent.
Enhanced Capability might affect the operation routing behavior for the agents.
Do you wish to proceed?
1) Yes
2) No
```
  Digite o número correspondente à sua escolha, seguido da tecla Enter. As opções são as seguintes:
  - 1: Continue o script. Isso define EnhancedCapabilityMetricsEnabled para true no [AgentCapability] seção de jitterbit.conf.
  - 2: Pare o script.
3. Prompt 3:
```
Jitterbit agent needs to restart in order to load the new changes.
Do you wish to restart now? This will stop any in progress operations
1) Yes
2) No
```
  Digite o número correspondente à sua escolha, seguido da tecla Enter. As opções são as seguintes:
  - 1: Continue parando e reiniciando o agente privado, reinicie o agente Datadog e saia do script. Para confirmar se o seu agente Datadog está funcionando, faça login na sua conta Datadog e selecione Integrações > Automação de Frotas no menu principal.
  - 2: Saia do script sem reiniciar o agente privado ou o agente Datadog. Reinicie tanto o agente privado quanto o agente Datadog quando for conveniente.

Importante

No Docker, o agente Datadog não inicia automaticamente com o hospedar. Você deve iniciá-lo manualmente com o seguinte comando:

sudo datadog-agent start

Configurar métricas do Datadog

Para definir facetas do Datadog, siga estes passos:

Selecione Logs > Explorer.
Filtre os logs pelo Host do seu agente e pelo serviço JitterbitAgentMetric.
(Opcional) Verifique se os logs do seu agente estão no formato JSON. Para isso, selecione uma entrada de log recente e verifique se a coluna CONTENT contém uma mensagem de log no formato JSON.
Na barra Pesquisar facetas, clique em Adicionar (Adicionar uma faceta).
No campo Caminho da caixa de diálogo Adicionar faceta, insira o texto mostrado abaixo e clique no botão Adicionar. Repita o processo para cada item da lista a seguir:
- @environment_id
- @environment_name
- @is_operation_over_schedule
- @name
- @operation_id
- @operation_instance_guid
- @operation_name
- @organization_id
- @project_guid
- @project_name
- @status

Criar um campo calculado

Para criar um campo calculado, siga estes passos:

Selecione Logs > Explorer.
Clique no botão Adicionar e selecione Campo Calculado.
Na caixa de diálogo Criar um campo calculado, defina valores para os seguintes campos:
- Nomeie seu campo: operation_duration_seconds
- Defina sua fórmula: @fields.duration_seconds
Clique no botão Salvar.

Criar uma medida

Para criar uma métrica, siga estes passos:

Selecione Logs > Explorer.
Na barra Pesquisar facetas, clique em Adicionar (Adicionar uma faceta).
Na caixa de diálogo Adicionar faceta, selecione a aba Medir.
No campo Caminho, digite @operation_duration_seconds.
Clique no botão Adicionar.

Criar métricas de operação

Para definir métricas de operação, selecione Logs > Gerar métricas e siga as etapas abaixo para cada métrica de operação.

Dica

Você também pode usar logs para criar métricas do Datadog.

Crie o `metric.operation.count.by.status` métrica de operação

Clique em Botão Nova Métrica.
Na caixa de diálogo Gerar Métrica, defina os valores da seguinte forma:
- Definir Nome da Métrica: metric.operation.count.by.status
- Definir Consulta: service:JitterbitAgentMetric @name:operation_log
Clique no menu agrupar por e, em seguida, clique em cada um dos seguintes itens para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @fields.status
- @agentgroup
- @host
Clique no botão Criar Métrica.

Crie o `metric.operation.running.over.scheduled.interval` métrica de operação

Clique em Botão Nova Métrica.
Na caixa de diálogo Gerar Métrica, defina os valores da seguinte forma:
- Definir Nome da Métrica: metric.operation.running.over.scheduled.interval
- Definir Consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
Clique no menu agrupar por e clique em cada um dos seguintes itens para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @agentgroup
- @host
Clique no botão Criar Métrica.

Crie o `metric.operation.duration.seconds` métrica de operação

Clique em Botão Nova Métrica.
Na caixa de diálogo Gerar Métrica, defina os valores da seguinte forma:
- Definir Nome da Métrica: metric.operation.duration.seconds
- Definir Consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
Clique no menu agrupar por e clique em cada um dos seguintes itens para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @agentgroup
- @host
Clique no botão Criar Métrica.

Criar métricas de processo

Para definir métricas de processo, selecione Infraestrutura > Processos, selecione a aba Gerenciar métricas e siga as etapas abaixo para cada métrica de processo.

Crie o `proc.openginebyname.cpu.num_threads` métrica de processo

Clique no botão Nova Métrica.
Na seção 1, Filtrar Processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
- Abra o menu Medida e selecione Número de Roscas.
- Abra o menu Dimensões e selecione nome.
Na seção 4, Nome, no campo metric.name, insira openginebyname para criar o nome proc.openginebyname.cpu.num_threads.
Clique no botão Criar.

Crie o `proc.operationsengine.cpu.num_threads` métrica de processo

Clique no botão Nova Métrica.
Na seção 1, Filtrar Processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
- Abra o menu Medida e selecione Número de Threads.
- Abra o menu Dimensões e selecione grupo de agentes.
Na seção 4, Nome, no campo metric.name, insira operationsengine para criar o nome proc.operationsengine.cpu.num_threads.
Clique no botão Criar.

Importar um painel do Datadog

Para importar o painel Datadog pré-criado do Jitterbit, siga estes passos:

Baixe o arquivo JSON do Jitterbit Agente privado Datadog dashboard do portal Harmony Downloads página.
Selecione Painéis > Novo Painel.
Na caixa de diálogo Criar um Painel, insira um nome no campo Nome do Painel e clique no botão Novo Painel.
Clique em Botão Configurar e selecione Importar JSON do painel.
Encontre o arquivo JSON do painel baixado e selecione-o.
Para usar o painel, selecione Painéis > Lista de painéis, insira Jitterbit Harmony Agente privado no campo Pesquisar painéis e selecione o painel importado.

Solucionar problemas do Datadog

Para ajudar a resolver quaisquer problemas com o Datadog, você pode consultar a documentação do Datadog, inspecionar arquivos de log ou executar comandos para gerenciar usuários e permissões.

Documentação do Datadog

Localizações de arquivos do Datadog

Arquivos de log

Os arquivos de log do Datadog podem ser encontrados no seguinte local:

LinuxWindows

/var/log/datadog/

Abra o aplicativo Datadog Agente Manager e selecione a aba Log.

Arquivos de configuração

O arquivo de configuração do Datadog pode ser encontrado no seguinte local:

LinuxWindows

/etc/datadog-agent/datadog.yaml

Abra o aplicativo Datadog Agente Manager e selecione a aba Configurações.

Neste arquivo, você deve verificar se possui valores corretos para as seguintes chaves:

api_key
site
$hostname
tags

Comandos de usuários e permissões do Datadog

Para criar um usuário e grupo do Datadog, execute estes comandos:

usermod -a -G root dd-agent
usermod -a -G jitterbit dd-agent

Para definir a propriedade do arquivo de configuração do Datadog, execute estes comandos:

chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d/conf.yaml
chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d

Use Elasticsearch e Kibana para monitorar um agente privado Jitterbit

Pré-requisitos

Para usar o Elasticsearch e o Kibana para monitorar um hospedar de agente privado, você deve ter o seguinte:

Agente privado 11.37.0.7 ou posterior instalado e em execução.
Um sistema Elasticsearch e Kibana funcional instalado e configurado. Para instalá-los, consulte as seguintes páginas:
- Elasticsearch
- Kibana

Instalar Metricbeat e Filebeat

Metricbeat e Filebeat são agentes de coleta de dados que encaminham métricas de agentes privados para o seu sistema Elasticsearch/Kibana. Para instalá-los, siga estes passos:

Metricbeat:
1. Para instalar o Metricbeat em um hospedar de agente privado, siga as instruções do Metricbeat no site Elastic.co.
2. Para iniciar o Metricbeat quando o hospedar inicializar, siga as instruções de inicialização do Metricbeat no site Elastic.co.
3. Para verificar a conexão do Metricbeat com o Elasticsearch, execute o seguinte comando:
```
metricbeat test output
```
Filebeat:
1. Para instalar o Filebeat em um hospedar de agente privado, siga as instruções do Filebeat no site Elastic.co.
2. Para iniciar o Filebeat quando o hospedar inicializar, siga as instruções de inicialização do Filebeat no site Elastic.co.
3. Para verificar a conexão do Filebeat com o Elasticsearch, execute o seguinte comando:
```
filebeat test output
```

Defina a política de ciclo de vida do índice Kibana

Para definir a política de retenção de dados, siga estas etapas:

Abra o console web do Kibana.
Digite index lifecycle policies na barra de pesquisa e selecione a página resultante.
Clique em Botão Criar política.
Na caixa de diálogo Criar política, defina os seguintes valores:
- Nome da política: private-agent-metrics-policy
Ative a opção Fase quente e defina os seguintes valores:
- Mover dados para a fase quando: 30 dias.
Ative a opção Fase fria e defina os seguintes valores:
- Mover dados para a fase quando: 90 dias.
Clique em Clique no botão Salvar política e feche a gaveta de resumo.

Criar modelos Kibana

Para criar modelos, siga estes passos:

Crie o private-agent-metric-template modelo:
1. Digite index management na barra de pesquisa e selecione a página resultante.
2. Selecione a aba Modelos de Índice.
3. Clique em Botão Criar modelo.
4. Na página Logística, insira os valores para os seguintes campos:
  - Nome: private-agent-metric-template
  - Padrões de índice: private-agent-metric-8.15-*
5. Clique em Avançar Botão.
6. Na página Modelos de componentes, clique em Avançar Botão.
7. Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:
```
{
  "index": {
    "lifecycle": {
      "name": "private-agent-metrics-policy",
      "rollover_alias": "private-agent-metric-alias"
    },
    "number_of_shards": "1",
    "number_of_replicas": "1"
  }
}
```
8. Clique em Avançar botão.
9. Na página Mapeamentos, na aba Campos mapeados, adicione campos de acordo com a tabela a seguir. Clique no botão Adicionar campo após cada entrada:
  
  Tipo de campo Nome do campo
  
  Palavra-chave fields.env
  
  Palavra-chave private-agent.group
  
  Palavra-chave private-agent.name
10. Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:
  - Mapear sequências numéricas como números
  - Mapear sequências de datas como datas
11. Clique em Avançar Botão.
12. Na página Aliases, clique em Avançar Botão.
13. Na página Detalhes da revisão, clique no botão Botão Criar modelo e feche a gaveta de resumo.

Crie o private-agent-filebeat-template modelo:

Na aba Modelos de índice, clique em Botão Criar modelo.
Na página Logística, insira os valores para os seguintes campos:
- Nome: private-agent-filebeat-template
- Padrões de índice: private-agent-filebeat-8.15-*
Clique em Avançar Botão.
Na página Modelos de componentes, clique em Avançar Botão.

Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:

{
  "index": {
    "lifecycle": {
      "name": "private-agent-metrics-policy",
      "rollover_alias": "private-agent-metric-alias"
    },
    "number_of_shards": "1",
    "number_of_replicas": "1"
  }
}

Clique em Avançar botão.

Na página Mapeamentos, na aba Campos mapeados, adicione campos de acordo com a tabela a seguir. Clique no botão Adicionar campo após cada entrada:

Tipo de campo	Nome do campo
Palavra-chave	`message.fields.environment_name`
Palavra-chave	`message.fields.operation_name`
Palavra-chave	`message.fields.project_name`
Palavra-chave	`message.fields.status`
Palavra-chave	`private-agent.group`
Palavra-chave	`private-agent.name`

Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:
- Mapear sequências numéricas como números
- Mapear sequências de datas como datas
Clique em Avançar Botão.
Na página Aliases, clique em Avançar Botão.
Na página Detalhes da revisão, clique no botão Clique no botão Criar modelo e feche a gaveta de resumo.

Configurar Metricbeat e Filebeat

O agente privado Jitterbit inclui um script para configurar o Metricbeat e o Filebeat. Para usá-lo na primeira instalação ou ao atualizar de uma instalação baseada no agente privado 11.34, siga estes passos:

Execute o seguinte em um terminal ou PowerShell:

EstivadorLinuxWindows

cd /opt/jitterbit/scripts/
./configure_elasticsearch.sh

cd /opt/jitterbit/scripts/
./configure_elasticsearch.sh

cd "C:\Program Files\Jitterbit Agent\scripts\"
.\configure_elasticsearch.ps

Leia e responda às seguintes instruções:
1. Instruções 1:
```
*************
***WARNING***
*************
Installing the metric configurations will backup and overwrite your metricbeat configuration files.
Do you wish to proceed?
1) Yes
2) No
```
  Digite o número correspondente à sua escolha, seguido da tecla Enter. As opções são as seguintes:
  - 1: Continue o script. Se você tiver arquivos de configuração Metricbeat e Filebeat existentes (/etc/metricbeat/metricbeat.yml e /etc/filebeat/filebeat.yml), cópias de segurança são feitas (/etc/metricbeat/metricbeat.yml.jb.bak e /etc/filebeat/filebeat.yml.jb.bak) e novos são criados.
  - 2: Pare o script.
2. Prompt 2:
```
*************
***WARNING***
*************
Turning on Agent observability on the agent will turn on Enhanced Capability feature for the agent.
Enhanced Capability might affect the operation routing behavior for the agents.
Do you wish to proceed?
1) Yes
2) No
```
  Digite o número correspondente à sua escolha, seguido da tecla Enter. As opções são as seguintes:
  - 1: Continue o script. Isso define EnhancedCapabilityMetricsEnabled para true no [AgentCapability] seção de jitterbit.conf.
  - 2: Pare o script.

Nota

Para habilitar a observabilidade em agentes privados do Docker, você deve usar variáveis de ambiente.

Importar um painel do Elasticsearch

Para importar um painel pré-criado do Elasticsearch, siga estas etapas:

Baixe o arquivo JSON do Jitterbit Agente privado Elasticsearch dashboard no portal Harmony Downloads página.
Entre kibana saved objects na barra de pesquisa do Elasticsearch e selecione a página resultante.
Clique no botão Importar.
Na caixa de diálogo Importar objetos salvos, clique em Importar, localize o arquivo JSON do painel baixado e selecione-o.
Em Opções de importação, selecione Verificar objetos existentes com Substituir conflitos automaticamente.
Clique no botão Importar.
Clique no botão Concluído.
Para usar o painel, digite dashboards na barra de pesquisa do Elasticsearch, selecione a página resultante e, em seguida, selecione Jitterbit Harmony Agente privado Dashboard.

Solucionar problemas do Elasticsearch

Para ajudar a resolver quaisquer problemas com os componentes do Elasticsearch, você pode verificar a documentação do Elasticsearch, inspecionar arquivos de log ou executar comandos de diagnóstico.

Documentação do Elasticsearch

Metricbeat:
- perguntas frequentes frequentes do Metricbeat
- Depurar Metricbeat
Filebeat:
- perguntas frequentes frequentes do Filebeat
- Depuração do Filebeat

Locais dos arquivos de log do Elasticsearch

/var/log/metricbeat
/var/log/filebeat

Tipo de campo	Nome do campo
Palavra-chave	`fields.env`
Palavra-chave	`private-agent.group`
Palavra-chave	`private-agent.name`

Observabilidade (Beta) em agentes privados Jitterbit 11.37 ou posterior

Introdução

Use o Datadog para monitorar um agente privado Jitterbit

Pré-requisitos

Instalar o agente Datadog

Configurar o agente Datadog

Configurar métricas do Datadog

Criar facetas

Criar um campo calculado

Criar uma medida

Criar métricas de operação

Crie o metric.operation.count.by.status métrica de operação

Crie o metric.operation.running.over.scheduled.interval métrica de operação

Crie o metric.operation.duration.seconds métrica de operação

Criar métricas de processo

Crie o proc.openginebyname.cpu.num_threads métrica de processo

Crie o proc.operationsengine.cpu.num_threads métrica de processo

Importar um painel do Datadog

Solucionar problemas do Datadog

Documentação do Datadog

Localizações de arquivos do Datadog

Arquivos de log

Arquivos de configuração

Comandos de usuários e permissões do Datadog

Use Elasticsearch e Kibana para monitorar um agente privado Jitterbit

Pré-requisitos

Instalar Metricbeat e Filebeat

Defina a política de ciclo de vida do índice Kibana

Criar modelos Kibana

Configurar Metricbeat e Filebeat

Importar um painel do Elasticsearch

Solucionar problemas do Elasticsearch

Documentação do Elasticsearch

Locais dos arquivos de log do Elasticsearch

Crie o `metric.operation.count.by.status` métrica de operação

Crie o `metric.operation.running.over.scheduled.interval` métrica de operação

Crie o `metric.operation.duration.seconds` métrica de operação

Crie o `proc.openginebyname.cpu.num_threads` métrica de processo

Crie o `proc.operationsengine.cpu.num_threads` métrica de processo