Mudanças entre as edições de "Dataverse:Dados Grandes"

De BrapciWiki
Ir para navegação Ir para pesquisar
(Criou página com ' == Definindo o limite para super arquivos tabulares == 2Giga curl -X PUT -d 2000000000 http://localhost:8080/api/admin/settings/:TabularIngestSizeLimit')
 
Linha 1: Linha 1:
 +
 +
Submeter grande arquivos
 +
  
 
== Definindo o limite para super arquivos tabulares ==
 
== Definindo o limite para super arquivos tabulares ==
 +
 
2Giga
 
2Giga
 
  curl -X PUT -d 2000000000 http://localhost:8080/api/admin/settings/:TabularIngestSizeLimit
 
  curl -X PUT -d 2000000000 http://localhost:8080/api/admin/settings/:TabularIngestSizeLimit
 +
 +
== Esgotamento de recursos ==
 +
Trabalhos de ingestão de longa duração esgotaram os recursos do sistema
 +
A ingestão faz uso intensivo da CPU e da memória e, dependendo dos recursos do sistema e do tamanho e formato dos arquivos de dados tabulares carregados, pode tornar a instalação do Dataverse sem resposta ou quase inoperante. É possível cancelar esses trabalhos limpando a fila de entrada.
 +
 +
/usr/local/payara5/mq/bin/imqcmd -u admin query dst -t q -n DataverseIngestconsultará o destino do DataverseIngest. A senha, a menos que você a tenha alterado, corresponde ao nome de usuário.
 +
 +
/usr/local/payara5/mq/bin/imqcmd -u admin purge dst -t q -n DataverseIngest irá limpar a fila do DataverseIngest e solicitar sua confirmação.
 +
 +
Por fim, liste os destinos para verificar se a limpeza foi bem-sucedida:
 +
 +
``/usr/local/payara5/mq/bin/imqcmd -u admin list dst``
 +
Se você ainda estiver executando o Glassfish, substitua glassfish4 por payara5 acima. Se você instalou a instalação do Dataverse em algum outro local, ajuste os caminhos acima de acordo.

Edição das 14h31min de 29 de junho de 2021

Submeter grande arquivos


Definindo o limite para super arquivos tabulares

2Giga

curl -X PUT -d 2000000000 http://localhost:8080/api/admin/settings/:TabularIngestSizeLimit

Esgotamento de recursos

Trabalhos de ingestão de longa duração esgotaram os recursos do sistema A ingestão faz uso intensivo da CPU e da memória e, dependendo dos recursos do sistema e do tamanho e formato dos arquivos de dados tabulares carregados, pode tornar a instalação do Dataverse sem resposta ou quase inoperante. É possível cancelar esses trabalhos limpando a fila de entrada.

/usr/local/payara5/mq/bin/imqcmd -u admin query dst -t q -n DataverseIngestconsultará o destino do DataverseIngest. A senha, a menos que você a tenha alterado, corresponde ao nome de usuário.
/usr/local/payara5/mq/bin/imqcmd -u admin purge dst -t q -n DataverseIngest irá limpar a fila do DataverseIngest e solicitar sua confirmação.

Por fim, liste os destinos para verificar se a limpeza foi bem-sucedida:

``/usr/local/payara5/mq/bin/imqcmd -u admin list dst``

Se você ainda estiver executando o Glassfish, substitua glassfish4 por payara5 acima. Se você instalou a instalação do Dataverse em algum outro local, ajuste os caminhos acima de acordo.