Tainacan: importing csv (possible bug)

N?o entendo por que o processo se interrompe e recome?a. Ou às vezes demora tanto que n?o recome?a (ou perco a paciência e o interrompo). E tenho uma Internet de alta velocidade. Verifiquei o wp-cron do Tainacan (tnc-bg_generic_process_cron_interval, tnc-bg_exporter_cron_interval, tnc-bg_import_cron_interval) e ele está mesmo em 300 (5 min). A cada novo upload de arquivo (o que demanda salvar o csv como novo csv, eliminando os itens que já foram subidos, e fazer todo o processo de upload, remarcando cada op??o adequada ao meu csv e, mais tarde interrompendo o processo, eliminando os itens repetidos, esvaziando itens caídos no draft, mais a lixeira, apagando as imagens e csv repetidos na biblioteca de mídia) para fazer o upload de 2 a 6 itens por vez. O fatp é que, de teste em teste, já fiz o upload, só neste csv, de 119 arquivos… dois a dois…

Um save preferences no importer teria ajudado muito…

Eliminei todas as imagens do csv no campo special_docuemnts e, como suspeitava, tudo o que aconteceu foi um aumento do número de itens importados (35 contra 2 a 6). Assim, ajuda, mas ainda n?o resolve a minha necessidade de importar uma biblioteca de 1100 itens e fazer o update deles, com mudan?as dos indicadores (acréscimo de um campo variável a todos os itens) é impensável.

Será que outros usuários n?o relataram problema semelhante… pensei que aquele problema, já identificado, de itens duplicados se relacionasse a isso, mas penso que aquele problema possa ter a ver é com este…

Em todo caso, continuo testando e estudando possibilidades.

@batelada recentemente encontramos alguns problemas em hospedagens compartilhadas, elas simplesmente estavam encerrando o processo em
segundo plano antes que esse finalizasse, sem indicar o motivo da
finaliza??o(consumo de recursos, por exemplo).

Faz um teste para diminuir o tempo máximo que o la?o de repeti??o
que inclui os itens fica ativo para vermos se pode ser isso,
você pode alterar esse tempo usando o seguinte filtro:

add_filter( 'tnc-bg_import_default_time_limit', function () {
    return 10; 
});

Att!

Espero ter entendido: adicionei o filtro no functions.php do meu child theme (wordpress_content>themes).

10 itens com fotos s?o salvos, antes do ciclo se reiniciar quando, novamente, 9, 10, 11 items s?o subidos novamente. Tudo parece se resumir, mesmo, ao import time limit. Em segundos (ou fra??es) s?o subidos os 10 itens, gera-se uma pausa e depois de algum tempo o ciclo é retomado… até que eu interrompa o processo manualmente.

De fato nossa hospedagem é compartihada e tudo o que vc comenta faz sentido. Um novo problema surgiu (eventualmente por alguma altera??o de configura??o que eu tenha feito e q n reconhe?o, coincidente – suponho que por mero acaso – com a atualiza??o). N?o tenho mais acesso à pasta draft, que acumula itens… um draft, com um item incompleto a cada ciclo interrompido é criado.

A mensagem referente a esse erro é “An internal server error occurred. Try to contact the administrator”.
Error 500!
An internal server error occurred. This error can occur for a variety of reasons, and a more detailed description shall be find on the server logs. Try to contact the administrator and provide information of the moment when the error ocurred.

Request details: /collection/22831/items?context=edit&perpage=12&paged=1&order=DESC&orderby=date&admin_view_mode=table&fetch_only_meta=4967%2C5532%2C22884&status=draft&fetch_only=thumbnail%2Ccreation_date%2Cauthor_name

bom dia,
vamos por parte rsrs deixa eu ver se entendi, com o uso do filtro ‘tnc-bg_import_default_time_limit’, agora o processo de importa??o está avan?ando pelas linhas do CSV? As informa??es no log de importa??o apos novos “NEW REQUEST” n?o s?o reiniciadas?

Processing item 0 (total de itens processados)
Processing item on line 2 (linha atual a ser processada do CSV)

Sobre a pasta com os itens em rascunho, você consegue ver se tem alguma mensagem no log de erros do servidor?

• This reply was modified 4 years ago by vnmedeiros.

Por partes:
A situa??o permanece praticamente a mesma, mas, de fato, se antes eu subia 2 itens, passsei a subir 10 ou mais (dependendo do tamanho das imagens a serem subidas), antes que o ciclo recomece e o os mesmo itens sejam subidos. A cada ciclo um draft vai para a pasta draft…

Parênteses: Por alguma raz?o que desconhe?o, consegui acesso à pasta draft por um momento. Apaguei os arquivos e perdi, pouco depois, o acesso a ela novamente. Mas esse é um segundo problema, que averiguarei com mais detalhes buscando o log de erros do servidor. Fecho parênteses.

Em 11 seg foram processados 16 itens. 5 minutos e 1 seg depois 17 itens (os mesmos itens processados anteriormente) s?o processados por 10 segundos. Nova interrup??o. Encerro o processo que recome?aria, do mesmo modo, 5 min depois. Se eu n?o interromper o processo, os ciclos v?o se repetindo e duplicatas v?o sendo criadas incessantemente… tanto como novos itens na cole??o como quanto como novas imagens na biblioteca de mídia.

é interessante que o item 361 (por exemplo) havia sido criado no primeiro ciclo. Porém ao se iniciar o segundo ciclo…
item with ID 361 not found. Unable to update. Creating a new one.
E cria-se a duplicata.

Aqui vai o log, que deixa tudo claro.

New Request
---------------------------
Starting processing new item
2021-02-25 17:03:03
User in process: 1
Processing item 0
Processing item on line 2
Target collection: 22831
Success processing index: 0
Inserting item 0
item with ID 361 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Artesanal_Cia._de_Teatro__21_Anos_0.jpg
Setting item thumbnail: 39989
---------------------------
Starting processing new item
2021-02-25 17:03:05
User in process: 1
Processing item 1
Processing item on line 3
Target collection: 22831
Success processing index: 1
Inserting item 1
item with ID 362 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_de_Luiz_Carlos_Laranjeiras_0.jpg
Setting item thumbnail: 39996
---------------------------
Starting processing new item
2021-02-25 17:03:06
User in process: 1
Processing item 2
Processing item on line 4
Target collection: 22831
Success processing index: 2
Inserting item 2
item with ID 363 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_de_Luiz_Carlos_Laranjeiras_1.jpg
Setting item thumbnail: 40003
---------------------------
Starting processing new item
2021-02-25 17:03:07
User in process: 1
Processing item 3
Processing item on line 5
Target collection: 22831
Success processing index: 3
Inserting item 3
item with ID 364 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/CCBB_no_Teatro__vinte_anos_de_companhias_0.jpg
Setting item thumbnail: 40010
---------------------------
Starting processing new item
2021-02-25 17:03:08
User in process: 1
Processing item 4
Processing item on line 6
Target collection: 22831
Success processing index: 4
Inserting item 4
item with ID 365 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.16_Pesquisa_no_Teatro_de_Formas_Animadas_0.jpg
Setting item thumbnail: 40017
---------------------------
Starting processing new item
2021-02-25 17:03:08
User in process: 1
Processing item 5
Processing item on line 7
Target collection: 22831
Success processing index: 5
Inserting item 5
item with ID 366 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.17_Corpos_no_Teatro_de_Formas_Animadas_0.jpg
Setting item thumbnail: 40024
---------------------------
Starting processing new item
2021-02-25 17:03:09
User in process: 1
Processing item 6
Processing item on line 8
Target collection: 22831
Success processing index: 6
Inserting item 6
item with ID 367 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.18_Teatro_de_Formas_Animadas_para_Crian_as_e_Jovens_0.jpg
Setting item thumbnail: 40031
---------------------------
Starting processing new item
2021-02-25 17:03:10
User in process: 1
Processing item 7
Processing item on line 9
Target collection: 22831
Success processing index: 7
Inserting item 7
item with ID 368 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Trinta_anos___beira_do_abismo__o_grupo_Sobrevento__do_virtuosismo_da_anima__o_de_bonecos_ao_objeto_puro__0.jpg
Setting item thumbnail: 40037
---------------------------
Starting processing new item
2021-02-25 17:03:10
User in process: 1
Processing item 8
Processing item on line 10
Target collection: 22831
Success processing index: 8
Inserting item 8
item with ID 369 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Direcci_n_de_T_teres_0.jpg
Setting item thumbnail: 40044
---------------------------
Starting processing new item
2021-02-25 17:03:11
User in process: 1
Processing item 9
Processing item on line 11
Target collection: 22831
Success processing index: 9
Inserting item 9
item with ID 370 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_feito___m_o_0.jpg
Setting item thumbnail: 40050
---------------------------
Starting processing new item
2021-02-25 17:03:11
User in process: 1
Processing item 10
Processing item on line 12
Target collection: 22831
Success processing index: 10
Inserting item 10
item with ID 371 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Obras_para_t_teres_de_Alberto_Cebreiro_0.jpg
Setting item thumbnail: 40057
---------------------------
Starting processing new item
2021-02-25 17:03:11
User in process: 1
Processing item 11
Processing item on line 13
Target collection: 22831
Success processing index: 11
Inserting item 11
item with ID 372 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Bulul___a_revista_dos_t_teres__v.2_0.jpg
Setting item thumbnail: 40064
---------------------------
Starting processing new item
2021-02-25 17:03:12
User in process: 1
Processing item 12
Processing item on line 14
Target collection: 22831
Success processing index: 12
Inserting item 12
item with ID 373 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.42_0.jpg
Setting item thumbnail: 40070
---------------------------
Starting processing new item
2021-02-25 17:03:12
User in process: 1
Processing item 13
Processing item on line 15
Target collection: 22831
Success processing index: 13
Inserting item 13
item with ID 374 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.44_0.jpg
Setting item thumbnail: 40076
---------------------------
Starting processing new item
2021-02-25 17:03:13
User in process: 1
Processing item 14
Processing item on line 16
Target collection: 22831
Success processing index: 14
Inserting item 14
item with ID 375 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.45_0.jpg
Setting item thumbnail: 40082
---------------------------
Starting processing new item
2021-02-25 17:03:13
User in process: 1
Processing item 15
Processing item on line 17
Target collection: 22831
Success processing index: 15
Inserting item 15
item with ID 376 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.46_0.jpg
Setting item thumbnail: 40088
---------------------------
Starting processing new item
2021-02-25 17:03:14
User in process: 1
Processing item 16
Processing item on line 18
Target collection: 22831
Success processing index: 16
Inserting item 16
item with ID 377 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.47_0.jpg
Setting item thumbnail: 40094
New Request
---------------------------
Starting processing new item
2021-02-25 17:08:04
User in process: 1
Processing item 0
Processing item on line 2
Target collection: 22831
Success processing index: 0
Inserting item 0
item with ID 361 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Artesanal_Cia._de_Teatro__21_Anos_0.jpg
Setting item thumbnail: 40136
---------------------------
Starting processing new item
2021-02-25 17:08:05
User in process: 1
Processing item 1
Processing item on line 3
Target collection: 22831
Success processing index: 1
Inserting item 1
item with ID 362 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_de_Luiz_Carlos_Laranjeiras_0.jpg
Setting item thumbnail: 40143
---------------------------
Starting processing new item
2021-02-25 17:08:06
User in process: 1
Processing item 2
Processing item on line 4
Target collection: 22831
Success processing index: 2
Inserting item 2
item with ID 363 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_de_Luiz_Carlos_Laranjeiras_1.jpg
Setting item thumbnail: 40150
---------------------------
Starting processing new item
2021-02-25 17:08:07
User in process: 1
Processing item 3
Processing item on line 5
Target collection: 22831
Success processing index: 3
Inserting item 3
item with ID 364 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/CCBB_no_Teatro__vinte_anos_de_companhias_0.jpg
Setting item thumbnail: 40157
---------------------------
Starting processing new item
2021-02-25 17:08:08
User in process: 1
Processing item 4
Processing item on line 6
Target collection: 22831
Success processing index: 4
Inserting item 4
item with ID 365 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.16_Pesquisa_no_Teatro_de_Formas_Animadas_0.jpg
Setting item thumbnail: 40164
---------------------------
Starting processing new item
2021-02-25 17:08:08
User in process: 1
Processing item 5
Processing item on line 7
Target collection: 22831
Success processing index: 5
Inserting item 5
item with ID 366 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.17_Corpos_no_Teatro_de_Formas_Animadas_0.jpg
Setting item thumbnail: 40171
---------------------------
Starting processing new item
2021-02-25 17:08:09
User in process: 1
Processing item 6
Processing item on line 8
Target collection: 22831
Success processing index: 6
Inserting item 6
item with ID 367 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/M_in-M_in_v.18_Teatro_de_Formas_Animadas_para_Crian_as_e_Jovens_0.jpg
Setting item thumbnail: 40178
---------------------------
Starting processing new item
2021-02-25 17:08:10
User in process: 1
Processing item 7
Processing item on line 9
Target collection: 22831
Success processing index: 7
Inserting item 7
item with ID 368 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Trinta_anos___beira_do_abismo__o_grupo_Sobrevento__do_virtuosismo_da_anima__o_de_bonecos_ao_objeto_puro__0.jpg
Setting item thumbnail: 40184
---------------------------
Starting processing new item
2021-02-25 17:08:10
User in process: 1
Processing item 8
Processing item on line 10
Target collection: 22831
Success processing index: 8
Inserting item 8
item with ID 369 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Direcci_n_de_T_teres_0.jpg
Setting item thumbnail: 40191
---------------------------
Starting processing new item
2021-02-25 17:08:10
User in process: 1
Processing item 9
Processing item on line 11
Target collection: 22831
Success processing index: 9
Inserting item 9
item with ID 370 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Teatro_feito___m_o_0.jpg
Setting item thumbnail: 40197
---------------------------
Starting processing new item
2021-02-25 17:08:11
User in process: 1
Processing item 10
Processing item on line 12
Target collection: 22831
Success processing index: 10
Inserting item 10
item with ID 371 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Obras_para_t_teres_de_Alberto_Cebreiro_0.jpg
Setting item thumbnail: 40204
---------------------------
Starting processing new item
2021-02-25 17:08:11
User in process: 1
Processing item 11
Processing item on line 13
Target collection: 22831
Success processing index: 11
Inserting item 11
item with ID 372 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Bulul___a_revista_dos_t_teres__v.2_0.jpg
Setting item thumbnail: 40211
---------------------------
Starting processing new item
2021-02-25 17:08:12
User in process: 1
Processing item 12
Processing item on line 14
Target collection: 22831
Success processing index: 12
Inserting item 12
item with ID 373 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.42_0.jpg
Setting item thumbnail: 40217
---------------------------
Starting processing new item
2021-02-25 17:08:12
User in process: 1
Processing item 13
Processing item on line 15
Target collection: 22831
Success processing index: 13
Inserting item 13
item with ID 374 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.44_0.jpg
Setting item thumbnail: 40223
---------------------------
Starting processing new item
2021-02-25 17:08:13
User in process: 1
Processing item 14
Processing item on line 16
Target collection: 22831
Success processing index: 14
Inserting item 14
item with ID 375 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.45_0.jpg
Setting item thumbnail: 40229
---------------------------
Starting processing new item
2021-02-25 17:08:13
User in process: 1
Processing item 15
Processing item on line 17
Target collection: 22831
Success processing index: 15
Inserting item 15
item with ID 376 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.46_0.jpg
Setting item thumbnail: 40235
---------------------------
Starting processing new item
2021-02-25 17:08:13
User in process: 1
Processing item 16
Processing item on line 18
Target collection: 22831
Success processing index: 16
Inserting item 16
item with ID 377 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Juancito_y_Maria__n.47_0.jpg
Setting item thumbnail: 40241
---------------------------
Starting processing new item
2021-02-25 17:08:14
User in process: 1
Processing item 17
Processing item on line 19
Target collection: 22831
Success processing index: 17
Inserting item 17
item with ID 378 not found. Unable to update. Creating a new one.
Document file URL imported from https://biblio.batelada.com/Rumo_a_um_novo_teatro___cena_0.jpg
Setting item thumbnail: 40248

Boa noite,
@batelada ent?o o processo de importa??o ainda está sendo interrompido inesperadamente (dentro de cada intera??o do la?o um item é criado e somente apos ele ter seus metadados preenchido que ele é movido de rascunho para publicado, creio que o processo está sendo encerrado antes desse do item ser publicado), quando o la?o finaliza o ponteiro que indica a posi??o da linha na qual o arquivo está sendo processado é incrementado, como o processo está sendo finalizado antes disso a importa??o fica presa no mesmo ponto do arquivo.

Você chegou a testa com um tempo limite menor retornando “2”, por exemplo, no filtro “tnc-bg_import_default_time_limit”?

Att!

Ah, agora entendo melhor o funcionamento do process… obrigado.

Ohhhh…
Fui ao funtions.php para modificar o filtro e me dei conta de que eu tinha cometido um erro na aplica??o do filtro, colando-o mal, no lugar errado!!!!!

Fiz a corre??o e mantive o filtro em 10.

O resultado… o filtro funciona e pude, agora, fazer o upload de uma batelada de itens. Interrompi o processo, depois de um breve período e lá estava uma quantidade enorme de itens subidos!!!!!

@vnmedeiros , ao que parece, o problema está resolvido!!!! Que alegria!!! Fiquei surpreso com cada proposta engenhosa, na busca da solu??o desse problema. Estou muito agradecido, admirado,, impressionado e feliz! Ao mesmo tempo, lamento ter feito vc ter perdido tempo na ultima postagem, por um descuido meu. Sou um leigo em programa??o e vi o wordpress pela primeira vez há 3 semanas… Acredito profundamente no projeto Tainacan e fico feliz de ser um usuáro e membro deste forum.

Muito, muito obrigado por todo o suporte e aten??o, que ainda n?o sei como retribuir. Passo a atualizar a biblioteca (e os diferentes bancos de dados) por completo.

N?o caibo em mim de alegria e gratid?o! Um forte abra?o virtual!

Boa tarde,
muito bom que tenha dado certo, obrigado pelo agradecimento.
Qualquer outro problema ou dúvida pode se sentir confortável em perguntar
estamos aqui para tentar ajudar ??

Abra?o.

Tendo criado um filtro para o export time no functions.php “tnc-bg_import_default_time_limit” tendo o tempo limite em 10, só consigo exportar cerca de 600 itens, antes de um recome?o e outro recome?o. Em uma cole??o de 1100 itens, o processo de exporta??o n?o se completa. Aumentar o tempo-limite (mudando o valor 10 para 20, por exemplo) seria uma solu??o?

O filtro…
add_filter( ‘tnc-bg_export_default_time_limit’, function () {
return 10;
});

O que busco fazer é exportar a cole??o do Tainacan para colar o conteúdo na coluna special_id no meu csv e voltar a importar, para permitir o update da cole??o sem a repeti??o de arquivos (e preciso fazer isso porque a exporta??o parece ser feita somente em UTF-8 (confere?).

Aparentemente, se eu n?o cometi nenhum engano, a altera??o do export time limit para 20 n?o resulta em altera??es.
add_filter( ‘tnc-bg_import_default_time_limit’, function () {
return 10;
});
add_filter( ‘tnc-bg_export_default_time_limit’, function () {
return 20;
});
Consegui fazer a importa??o dos arquivos, aparentemente, porque as fiz em etapas (cortando do csv os itens já importados), e gra?as ao aumento do import time limit, coisa que n?o posso fazer com a exporta??o. Consigo a exporta??o de cerca de 600 itens em uma biblioteca de 1100 itens e a exporta??o se reinicia, tal qual sucedia no problema aponado neste tópico. Por isso, reabro a quest?o aqui, em lugar de iniciar novo topic.
Conto, uma vez mais, com o seu gentil e generoso apoio, orienta??o e solu??es.

Dei-me conta de que o filtro correto era mesmo import para importa??o e exporter para exporta??o:
add_filter( ‘tnc-bg_import_default_time_limit’, function () {
return 10;
});
add_filter( ‘tnc-bg_exporter_default_time_limit’, function () {
return 20;
});

Alterei o filtro e mudei o parametro (de 10 para 20). N?o obtive nenhum resultado diferente. Cerca de 600 itens exportados e o reinício da exporta??o, come?ando do item 1. N?o sei como avan?ar. Mudei o wp-cron do exporter, também sem sucesso.

O fato é que desconfio que a solu??o do meu problema de importa??o da minha cole??o possa ter sido resultado de uma combina??o da mudan?a do tnc-bg-import_default_time_limit com o envio do csv por partes.

Preciso obter os special_item_id para que eu possa fazer atualiza??es/updates (n?o importa??o de novos itens, pelo n?o reconhecimento dos antigos, o que me obrigaria a deletar os anteriores). Para tanto, preciso fazer exporta??o da cole??o, a altera??o do meu csv (já que a exporta??o cria um csv obrigatoriamente em utf-8) com a soma de colunas (como o special_item_id) e uma nova importa??o. Isso, a cada update que eu precise fazer (já que preciso obter o special_id_item dos novos itens).

Uma solu??o de contorno seria poder fazer a exporta??o de parte da cole??o (n?o da cole??o interia), completando os special_item_ids de minha cole??o por partes e permitindo preciosa economia de tempo, além de me permitir quebrar o csv em blocos em csvs temporários, o que me garantiria completar o processo de exporta??o, como fiz com o processo de importa??o.

Boa tarde…estou tentando importar um csv de uma planilha pequena, porém, ao final do processo só consigo criar os metadados mas os itens da planilha n?o s?o carregados