Mémoire et batch processing

hhuugguueess · **Joined:** Tue Aug 02, 2005 10:50 am **Posts:** 6

Salut,

J'essaie d'insérer dans une table SQL une quantité de donnée relativement importante (2500 enregistrement) qui doivent en plus être liée avec d'autres tables ...
Comme j'ai lu dans la documentation hibernate que le batch processing était assez gourmand en mémoire j'ai utilisé leur astuce qui consiste à rafraichir l'objet session tout les certains laps de temps.

Cette astuce fonctionne donc bien mais au bout d'un certain temps (environ vers le 500 enregistrement) apparait un message d'erreur pour tous les enregistrements suivants :

2005-08-10 10:28:43,017 ERROR org.hibernate.event.def.AbstractFlushingEventListener java - Could not synchronize database state with session
org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update

... cette exception se produit au moment ou je réalise le tx.commit sur le 501ème enregistement.

Je ne comprends pas trop pourquoi ce message apparait à ce moment la (pourquoi pas au premier rafraichissement de session qui lui ce fait tout les 20 enregistrements).

Je ne pense pas que l'erreur vienne de mon code car si je met pas en place l'astuce hibernate pour le batch processing (effacement de la mémoire) les insertions vont beaucoup beaucoup moins vite mais fonctionnent pour tous les enregistrements.

Merci d'avance pour votre aide ou vos réflexions

scesbron · **Joined:** Thu Sep 04, 2003 8:23 am **Posts:** 368

C'est quoi exactement l'astuce ?
Peux tu mettre un bout de code pour voir ce que tu fais.
Il peut être intéressant de faire régulièrement un clear de la session ou bien de reprendre une nouvelle session.

hhuugguueess · **Joined:** Tue Aug 02, 2005 10:50 am **Posts:** 6

L'astuce est grosso modo la suivante :

Code:

// Enregistrement du ième prospect
rech_prospect.setProspect(prospect);
// Tout les 20 enregistrements (la taille du JDBC batch) on réinitialise la
// session.
if (i%20==0) {
  log.info("Rafraichissement de la session hibernate");
  Session session = HibernateUtil.currentSession();
  session.flush();
  session.clear();
}

Ce code fonctionne très bien pour les 500 premiers enregistrement mais après ca plante ...

scesbron · **Joined:** Thu Sep 04, 2003 8:23 am **Posts:** 368

2 questions supplémentaires

- As tu une stack trace plus complète pour voir où ça plante
- Tu parles dans ton premier post de tx.commit mais il n'y a pas de tx.commit dans ton exemple de code

hhuugguueess · **Joined:** Tue Aug 02, 2005 10:50 am **Posts:** 6

Oui j'ai une stack trace plus complète le problème est quelle fait réference à la classe rechProspect (c'est elle d'ailleurs qui contient le commit()).
En fait j'ai essayer de simplifier l'explication de mon problème.

Mais je peux si tu le souhaites t'envoyer tout le code source nécessaire à la compréhension du problème ...

Merci d'avance

scesbron · **Joined:** Thu Sep 04, 2003 8:23 am **Posts:** 368

L'idéal serait d'avoir juste la stack trace de l'exception pour voir d'où vient exactement l'erreur ainsi que tout le code qui faire référence à hibernate. Mets tout ça dans un message pour que tout le monde puisse voir