-->
These old forums are deprecated now and set to read-only. We are waiting for you on our new forums!
More modern, Discourse-based and with GitHub/Google/Twitter authentication built-in.

All times are UTC - 5 hours [ DST ]



Forum locked This topic is locked, you cannot edit posts or make further replies.  [ 1 post ] 
Author Message
 Post subject: Batch Processing, TreeMap
PostPosted: Wed Sep 30, 2009 9:42 am 
Newbie

Joined: Wed Sep 30, 2009 9:03 am
Posts: 3
Hallo,

ich bin neu hier im Forum und hoffe dass ihr mir weiterhelfen könnt.
Meine bisherige Suche bei Google und hier im Forum haben mich nicht wirklich weiter gebracht.
Ich stehe vor dem folgenden Problem:

es gibt eine Klasse Consumption, die ein Attribut vom Typ TreeMap enthält:

Code:
public class ConsumptionVo implements Serializable{

    private Map consumptionTable = new TreeMap<Date, Float>();
    private long id;
   ...

}


Die Mapping-Datei sieht dabei wie folgt aus:

Code:
<hibernate-mapping package="domain">
    <class name="ConsumptionVo" table="consumptionelmeter">
        <id name="id">
            <generator class="increment"/>
        </id>
        <map name="consumptionTable" table="consumptionentry" order-by="date asc" lazy="extra" batch-size="20">
            <key column="id" />
            <map-key column="date" type="timestamp"/>
            <element column="consumptionValue" type="float"/>
        </map>
    </class>
</hibernate-mapping>


consumptionTable kann sehr viele Werte enthalten (>100000).

Das Problem besteht darin, dass man batch Processing mit consumptionTable nicht direkt realisieren kann.
Schon beim ersten Aufruf von session.flush() werden alle Werte der consumptionTable in DB geschrieben.
(die session beim Aufruf der Methode ist beireits geöffnet und wird auserhalb der Methode geschlossen).
Und das Einfügen von Werten dauert sehr lange. Schon bei 1000 Werten benötigt man 40 Sekunden...


Code:
    public ConsumptionVo createManyEntries(ConsumptionVo consumption){
        final ConsumptionVo _consumption = consumption;
        return getHibernateTemplate().execute(new HibernateCallback<ConsumptionVo>() {
            public ConsumptionVo doInHibernate(Session session) throws HibernateException, SQLException {
                Collection<Date> menge = _consumption.getConsumptionTable().keySet();
                Map table = (Map) _consumption.getConsumptionTable();
                int i=1;
                for (Iterator<Date> it = menge.iterator(); it.hasNext();){
                    Date tmp = it.next();
                    consumptionDB.getConsumptionTable().put(tmp, table.get(tmp));
                    table.put(tmp, table.get(tmp));
                    session.saveOrUpdate(_consumption);
                    if ( i%20 == 0 ){
                        session.flush();
                        session.clear();
                    }
                    i++;
                }
                return _consumption;
            }
        });
    }


Besteht vielleicht eine Möglichkeit batch processing in dem Fall zu realisieren ?
Oder gibt es vielleicht eine andere Lösung ein Objekt ConsumptionVo mit dem Attribut vom Typ TreeMap,
das sehr viele Einträge enthält ,in der Datenbank zeiteffizient zu speichern ?
Für jede Hilfe und jeden Rat wäre ich sehr dankbar !

MfG
user737


Top
 Profile  
 
Display posts from previous:  Sort by  
Forum locked This topic is locked, you cannot edit posts or make further replies.  [ 1 post ] 

All times are UTC - 5 hours [ DST ]


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum

Search for:
© Copyright 2014, Red Hat Inc. All rights reserved. JBoss and Hibernate are registered trademarks and servicemarks of Red Hat, Inc.