hibernate 批處理

某些場景下，我們需要使用 hibernate 將大量的數(shù)據(jù)上傳數(shù)據(jù)庫中。

以下是使用 hibernate 來達(dá)到這個的代碼片段：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();
for ( int i=0; i<100000; i++ ) {
    employee employee = new employee(.....);
    session.save(employee);
}
tx.commit();
session.close();

因?yàn)槟J(rèn)下，hibernate 將緩存所有的在會話層緩存中的持久的對象并且最終你的應(yīng)用程序?qū)⒑?outofmemoryexception 在第 50000 行的某處相遇。你可以解決這個問題，如果你在 hibernate 使用批處理。

為了使用批處理這個特性，首先設(shè)置 hibernate.jdbc.batch_size 作為批處理的尺寸，取一個依賴于對象尺寸的值 20 或 50。這將告訴 hibernate 容器每 x 行為一批插入。為了在你的代碼中實(shí)現(xiàn)這個我們將需要像以下這樣做一些修改：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();
for ( int i=0; i<100000; i++ ) {
    employee employee = new employee(.....);
    session.save(employee);
    if( i % 50 == 0 ) { // same as the jdbc batch size
        //flush a batch of inserts and release memory:
        session.flush();
        session.clear();
    }
}
tx.commit();
session.close();

上面的代碼將使 insert 操作良好運(yùn)行，但是如果你愿意進(jìn)行 update 操作那么你可以使用以下代碼達(dá)到這一點(diǎn)：

session session = sessionfactory.opensession();
transaction tx = session.begintransaction();

scrollableresults employeecursor = session.createquery("from employee")
                                   .scroll();
int count = 0;

while ( employeecursor.next() ) {
   employee employee = (employee) employeecursor.get(0);
   employee.updateemployee();
   seession.update(employee);
   if ( ++count % 50 == 0 ) {
      session.flush();
      session.clear();
   }
}
tx.commit();
session.close();

批處理樣例

讓我們通過添加 hibernate.jdbc.batch_size 屬性來修改配置文件：

<?xml version="1.0" encoding="utf-8"?>
<!doctype hibernate-configuration system
"http://www.hibernate.org/dtd/hibernate-configuration-3.0.dtd">

<hibernate-configuration>
   <session-factory>
   <property name="hibernate.dialect">
      org.hibernate.dialect.mysqldialect
   </property>
   <property name="hibernate.connection.driver_class">
      com.mysql.jdbc.driver
   </property>

   <!-- assume students is the database name -->
   <property name="hibernate.connection.url">
      jdbc:mysql://localhost/test
   </property>
   <property name="hibernate.connection.username">
      root
   </property>
   <property name="hibernate.connection.password">
      root123
   </property>
   <property name="hibernate.jdbc.batch_size">
      50
   </property>

   <!-- list of xml mapping files -->
   <mapping resource="employee.hbm.xml"/>

</session-factory>
</hibernate-configuration>

考慮以下 pojo employee 類：

public class employee {
   private int id;
   private string firstname;
   private string lastname;   
   private int salary;  

   public employee() {}
   public employee(string fname, string lname, int salary) {
      this.firstname = fname;
      this.lastname = lname;
      this.salary = salary;
   }
   public int getid() {
      return id;
   }
   public void setid( int id ) {
      this.id = id;
   }
   public string getfirstname() {
      return firstname;
   }
   public void setfirstname( string first_name ) {
      this.firstname = first_name;
   }
   public string getlastname() {
      return lastname;
   }
   public void setlastname( string last_name ) {
      this.lastname = last_name;
   }
   public int getsalary() {
      return salary;
   }
   public void setsalary( int salary ) {
      this.salary = salary;
   }
}

讓我們創(chuàng)建以下的 employee 表單來存儲 employee 對象：

create table employee (
   id int not null auto_increment,
   first_name varchar(20) default null,
   last_name  varchar(20) default null,
   salary     int  default null,
   primary key (id)
);

以下是將 employee 對象和 employee 表單配對的映射文件。

<?xml version="1.0" encoding="utf-8"?>
<!doctype hibernate-mapping public
 "-//hibernate/hibernate mapping dtd//en"
 "http://www.hibernate.org/dtd/hibernate-mapping-3.0.dtd">

<hibernate-mapping>
   <class name="employee" table="employee">
      <meta attribute="class-description">
         this class contains the employee detail.
      </meta>
      <id name="id" type="int" column="id">
         <generator class="native"/>
      </id>
      <property name="firstname" column="first_name" type="string"/>
      <property name="lastname" column="last_name" type="string"/>
      <property name="salary" column="salary" type="int"/>
   </class>
</hibernate-mapping>

最后，我們將用 main() 方法來創(chuàng)建我們的應(yīng)用程序類以運(yùn)行應(yīng)用程序，我們將使用 session 對象和可用的 flush() 和 clear() 方法以讓 hibernate 持續(xù)將這些記錄寫入數(shù)據(jù)庫而不是在內(nèi)存中緩存它們。

import java.util.*;

import org.hibernate.hibernateexception;
import org.hibernate.session;
import org.hibernate.transaction;
import org.hibernate.sessionfactory;
import org.hibernate.cfg.configuration;

public class manageemployee {
   private static sessionfactory factory;
   public static void main(string[] args) {
      try{
         factory = new configuration().configure().buildsessionfactory();
      }catch (throwable ex) {
         system.err.println("failed to create sessionfactory object." + ex);
         throw new exceptionininitializererror(ex);
      }
      manageemployee me = new manageemployee();

      /* add employee records in batches */
      me.addemployees( );
   }
   /* method to create employee records in batches */
   public void addemployees( ){
      session session = factory.opensession();
      transaction tx = null;
      integer employeeid = null;
      try{
         tx = session.begintransaction();
         for ( int i=0; i<100000; i++ ) {
            string fname = "first name " + i;
            string lname = "last name " + i;
            integer salary = i;
            employee employee = new employee(fname, lname, salary);
            session.save(employee);
            if( i % 50 == 0 ) {
               session.flush();
               session.clear();
            }
         }
         tx.commit();
      }catch (hibernateexception e) {
         if (tx!=null) tx.rollback();
         e.printstacktrace();
      }finally {
         session.close();
      }
      return ;
   }
}

編譯和執(zhí)行

這里是編譯和運(yùn)行以上提及的應(yīng)用程序的步驟。確保你已經(jīng)在處理編譯和運(yùn)行前已經(jīng)正確設(shè)置了 path 和 classpath。

• 如上面解釋的那樣創(chuàng)建 hibernate.cfg.xml 配置文件。
• 如上面顯示的那樣創(chuàng)建 employee.hbm.xml 映射文件。
• 如上面顯示的那樣創(chuàng)建 employee.java 源文件并編譯。
• 如上面顯示的那樣創(chuàng)建 manageemployee.java 源文件并編譯。
• 執(zhí)行 manageemployee 二進(jìn)制代碼來運(yùn)行可以在 employee 表單中創(chuàng)建 100000 個記錄的程序。