oracle存储一百亿,jdbc oracle 百万级数据量存储

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-1 12:25   425   0

使用jdbc连接oracle数据库进行百万级数据插入操作。

默认的插入操作insert into tablename()values()每进行一条记录的插入都会进行commit提交操作,因此使得存储速度受到极大的影响,那么如何解决此类问题呢?

两种方法:

一、通过设置commit提交动作为非默认形式,然后设置每插入3000行(根据自己具体需求设定)进行一次提交Class.forName("oracle.jdbc.driver.OracleDriver");

conn = DriverManager.getConnection("jdbc: oracle:thin: @127.0.0.1:1521:abc", "scott", "tiger");

conn.setAutoCommit(false);//设置默认提交方式为false

stmt = conn.createStatement();

state.execute(sql);

conn.commit();//提交事务二、按照批次进行插入,然后根据自己需求进行统一批次提交Class.forName("oracle.jdbc.driver.OracleDriver");

conn = DriverManager.getConnection("jdbc: oracle:thin: @127.0.0.1:1521:abc", "scott", "tiger");

state = conn.createStatement();

for (String sql : sqlList)

{

state.addBatch(sql);

if (++count % 1000 == 0)

{

state.executeBatch();

System.out.println("现已完成"+count+"条记录插入");

}

}

state.executeBatch();

归结起来其实两种方法原理是一样的,都是按照批次进行存储。大大提高了数据存储效率,此两种方法省略了事务提交失败回滚的操作,大家可以根据需要进行回滚操作。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP