批量数据插入 (.Net, ODBC)
我们有时候需要向数据库大量插入数据,这种情况下效率成了个关键问题。如果是数据进行转移,我们可以使用SqlBulkCopy类,还有一个很傻的办法就是将insert语句拼装一下,比如将100个sql语句连起来构成一个sql,然后执行。前面一种办法只适合转移数据,如果直接插入就不行了,后面那个办法有的数据库不支持。
其实在.Net里我们可以用DataAdapter解决这个问题,不过方法比较土鳖。大体思路是用一个条件恒定不满足的select语句先获取表结构,Fill一个空的DataTable。然后用CommandBuilder构建增删改语句,最后批量的先将数据插入到这个DataTable里面,然后用DataAdapter的Update方法更新。这样会快很多。
下面的例子向TimesTen数据库插入了100000条数据,使用了.Net的ODBC接口,在我电脑上(intel i3 530, 4G)的运行时间是59.7秒。当然,代码比较糙,还有待优化。
1
2 using (ODBCConnection con = new ODBCConnection("Dsn=TimesTenClient"))
3 {
4 ODBCCommand command = new ODBCCommand("SELECT * FROM PEOPLE WHERE 1=2",con);
5 ODBCDataAdapter adapter = new ODBCDataAdapter(command);
6 ODBCCommandBuilder cmdBuilder = new ODBCCommandBuilder(adapter);
7 var dt = new DataTable();
8 adapter.Fill(dt);
9
10 int count = 0;
11 for (int i = 0; i < 100000; i++)
12 {
13 if (count > 1000)
14 {
15 adapter.Update(dt);
16
17 dt.Rows.Clear();
18 count = 0;
19 }
20 dt.Rows.Add(i, "alala");
21 Show.Show(i.ToString());
22 Show.ShowLine();
23 ++count;
24 }
25 }