注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

姑射道人的博客

博客新地址:nixuchen.com

 
 
 

日志

 
 

Android使用SQLITE3 WAL模式 并发处理  

2014-05-06 17:37:38|  分类: android |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

sqlite是支持write ahead logging(WAL)模式的,开启WAL模式可以提高写入数据库的速度,读和写之间不会阻塞,但是写与写之间依然是阻塞的,但是如果使用默认的TRUNCATE模式,当写入数据时会阻塞android中其他线程或者进程的读操作,并发降低。 相反,使用WAL可以提高并发。 由于使用WAL比ROLLBACK JOURNAL的模式减少了写的I/O,所以写入时速度较快,但是由于在读取数据时也需要读取WAL日志验证数据的正确性,所以读取数据相对要慢。 所以大家也要根据自己应用的场景去使用这种模式。

那么在android中如何开启WAL模式呢?

看SQLiteDatabase开启WAL的核心方法源码。

  1. public boolean enableWriteAheadLogging() {  
  2.         // make sure the database is not READONLY. WAL doesn't make sense for readonly-databases.  
  3.         if (isReadOnly()) {  
  4.             return false;  
  5.         }  
  6.         // acquire lock - no that no other thread is enabling WAL at the same time  
  7.         lock();  
  8.         try {  
  9.             if (mConnectionPool != null) {  
  10.                 // already enabled  
  11.                 return true;  
  12.             }  
  13.             if (mPath.equalsIgnoreCase(MEMORY_DB_PATH)) {  
  14.                 Log.i(TAG, "can't enable WAL for memory databases.");  
  15.                 return false;  
  16.             }  
  17.   
  18.             // make sure this database has NO attached databases because sqlite's write-ahead-logging  
  19.             // doesn't work for databases with attached databases  
  20.             if (mHasAttachedDbs) {  
  21.                 if (Log.isLoggable(TAG, Log.DEBUG)) {  
  22.                     Log.d(TAG,  
  23.                             "this database: " + mPath + " has attached databases. can't  enable WAL.");  
  24.                 }  
  25.                 return false;  
  26.             }  
  27.             mConnectionPool = new DatabaseConnectionPool(this);  
  28.             setJournalMode(mPath, "WAL");  
  29.             return true;  
  30.         } finally {  
  31.             unlock();  
  32.         }  
  33.     }  

在源码的注释中是这样写到:“This method enables parallel execution of queries from multiple threads on the same database.” 通过此方法可以支持多个线程并发查询一个数据库。 并在注释中给出了实例代码如下:

  1. SQLiteDatabase db = SQLiteDatabase.openDatabase("db_filename",   
  2. cursorFactory,CREATE_IF_NECESSARY, myDatabaseErrorHandler);  
  3.  db.enableWriteAheadLogging();  

通过调用db.enableWriteAheadLogging即可开启WAL模式。 在enableWriteAheadLogging方法中关注的核心点:

  1. mConnectionPool = new DatabaseConnectionPool(this);  
  2. setJournalMode(mPath, "WAL");  

1.创建数据库连接池,由于要支持并发访问所以需要连接池的支持。 

2.调用setJournalMode设置模式为WAL.

当开启了WAL模式之后,事务的开始需要注意,在源码的注释是这样写到。

  1. Writers should use {@link #beginTransactionNonExclusive()} or  
  2.      * {@link #beginTransactionWithListenerNonExclusive(SQLiteTransactionListener)}  

调用者需要使用beginTransactionNonExclusive或者beginTransactionWithListenerNonExclusive来开始事务,也就是执行:BEGIN IMMEDIATE; 支持多并发。

注:关于EXCLUSIVE与IMMEDIATE模式请参考我的另一篇博客 http://blog.csdn.net/degwei/article/details/9672795

当开启了WAL模式更新数据时,会先将数据写入到*.db-wal文件中,而不是直接修改数据库文件,当执行checkpoint时或某个时间点才会将数据更新到数据库文件。当出现rollback也只是清除wal日志文件,而ROLLBACK JOURNAL模式,当数据有更新时,先将需要修改的数据备份到journal文件中,然后修改数据库文件,当发生rollback,从journal日志中取出数据,并修改数据库文件,然后清除journal日志。 从以上流程来看 WAL在数据更新上I/0量要小,所以写操作要快。

当开启了WAL模式磁盘中是这样的文件格式,当数据文件名为:test时 如下图:


图中红色部分为WAL的日志文件。

那么WAL日志中的数据何时更新到数据库文件中,刚才提到当手动执行checkpoint时或者由当前线程的某个时间点提交。

如何手动执行checkpoint,看SQLiteDatabase.endTransaction源码:

  1. /** 
  2.      * End a transaction. See beginTransaction for notes about how to use this and when transactions 
  3.      * are committed and rolled back. 
  4.      */  
  5.     public void endTransaction() {  
  6.         verifyLockOwner();  
  7.         try {  
  8.             ...  
  9.             if (mTransactionIsSuccessful) {  
  10.                 execSQL(COMMIT_SQL);  
  11.                 // if write-ahead logging is used, we have to take care of checkpoint.  
  12.                 // TODO: should applications be given the flexibility of choosing when to  
  13.                 // trigger checkpoint?  
  14.                 // for now, do checkpoint after every COMMIT because that is the fastest  
  15.                 // way to guarantee that readers will see latest data.  
  16.                 // but this is the slowest way to run sqlite with in write-ahead logging mode.  
  17.                 if (this.mConnectionPool != null) {  
  18.                     execSQL("PRAGMA wal_checkpoint;");  
  19.                     if (SQLiteDebug.DEBUG_SQL_STATEMENTS) {  
  20.                         Log.i(TAG, "PRAGMA wal_Checkpoint done");  
  21.                     }  
  22.                 }  
  23.                 // log the transaction time to the Eventlog.  
  24.                 if (ENABLE_DB_SAMPLE) {  
  25.                     logTimeStat(getLastSqlStatement(), mTransStartTime, COMMIT_SQL);  
  26.                 }  
  27.             } else {  
  28.                 ...  
  29.             }  
  30.         } finally {  
  31.             mTransactionListener = null;  
  32.             unlockForced();  
  33.             if (false) {  
  34.                 Log.v(TAG, "unlocked " + Thread.currentThread()  
  35.                         + ", holdCount is " + mLock.getHoldCount());  
  36.             }  
  37.         }  
  38.     }  

在源码注释是这样写到:“if write-ahead logging is used, we have to take care of checkpoint.” 如果使用了WAL模式,那么就会执行checkpoint,当mConnectionPool != null时表示使用了WAL模式,也只有当WAL模式下才会有数据库连接池。 执行PRAGMA wal_checkpoint;即:将wal日志同步到数据库文件。 也就是当我们执行endTransaction时才会提交checkpoint。

在android中默认为TRUNCATE模式 , 请看如下源码:

  1. public static SQLiteDatabase openDatabase(String path, CursorFactory factory, int flags,  
  2.             DatabaseErrorHandler errorHandler) {  
  3.         SQLiteDatabase sqliteDatabase = openDatabase(path, factory, flags, errorHandler,  
  4.                 (short0 /* the main connection handle */);  
  5.   
  6.         // set sqlite pagesize to mBlockSize  
  7.         if (sBlockSize == 0) {  
  8.             // TODO: "/data" should be a static final String constant somewhere. it is hardcoded  
  9.             // in several places right now.  
  10.             sBlockSize = new StatFs("/data").getBlockSize();  
  11.         }  
  12.         sqliteDatabase.setPageSize(sBlockSize);  
  13.         sqliteDatabase.setJournalMode(path, "TRUNCATE");  
  14.   
  15.         // add this database to the list of databases opened in this process  
  16.         synchronized(mActiveDatabases) {  
  17.             mActiveDatabases.add(new WeakReference<SQLiteDatabase>(sqliteDatabase));  
  18.         }  
  19.         return sqliteDatabase;  
  20.     }  

通过sqliteDatabase.setJournalMode(path, "TRUNCATE");设置为TRUNCATE模式。


关于WAL模式下数据库连接池的解析,请看另外一篇blog。

  评论这张
 
阅读(2034)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017