DM模块是上层模块和文件系统之间的一个抽象层,向下直接读写文件,向上提供数据的包装;另外就是日志功能。 可以注意到,无论是向上还是向下,DM 都提供了一个缓存的功能,用内存操作来保证效率
更详细的说
1) 向下分页管理 DB 文件,并提供缓存,key是页号,value是page; 2) 管理日志文件,保证在发生错误时可以根据日志进行恢复; 3) 向上抽象 DB 文件为 DataItem 供上层模块使用,并提供缓存,key是uid,value是DataItem;一 缓存框架
这里采用的是
引用计数框架 当引用归零时,缓存就会驱逐这个资源。
private HashMapcache; // 缓存里的数据 private HashMap references; // 资源的引用个数 private HashMap getting; // 正在从数据源被获取的资源
获取资源流程:
1 获取数据要先判断getting.get()里面有无被其他线程正在从数据源请求这个资源,有,等待, 无,判断缓存中有无这个资源 2 判断缓存中有无这个资源,有从缓存中拿,引用加1,无,在getting中注册,从数据库中拿。
获取资源源码
protected T get(long key) throws Exception {
//在通过 get() 方法获取资源时,首先进入一个死循环,来无限尝试从缓存里获取。
// 首先就需要检查这个时候是否有其他线程正在从数据源获取这个资源,如果有,就过会再来看看
while(true) {
lock.lock();
if(getting.containsKey(key)) {
// 请求的资源正在被其他线程获取
lock.unlock();
try {
Thread.sleep(1);
} catch (InterruptedException e) {
e.printStackTrace();
continue;
}
continue;
}
//如果资源在缓存中,就可以直接获取并返回了,记得要给资源的引用数 +1。
// 否则,如果缓存没满的话,就在 getting 中注册一下,该线程准备从数据源获取资源了。
if(cache.containsKey(key)) {
T obj = cache.get(key);
references.put(key, references.get(key) + 1);
lock.unlock();
return obj;
}
if(maxResource > 0 && count == maxResource) {
lock.unlock();
throw Error.CacheFullException;
}
// 如果资源不在缓存中,且缓冲没满,就在 getting 中注册一下,该线程准备从数据源获取资源了。
count ++;
getting.put(key, true);
lock.unlock();
break;
}
//从数据源获取资源就比较简单了,直接调用那个抽象方法即可,
// 获取完成记得从 getting 中删除 key。
T obj = null;
try {
//从数据库中获取资源
obj = getForCache(key);
} catch(Exception e) {
lock.lock();
count --;
getting.remove(key);
lock.unlock();
throw e;
}
//成功从数据库获取资源后,移除getting,把资源放入缓存,引用计数器加1
lock.lock();
getting.remove(key);
cache.put(key, obj);
references.put(key, 1);
lock.unlock();
return obj;
}
释放缓存
释放一个缓存直接从 references 中减 1,如果已经减到 0 了,就可以回源,并且删除缓存中所有相关的结构了
protected void release(long key) {
lock.lock();
try {
int ref = references.get(key)-1;
if(ref == 0) {
T obj = cache.get(key);
releaseForCache(obj);
references.remove(key);
cache.remove(key);
count --;
} else {
references.put(key, ref);
}
} finally {
lock.unlock();
}
}
安全关闭
缓存应当还有以一个安全关闭的功能,在关闭时,不管引用是否为0,将缓存中所有的资源强行回源。
protected void close() {
lock.lock();
try {
Set keys = cache.keySet();
for (long key : keys) {
T obj = cache.get(key);
releaseForCache(obj);
references.remove(key);
cache.remove(key);
}
} finally {
lock.unlock();
}
}
共享内存数组
在 Java 中,当你执行类似 subArray 的操作时,只会在底层进行一个复制,无法同一片内存。 于是,我写了一个 SubArray 类,来(松散地)规定这个数组的可使用范围,后面会用到。
实现两个数组共享内存
public class SubArray {
public byte[] raw;//有效位 data大小 data
public int start;
public int end;
public SubArray(byte[] raw, int start, int end) {
this.raw = raw;
this.start = start;
this.end = end;
}
}



