栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何在快速时间范围查询中将时间序列与Sqlite一起使用?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何在快速时间范围查询中将时间序列与Sqlite一起使用?

第一个解决方案

问题中详述的方法(2)似乎效果很好。在基准测试中,我获得了:

  • 天真的方法,不带索引:18 MB数据库,86毫秒查询时间
  • 天真的方法,带有索引:32 MB数据库,12 ms查询时间
  • 方法(2): 18 MB数据库,12毫秒查询时间

这里的关键点是

dt
用作
INTEGER PRIMARY KEY
,因此 它将是行ID本身,使用B树,并且不会 有其他隐藏
rowid
列。因此,我们避免了会产生对应关系的额外索引
dt => rowid
:这
dt
行ID。

我们还使用

AUTOINCREMENT
它在内部创建一个
sqlite_sequence
表,该表跟踪最后添加的ID。插入时,这是非常有用的:因为它是可能的两个事件都在几秒钟内的同一时刻(有可能甚至毫秒或微秒时间戳,操作系统可能会截断精度),我们使用的最大
timestamp*10000
last_added_ID+ 1
,以确保它的独特:

 MAX(?, (SELECt seq FROM sqlite_sequence) + 1)

代码:

import sqlite3, random, timedb = sqlite3.connect('test.db')db.execute("CREATE TABLE data(dt INTEGER PRIMARY KEY AUTOINCREMENT, label TEXT);")t = 1600000000for i in range(1000*1000):    if random.randint(0, 100) == 0:  # timestamp increases of 1 second with probability 1%        t += 1    db.execute("INSERT INTO data(dt, label) VALUES (MAX(?, (SELECt seq FROM sqlite_sequence) + 1), 'hello');", (t*10000, ))db.commit()# t will range in a ~ 10 000 seconds windowt1, t2 = 1600005000*10000, 1600005100*10000  # time range of width 100 seconds (i.e. 1%)start = time.time()for _ in db.execute("SELECt 1 FROM data WHERe dt BETWEEN ? AND ?", (t1, t2)):     passprint(time.time()-start)

使用
WITHOUT ROWID
桌子

这是

WITHOUT ROWID
提供 8毫秒
查询时间的另一种方法。由于使用时AUTOINCREMENT不可用,因此我们必须自己实现一个自动递增的id
WITHOUT ROWID

WITHOUT ROWID
当我们要使用a
PRIMARY KEY(dt, another_column1, another_column2,id)
并避免有多余的
rowid
列时很有用。而不是拥有一棵B树
rowid
和拥有一棵B树
(dt, another_column1,...)
,我们只有一棵。

db.executescript("""    CREATE TABLE autoinc(num INTEGER); INSERT INTO autoinc(num) VALUES(0);    CREATE TABLE data(dt INTEGER, id INTEGER, label TEXT, PRIMARY KEY(dt, id)) WITHOUT ROWID;    CREATE TRIGGER insert_trigger BEFORE INSERT ON data BEGIN UPDATe autoinc SET num=num+1; END;    """)t = 1600000000for i in range(1000*1000):    if random.randint(0, 100) == 0: # timestamp increases of 1 second with probabibly 1%        t += 1    db.execute("INSERT INTO data(dt, id, label) VALUES (?, (SELECT num FROM autoinc), ?);", (t, 'hello'))db.commit()# t will range in a ~ 10 000 seconds windowt1, t2 = 1600005000, 1600005100  # time range of width 100 seconds (i.e. 1%)start = time.time()for _ in db.execute("SELECt 1 FROM data WHERe dt BETWEEN ? AND ?", (t1, t2)):     passprint(time.time()-start)

所有这些方法使用的ID为:

[---- timestamp ----][---- random and/or incremental ----]


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/670351.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号