栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

具有8000万条记录的表并添加索引需要超过18个小时(或永远)!怎么办?

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

具有8000万条记录的表并添加索引需要超过18个小时(或永远)!怎么办?

好吧,事实证明,这个问题不仅仅是一个简单的创建表,为索引编入索引而忘记的问题:)这是我做的,以防其他人遇到相同的问题(我使用了IP地址示例,但它可以解决其他问题)数据类型):

问题:您的表有数百万个条目,您需要非常快速地添加索引

用例: 考虑在查找表中存储数百万个IP地址。添加IP地址应该不是什么大问题,但是在IP地址上创建索引要花费14个小时以上。

解决方案
:使用MySQL的分区策略对表进行分区

情况#1:尚未创建所需的表时

CREATE TABLE IPADDRESSES(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id, ipaddress)) ENGINE=MYISAMPARTITION BY HASH(ipaddress)PARTITIONS 20;

情况2:所需的表已创建时。 似乎有一种方法可以使用ALTER
TABLE来执行此操作,但是我还没有找到合适的解决方案。相反,有一个效率稍低的解决方案:

CREATE TABLE IPADDRESSES_TEMP(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id)) ENGINE=MYISAM;

将您的IP地址插入此表。然后创建带有分区的实际表:

CREATE TABLE IPADDRESSES(  id INT UNSIGNED NOT NULL AUTO_INCREMENT,  ipaddress BIGINT UNSIGNED,  PRIMARY KEY(id, ipaddress)) ENGINE=MYISAMPARTITION BY HASH(ipaddress)PARTITIONS 20;

然后最后

INSERT INTO IPADDRESSES(ipaddress) SELECt ipaddress FROM IPADDRESSES_TEMP;DROP TABLE IPADDRESSES_TEMP;ALTER TABLE IPADDRESSES ADD INDEX(ipaddress)

然后您就可以了…在新表上建立索引在具有1GB RAM的3.2GHz机器上花了我大约2个小时:)希望这会有所帮助。



转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/416748.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号