栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Python

Python量化数据仓库搭建系列1:数据库安装与操作

Python 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Python量化数据仓库搭建系列1:数据库安装与操作

Python量化数据仓库搭建系列1:数据库安装与操作

本系列教程为量化开发者,提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源,将金融基础数据落到本地数据库。教程提供全套源代码,包括历史数据下载与增量数据更新,数据更新任务部署与日常监控等操作。

一、数据仓库

数据仓库(Data Warehouse)简称DW或DWH,数据仓库顾名思义,是一个很大的数据存储集合。是数据库的一种概念上的升级,输入方是各种各样的数据源,最终的输出用于数据分析、量化分析、数据挖掘、数据报表等方向,从逻辑上讲数据仓库和数据库是没有什么区别的。

二、数据库选型

目前常用的开源免费数据库有MySQL、MongoDB 、Postgresql 和 SQLite (Python自带)。在2020-2021年DB-Engines 排行榜前十的见下图,各个数据库有各自的特点和适用场景。具体选用哪一个作为量化投资的数据库,取决于存储的数据特点、性能要求和成本。对于个人来说,硬件水平、技术水平、费用成本和学习时间成本等因素都相当重要。

本系列教程,选用MySQL数据库为例,讲解数据仓库的搭建过程。其他数据库相关教程,也将会陆续推出,敬请期待。

MySQL数据库是当今最流行的开放源码数据库之一,为用户提供了一个相对简单的解决方案,适用于广泛的应用程序部署。MySQL Community Server是MySQL数据库的免费开源版,对个人用户非常友好。

三、数据库安装 1、MySQL Community Server安装包下载

安装包下载网页为:https://dev.mysql.com/downloads/mysql/,选择对应的操作系统,点击下载,例如下图为下载64位Windows系统MySQL Community Server安装包:

2、软件安装

A、双击安装包,进行安装;

B、Choosing a Setup Type页面,选择Developer Default,点击next进入下一步;

C、Path Conflicts页面,确认安装路径与数据存放路径,点击next进入下一步;

D、Check Requirements页面,检查安装条件,直接点击next进入下一步;

E、Installation页面,点击execute执行(此处等待时间较久),执行完后点击next进入下一步;

F、Product Configuration页面,点击next进入下一步;

G、Type and Networking页面,点击next进入下一步;

H、Authentication Method页面,点击next进入下一步;

I、Accounts and Roles页面,设置Root密码,点击next进入下一步;

J、Windows Service页面,点击next进入下一步;

K、Apply Configuration页面,点击execute执行,点击Finish;

L、Product Configuration页面,点击next进入下一步;

M、MySQL Router Configuration页面,点击Finish;

N、Product Configuration页面,点击next进入下一步;

O、Connect To Server页面,填写并check一下root密码,点击next进入下一步;、

P、Apply Configuration页面,点击execute执行,点击Finish;

Q、Product Configuration页面,点击next进入下一步;

R、Installation Complete页面,点击Finish;

完成上述步骤,即可完成安装。

四、MySQL基本使用教程 1、创建数据库

create database <数据库名>;

在MySQL Workbench界面中,建库操作如下图:

2、删除库

drop database <数据库名>;

3、创建表

create table table_name(column_name column_type);

以股票列表为例,建表代码如下:

CREATE TABLE udata.TB_Stock_List (
                        secu_code CHAR(20),
                        hs_code CHAR(20),
                        secu_abbr CHAR(20),
                        chi_name CHAR(40),
                        secu_market CHAR(20), 
                        listed_state CHAR(20),
                        listed_sector CHAR(20),
                        updatetime CHAR(20));
4、删除表

drop table table_name;

5、修改表名

alter table old_name rename to new_name或rename table old_name to new_name;

6、增加字段

alter table table_name add column_name column_type;

7、修改字段

alter table table_name change column_name new_column_name new_column_name_type;

8、删除字段

alter table table_name drop column_name;

9、插入数据
INSERT INTO table_name ( field1, field2,...fieldN )
						VALUES
                       ( value1, value2,...valueN );
10、查询数据
SELECT column_name1,column_name2
FROM table_name
[WHERe Clause]
[LIMIT N]

A、查询语句中,可以使用一个或者多个表,表之间使用逗号分割,并使用WHERe语句来设定查询条件;

B、SELECt 命令可以读取一条或者多条记录;

C、可以使用星号(*)来代替其他字段,SELECT语句会返回表的所有字段数据;

D、可以使用 WHERe 语句来包含任何条件;

E、可以使用 LIMIT 属性来设定返回的记录数

11、WHERe用法
SELECT field1, field2,...fieldN FROM table_name1, table_name2
WHERe condition1 AND condition2

A、使用 AND 或者 OR 指定一个或多个条件;

B、WHERe 子句也可以运用于 SQL 的 DELETe 或者 UPDATE 命令;

C、WHERe 子句类似于程序语言中的 if 条件;

12、UPDATE用法
UPDATE table_name SET field1=new-value1, field2=new-value2
[WHERe Clause]

A、可以同时更新一个或多个字段;

13、DELETE用法
DELETE FROM table_name [WHERe Clause]

A、如果没有指定 WHERe 子句,MySQL 表中的所有记录将被删除;

14、排序
SELECt field1, field2,...fieldN FROM table_name1, table_name2...
ORDER BY field1 [ASC [DESC][默认 ASC]], [field2...] [ASC [DESC][默认 ASC]]

A、可以设定多个字段来排序;

B、可以使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下,它是按升序排列;

15、其他

UNIOn、LIKE、GROUP BY、JOIN、NULL、索引、临时表等等,更多用法可参考专业教程系统学习。

下一节《Python量化数据仓库搭建系列2:Python操作数据库》

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/350226.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号