Cassandra使用简介 - Cassandra Knowledge Base

命令

用途

• sstabledump

将指定SSTable的内容以JSON格式导出(dump)到标准输出上

用法： sstabledump

• sstableloader

将指定目录中的sstable批量加载到所配置的集群中。

用法： sstabledump

• sstablemetadata

显示指定表相关数据文件Data.db的所有元数据信息。

用法：sstableloader

• sstableutil

显示指定表的相关sttable系列

用法： sstableutil

其它命令还包括：sstableexpirdblockers、sstablelevelreset、sstableofflinerelevel、sstablerepairdset、sstablesrub、sstablesplit、sstablrupgrade和sstableverify等，这一系列工具对于DBA角色提供了不同层面的工具。

cassandra-stress用于cassandra的基准测试和负载测试 (benchmark、load-test), 它支持测试任意的表及CQL操作，便于用户对自己的数据模型进行基准测试。

命令行为：

cassandra-stress  [options]

该工具提供了同时读、写或者混合读写等功能支持以及包括启动的线程数等多种选型，用于多种测试场景。

通过用户模式(user mode)及不同描述文件（profile, yaml文件格式)来进行测试场景的设计实施。

可以通过选项-graph将测试结果进行输出。 如下列命令:

cassandra-stress user profile=./stress-example.yaml "ops(insert=1,latest_event=1,events=1)" -graph file=graph.html title="Awesome graph"

具体可以参考：

Cassandra Stress | Apache Cassandra Documentation

Cassandra可以采取多种安装方式，可以采用Docker安装、Linux系统自动安装包及手动下载安装包。

官方参考页面如下： Installing Cassandra | Apache Cassandra Documentation

Cassandra安装需要Java 8或Java 11版本支持， 可以采用Oracle或OpenJDK发布的版本，相关信息参见如下：

Orace: Java Downloads | Oracle

Open JDK: OpenJDK

另外，cqlsh运用需要python 3.6+ 或 python 2.7版本环境支持。

3.1.1 快速安装

参见 Apache Cassandra | Apache Cassandra Documentation （2022年1月地址)

可以按以下步骤：

• 获取Docker Cassandra镜像

docker pull cassandra:latest

• 启动Cassandra容器

docker run --name cassandra cassandra

或

docker run --rm -d --name cassandra --hostname cassandra --network cassandra cassandra

需要注意的是：Docker早期版本不支持 -rm -d 共用。

以下为对安装后的验证。

• 进行Cassandra基本库表操作

采用类似SQL的Cassandra Query Lanague(CQL)可以进行库表的操作，可以将如下操作存入data.cql脚本文件中。该脚本首先创建一个Cassandra的keyspace（类似SQL中的库，在该层Cassandra进行数据Replica复制分发等操作），一个存储具体数据的表及一些对标的操作。

-- Create a keyspace
CREATE KEYSPACE IF NOT EXISTS store WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : '1' };

-- Create a table
CREATE TABLE IF NOT EXISTS store.shopping_cart (
userid text PRIMARY KEY,
item_count int,
last_update_timestamp timestamp
);

-- Insert some data
INSERT INTO store.shopping_cart
(userid, item_count, last_update_timestamp)
VALUES ('9876', 2, toTimeStamp(now()));
INSERT INTO store.shopping_cart
(userid, item_count, last_update_timestamp)
VALUES ('1234', 5, toTimeStamp(now()));

• 通过CQL Shell工具cqlsh命令直接进行数据操作

docker run --rm --network cassandra -v "$(pwd)/data.cql:/scripts/data.cql" -e CQLSH_HOST=cassandra -e CQLSH_PORT=9042 nuvo/docker-cqlsh

注意该命令是linux下运行docker相关的命令。

• 通过CQL Shell工具cqlsh进行交互式操作

docker run --rm -it --network cassandra nuvo/docker-cqlsh cqlsh cassandra 9042 --cqlversion='3.4.4'

或者

docker exec -it cassandra cqlsh

• 进入cqlsh后，进行其它操作

 SELECT * FROM store.shopping_cart;

 INSERT INTO store.shopping_cart (userid, item_count) VALUES ('4567', 20);

• 清理退出

docker kill cassandra
docker network rm cassandra

3.1.2 Docker环境下Cassandra简要集群搭建

Docker环境也为Cassandra的集群环境搭建、测试提供了便利，通过以下的简要Windows命令行环境批处理命令， 即可以搭建一个多数据中心的3节点Cassandra集群（Windows 10环境下Docker), 其中casx为节点名。

需要注意的是，这种仿真集群搭建，需要较大的内存支撑（16G以上）， 作者在8G内存的笔记本上，无法在Docker环境下启动所有的节点。

instance1.bat

docker run --name cas1 -p 9042:9042 -e CASSANDRA_CLUSTER_NAME=MyCluster -e CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch -e CASSANDRA_DC=datacenter1 -d cassandra

instance2.bat

for /f "delims=" %%a in ('docker inspect --format=^'{{.NetworkSettings.IPAddress}}^' cas1') do @set SEEDIP0=%%a 
docker run --name cas2 -e CASSANDRA_SEEDS=%SEEDIP0:~1,-2% -e CASSANDRA_CLUSTER_NAME=MyCluster -e CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch -e CASSANDRA_DC=datacenter1 -d cassandra
echo off

instance3.bat

for /f "delims=" %%a in ('docker inspect --format=^'{{.NetworkSettings.IPAddress}}^' cas1') do @set SEEDIP0=%%a 
docker run --name cas3 -e CASSANDRA_SEEDS=%SEEDIP0:~1,-2% -e CASSANDRA_CLUSTER_NAME=MyCluster -e CASSANDRA_ENDPOINT_SNITCH=GossipingPropertyFileSnitch -e CASSANDRA_DC=datacenter2 -d cassandra
echo off

Windows 10 Docker环境下，运行效果如下图：

1. 从Cassandra官方网站下载：

Apache Cassandra | Apache Cassandra Documentation

可用curl命令行下载:

$ curl -OL http://apache.mirror.digitalpacific.com.au/cassandra/4.0.0/apache-cassandra-4.0.0-bin.tar.gz

注意检验下下载包的完整性。

• 安装包解压

• 了解掌握软件目录结构

其中

bin/: cassandra数据库相关的系统应用及程序工具

conf/: cassandra相关的配置文件，如cassandra.yaml

data/: cassandra相关的系统运行存储数据，如commit logs、SSTables等

logs/: cassandra系统运行与调试日志等

tools/: 主要是cassandra-stress工具

• 运行cassandra

cassandra不建议用root用户与组去运行，如果用root用户运行，需要采用如下的参数：

cassandra -R

• 查看系统启动过程

$ tail -f logs/system.log

• 检查系统状态

• $  bin/nodetool status
  

Cassandra提供了已预先编译好的常用流行Linux操作系统的系统安装包， 如Redhat、Debian/CentOS等。

Debian和Redhat系列安装的详细步骤可以参见如下地址：

Apache Cassandra | Apache Cassandra Documentation

作者在windows WSL2 ubuntu 20版本中采用的安装命令是：

$ sudo apt-get cassandra

安装运行都非常顺利。

可以从以下网址获取源码，根据其官方文档进行编译与安装。

git clone https://gitbox.apache.org/repos/asf/cassandra.git cassandra
或
git clone https://github.com/apache/cassandra.git cassandra

从源码编译安装的详细步骤可以参阅:

Apache Cassandra | Apache Cassandra Documentation

编译环境需要JDK8或JDK11的支持。

其中有对常用IDE工具的集成设置等描述，包括IntelliJ IDEA, Apache NetBeans, Eclipse等。

源码包中提供了build.xml文件， 联网情况下， 可以直接采用ant命令，进行编译构建。

Apache Cassandra官方虽然提供了开放源代码，但它并没有直接提供其它的API接口，而这方面也有相关的Cassandra商业化生态公司所弥补，并提供了Java、Python、Ruby、C#/.NET、PHP、Node.JS、C++、GO、Scala、Perl等多种客户端编程驱动.

相关信息可以从以下网址获取：

Client drivers | Apache Cassandra Documentation

其中DataStax公司是脱胎于Apache Cassandra开发团队发展成熟起来的一个代表，它免费提供了Cassandra的Java、Python、C#等多种语言的客户端编程接口，推荐使用。从DataStax的github库上可以找到语言驱动程序。

https://github.com/datastax

数据处理中Python比较常用，下面简要介绍Python与Cassandra的编程交互支持。

4.1 安装Cassandra Python驱动

pip install cassandra-driver

将会安装DataStax的最新cassadra python驱动。

可以通过以下命令来查看版本号（Python3）：

python  -c 'import cassandra; print(cassandra.__version__)'

4.2 进行数据库相关操作

4.2.1 连接数据库

from cassandra.cluster import Cluster
cluster = Cluster()

这种情况默认连接本地Cassandra数据库实例（127.0.0.1），可以根据情况可以连接Cassandra集群中的任一或者全部节点。

from cassandra.cluster import Cluster
cluster = Cluster(['192.168.0.1', '192.168.0.2'], port=..., ssl_context=...)

只要与其中一个节点建立初始连接，驱动程序就会自动集群中的其它节点并同样建立初步连接。

4.2.2 建立会话

上述操作仅建立起与数据库-数据库集群的初始连接，如果需要进一步操作，需要进一步建立和各节点的会话连接，便于各类数据库表的操作。

cluster = Cluster()
session = cluster.connect()

可以进一步创建键空间：

session.execute('CREATE KEYSPACE users WITH replication = {'class':'SimpleStrategy', 'replication_factor' : 3};')

可以直接指定keyspace，并基于此进行后续的各类操作， 如下所示：

cluster = Cluster()
session = cluster.connect('mykeyspace')

中间可以进行keyspace的切换:

session.set_keyspace('users')
或
session.execute('USE users')

4.2.2 执行操作

建立会话之后，即可以进行各类数据库表相关的操作，包括Profile环境变量设置、增删查改等cql语句等。

简单示例如下：

根据系统表，查询Cassandra版本号：

print(session.execute("SELECt release_version FROM system.local").one())

根据系统表，查询系统库表各类信息(假定examples键空间下已经建立了users表）：

#查询所有的keyspaces
print(cluster.metadata.keyspaces)
#查询特定keyspace下的表结构信息
print(cluster.metadata.keyspaces['examples'].tables)
print(cluster.metadata.keyspaces['examples'].tables['users'])
print(cluster.metadata.keyspaces['examples'].tables['users'].columns)
print(cluster.metadata.keyspaces['examples'].tables['users'].columns['age'])

从创建的users表中，查询所有记录

rows = session.execute('SELECt name, age, email FROM users')
for user_row in rows:
    print（user_row.name, user_row.age, user_row.email）

对于常用的操作，采用Prepared语句

user_lookup_stmt = session.prepare("SELECt * FROM users WHERe user_id=?")
users = []
for user_id in user_ids_to_query:     
    user = session.execute(user_lookup_stmt, [user_id])           
    users.append(user)

对于常用的操作，采用Prepared语句

user_lookup_stmt = session.prepare("SELECt * FROM users WHERe user_id=?")
users = []
for user_id in user_ids_to_query:     
    user = session.execute(user_lookup_stmt, [user_id])           
    users.append(user)

对于输入变量的操作， 也可以直接采用如下的方式（注意：即便是数值型的列类型，VALUES中站位标识符也需用 s%, 而非 d%)

session.execute("INSERT INTO USERS (name, age) VALUES (%s, %s)", ("bob", 42))

对于常用的操作，采用Prepared语句

user_lookup_stmt = session.prepare("SELECt * FROM users WHERe user_id=?")
users = []
for user_id in user_ids_to_query:     
    user = session.execute(user_lookup_stmt, [user_id])           
    users.append(user)

类似的操作还有很多，包括异步执行查询等，进一步深入挖掘可以参看如下连接：

Best practices for DataStax drivers

详细可以参见：

DataStax Python Driver - DataStax Python Driver for Apache Cassandra®

4.3 Cassandra可视化分析 （TBD）

后续将陆续补充。

与Cassandra相类的NoSQL数据库还有HBase、MongoDB等，设计上各有特色，在海量大数据处理领域都得到了广泛的应用。

MongoDB因对JSON等数据类型的内在支持，通常被称为文档型数据库， 而HBase、Cassandra则因为数据记录存储方式，被称为列式数据库库。 基于系统架构及功能特性，三种数据库也都有自己的优势场景。

下面是基于数据库排行专业网站db-engines进行三种数据库的简要对比。

Cassandra和其它两种NoSQL数据库相比，最突出的一个区别，就是它的集群设计是去中心话的，集群中各节点是对等的，从本质上一个类似P2P的分布式网络存储服务。 对Cassandra 的一个写操作，会被复制到其它节点上，而对Cassandra的读操作，也会被路由到某个节点上面去读取，因此，扩展一个Cassandra集群来说，可以简单地通过增加集群节点即可，不同于HBase的Master/Slave架构，Cassandra集群不存在单点故障，在高可用性及易扩展性方面，优势明显。

另外，从部署组件上看，HBase部署需要Zookeeper及HDFS支持，相对复杂，而Cassandra的部署相对自洽，无须引入其它过多组件，从一定程度上降低了运维部署的复杂度。  

但需要指出的是，由于Cassandra这种去中心化架构，默认都是利用HASH算法实现数据分布的共识机制，不似HBase/HDFS这种中心化架构，底层机制通过元数据对集群数据文件进行逻辑操作与管理，从而在数据库迁移时，必须进行物理层面的数据移动，需要相对谨慎规划与实施； 同时Cassandra这种去中心化架构各节点承担的任务复杂度较高，不似HBase，复杂的协调指挥问题由主节点服务来完成，节点功能越简单,一定程度上降低了多节点的风险，对于大规模节点的管理有一定的优势。

表： Cassandra、HBase、MongoDB简要对比

下面有几处对比分析，相对明确，可供借鉴参考：

Cassandra vs. HBase vs. MongoDB Comparison

https://logz.io/blog/nosql-database-comparison/

https://www.zhihu.com/question/309984206

Cassandra官方网站

Welcome to Apache Cassandra’s documentation! | Apache Cassandra Documentation

学习工具

代数计算器

三角函数

解析几何

立体几何

知识解答

教育知识

百科知识

生活知识

常识知识

写作必备

作文大全

作文素材

句子大全

实用范文

关于我们

关于我们

联系我们

网站地图

名师互学网交流群

名师互学网客服

名师互学网 版权所有 (c)2021-2022 ICP备案号：晋ICP备2021003244-6号

关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号：晋ICP备2021003244-6号