栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据——数据治理、血缘关系DBT的安装及测试

大数据——数据治理、血缘关系DBT的安装及测试

一、安装

官网安装参考:https://docs.getdbt.com/dbt-cli/install/overview

1、准备
安装Anaconda3环境
或者使用本地环境
Python版本需要3.7及以上

sudo yum install redhat-rpm-config gcc libffi-devel 
  python-devel openssl-devel
pip install --upgrade pip wheel setuptools

2、安装
选择你要使用的插件

pip install 
  dbt-core 
  dbt-postgres 
  dbt-redshift 
  dbt-snowflake 
  dbt-bigquery

本文只连接postgres

pip install dbt-core
pip install dbt-postgres

查看版本

dbt --version

二、构建项目

1、创建一个新的 dbt 项目

dbt init dbt_project


修改配置文件

/root/.dbt/profiles.yml

dbt_dags:
target: dev
outputs:
dev:
type: postgres
host: 192.168.202.200
user: postgres
password: L*****2****x#
port: 5432
dbname: warehouse
schema: ods
threads: 10
keepalives_idle: 0 # default 0, indicating the system default
connect_timeout: 10 # default 10 seconds

dbt debug

dbt run


为项目生成文档

dbt docs generate

在本地网站上启动文档

dbt docs serve


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/779616.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号