栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > C/C++/C#

编译ray记录

C/C++/C# 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

编译ray记录

查看版本python
1.linux的软连接存放位置
cd /usr/bin
2.查看现有python的软连接指向的版本
ls -al python

一.安装python
参考https://www.cnblogs.com/knighterrant/p/10719887.html

  1. wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
  2. tar -zxvf Python-3.6.6.tgz
  3. cd Python-3.6.6
  4. ./configure --prefix=/opt/python36
  5. sudo make
  6. sudo make install
    sudo make install 报错时,极大概率需执行
    sudo apt-get install libffi-dev
  7. 添加软连接
    ln -s /opt/python36/bin/python3.6 /usr/bin/python
  8. 将python加入环境变量,注意python应该在最前面
    export PATH=/opt/python36/bin:$PATH
    source ~/.bashrc
    注意不要轻易修改python3的软链接,可能出现terminal打不开的情况

二.使用bazel(Google设计的编译工具)编译

1. 为何编译

ray是一个大型项目,包含python和C++部分,python部分不需要编译,C++部分修改后需要重新编译,使用bazel(Google设计的编译工具)编译。

2. bazel安装

bazel 一定要是3.2.0 才可以build,最好使用这里的binary installer https://docs.bazel.build/versions/main/install-ubuntu.html

安装好bazel后,要把$HOME/bin 加入 PATH(~/.bashrc)

3. 具体的编译

python 版本可以是3.6 到 3.9的任意版本

打开ray/python目录,有两种编译方式:

(1)bazel build -c fastbuild //:*

(2)bazel build -c fastbuild //:ray_pkg

如果老失败的话,在build后面加 --jobs=1,这样能限制内存,但时间会拉长

执行 pip install -e . --verbose  --user (只需执行一次)

扩展swap
#生成swap镜像文件
sudo dd if=/dev/zero of=/mnt/1024Mb.swap bs=1M count=1024
对该镜像文件格式化
sudo mkswap /mnt/1024Mb.swap
#挂载该镜像文件
sudo swapon /mnt/1024Mb.swap

ray start --head --resources=’{“latency”:40}’

学长给的注意事项:

  1. python 版本可以是3.6 到 3.9的任意版本
  2. bazel 一定要是3.2.0 才可以build,最好使用这里的binary installer https://docs.bazel.build/versions/main/install-ubuntu.html#install-with-installer-ubuntu
  3. 安装好bazel后,要把$HOME/bin 加入 PATH
  4. 至少8G内存加上4-8G的SWAP,要不然在build过程中gcc会内存不足退出
  5. 因为gcc11使用了c++17标准作为默认std,基于c++17的build会发生错误,所以系统中的gcc最大版本不能超过10
  6. 在线文档里面的pip install -e . --verbose 会使用python setuptools进行编译,这个过程包括了python部分和c++部分,所以运行完这一行语句以后,不需要再额外运行bazel build了
  7. bazel在开始build的时候会需要去github上下载很多dependency,大概率会被墙,所以最好解决方案是开一个全局vpn(OpenVPN或者wireguard)
    OpenVPN参考: https://donggan.me/post/install-openvpn-on-ubuntu-in-3min/
  8. 默认使用4个CPU Core 进行构建,编译时间大概需要25-30分钟左右

三. 下载ray源码 ray5.1

调试的话用RAY_LOG(INFO),会在/tmp/ray/sessions_latest/logs里面的raylet.n.out中打印出来,每次ray stop之后再ray start都会新建一个文件,也就是n+1

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/457451.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号