bump to rocm7.1.1 and fix pruning action
This commit is contained in:
@@ -28,7 +28,7 @@ jobs:
|
|||||||
IN='${{ inputs.backends }}'
|
IN='${{ inputs.backends }}'
|
||||||
|
|
||||||
if [[ "$IN" == "all" || -z "$IN" ]]; then
|
if [[ "$IN" == "all" || -z "$IN" ]]; then
|
||||||
JSON='["rocm-6.4.4","rocm-6.4.4-rocwmma","rocm-7.1","rocm-7.1-rocwmma","rocm-7-nightly","rocm-7-nightly-rocwmma","rocm-7.9","rocm-7.9-rocwmma","vulkan-amdvlk","vulkan-radv"]'
|
JSON='["rocm-6.4.4","rocm-6.4.4-rocwmma","rocm-7.1.1","rocm-7.1.1-rocwmma","rocm-7-nightly","rocm-7-nightly-rocwmma","rocm-7.9","rocm-7.9-rocwmma","vulkan-amdvlk","vulkan-radv"]'
|
||||||
else
|
else
|
||||||
# Remove spaces and build JSON array from comma list
|
# Remove spaces and build JSON array from comma list
|
||||||
IN_CLEAN=$(echo "$IN" | tr -d '[:space:]')
|
IN_CLEAN=$(echo "$IN" | tr -d '[:space:]')
|
||||||
|
|||||||
@@ -19,7 +19,7 @@ jobs:
|
|||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
env:
|
env:
|
||||||
NS: kyuz0
|
NS: kyuz0
|
||||||
REPO: amd-strix-halo-toolboxes
|
REPO: docker.io/kyuz0/amd-r9700-toolboxes
|
||||||
steps:
|
steps:
|
||||||
- name: Install jq
|
- name: Install jq
|
||||||
run: sudo apt-get update && sudo apt-get install -y jq
|
run: sudo apt-get update && sudo apt-get install -y jq
|
||||||
@@ -44,7 +44,7 @@ jobs:
|
|||||||
run: |
|
run: |
|
||||||
IN='${{ github.event.inputs.backends }}'
|
IN='${{ github.event.inputs.backends }}'
|
||||||
if [[ "$IN" == "all" || -z "$IN" ]]; then
|
if [[ "$IN" == "all" || -z "$IN" ]]; then
|
||||||
JSON='["rocm-6.4.2","rocm-6.4.2-rocwmma","rocm-6.4.3","rocm-6.4.3-rocwmma","rocm-6.4.4","rocm-6.4.4-rocwmma","rocm-7.1","rocm-7.1-rocwmma","rocm-7beta","rocm-7alpha","rocm-7alpha-rocwmma","rocm-7alpha-rocwmma-improved","rocm-7rc","rocm-7rc-rocwmma","rocm-7rc-rocwmma-fa_all_quants","vulkan-amdvlk","vulkan-radv"]'
|
JSON='["rocm-6.4.2","rocm-6.4.2-rocwmma","rocm-6.4.3","rocm-6.4.3-rocwmma","rocm-6.4.4","rocm-6.4.4-rocwmma","rocm-7.1.1","rocm-7.1.1-rocwmma","rocm-7-nightly","rocm-7-nightly-rocwmma","rocm-7.9","rocm-7.9-rocwmma","vulkan-amdvlk","vulkan-radv"]'
|
||||||
else
|
else
|
||||||
IN_CLEAN=$(echo "$IN" | tr -d '[:space:]')
|
IN_CLEAN=$(echo "$IN" | tr -d '[:space:]')
|
||||||
JSON='["'${IN_CLEAN//,/\",\"}'"]'
|
JSON='["'${IN_CLEAN//,/\",\"}'"]'
|
||||||
|
|||||||
@@ -1,111 +0,0 @@
|
|||||||
# build stage
|
|
||||||
FROM registry.fedoraproject.org/fedora:43 AS builder
|
|
||||||
|
|
||||||
# rocm 7.1 repo
|
|
||||||
RUN <<'EOF'
|
|
||||||
tee /etc/yum.repos.d/rocm.repo <<REPO
|
|
||||||
[ROCm-7.1]
|
|
||||||
name=ROCm7.1
|
|
||||||
baseurl=https://repo.radeon.com/rocm/el9/7.1/main
|
|
||||||
enabled=1
|
|
||||||
priority=50
|
|
||||||
gpgcheck=1
|
|
||||||
gpgkey=https://repo.radeon.com/rocm/rocm.gpg.key
|
|
||||||
REPO
|
|
||||||
EOF
|
|
||||||
|
|
||||||
# deps
|
|
||||||
RUN dnf -y --nodocs --setopt=install_weak_deps=False \
|
|
||||||
--exclude='*sdk*' --exclude='*samples*' --exclude='*-doc*' --exclude='*-docs*' \
|
|
||||||
install \
|
|
||||||
make gcc cmake lld clang clang-devel compiler-rt libcurl-devel ninja-build \
|
|
||||||
rocm-llvm rocm-device-libs hip-runtime-amd hip-devel \
|
|
||||||
rocblas rocblas-devel hipblas hipblas-devel rocm-cmake libomp-devel libomp \
|
|
||||||
rocminfo radeontop \
|
|
||||||
git-core vim sudo rsync \
|
|
||||||
&& dnf clean all && rm -rf /var/cache/dnf/*
|
|
||||||
|
|
||||||
# rocm env
|
|
||||||
ENV ROCM_PATH=/opt/rocm \
|
|
||||||
HIP_PATH=/opt/rocm \
|
|
||||||
HIP_CLANG_PATH=/opt/rocm/llvm/bin \
|
|
||||||
HIP_DEVICE_LIB_PATH=/opt/rocm/amdgcn/bitcode \
|
|
||||||
PATH=/opt/rocm/bin:/opt/rocm/llvm/bin:$PATH
|
|
||||||
|
|
||||||
# llama.cpp
|
|
||||||
WORKDIR /opt/llama.cpp
|
|
||||||
RUN git clone --recursive https://github.com/ggerganov/llama.cpp.git .
|
|
||||||
|
|
||||||
# build
|
|
||||||
RUN git clean -xdf \
|
|
||||||
&& git submodule update --recursive \
|
|
||||||
&& cmake -S . -B build \
|
|
||||||
-DGGML_HIP=ON \
|
|
||||||
-DAMDGPU_TARGETS=gfx1201 \
|
|
||||||
-DCMAKE_BUILD_TYPE=Release \
|
|
||||||
-DGGML_RPC=ON \
|
|
||||||
-DLLAMA_HIP_UMA=ON \
|
|
||||||
-DGGML_CUDA_ENABLE_UNIFIED_MEMORY=ON \
|
|
||||||
-DROCM_PATH=/opt/rocm \
|
|
||||||
-DHIP_PATH=/opt/rocm \
|
|
||||||
-DHIP_PLATFORM=amd \
|
|
||||||
-DCMAKE_HIP_FLAGS="--rocm-path=/opt/rocm" \
|
|
||||||
&& cmake --build build --config Release -- -j$(nproc) \
|
|
||||||
&& cmake --install build --config Release
|
|
||||||
|
|
||||||
# libs
|
|
||||||
RUN find /opt/llama.cpp/build -type f -name 'lib*.so*' -exec cp {} /usr/lib64/ \; \
|
|
||||||
&& ldconfig
|
|
||||||
|
|
||||||
# helper
|
|
||||||
COPY gguf-vram-estimator.py /usr/local/bin/gguf-vram-estimator.py
|
|
||||||
RUN chmod +x /usr/local/bin/gguf-vram-estimator.py
|
|
||||||
|
|
||||||
# runtime stage
|
|
||||||
FROM registry.fedoraproject.org/fedora-minimal:43
|
|
||||||
|
|
||||||
# rocm 7.1 repo
|
|
||||||
RUN <<'EOF'
|
|
||||||
tee /etc/yum.repos.d/rocm.repo <<REPO
|
|
||||||
[ROCm-7.1]
|
|
||||||
name=ROCm7.1
|
|
||||||
baseurl=https://repo.radeon.com/rocm/el9/7.1/main
|
|
||||||
enabled=1
|
|
||||||
priority=50
|
|
||||||
gpgcheck=1
|
|
||||||
gpgkey=https://repo.radeon.com/rocm/rocm.gpg.key
|
|
||||||
REPO
|
|
||||||
EOF
|
|
||||||
|
|
||||||
# runtime deps
|
|
||||||
RUN microdnf -y --nodocs --setopt=install_weak_deps=0 \
|
|
||||||
--exclude='*sdk*' --exclude='*samples*' --exclude='*-doc*' --exclude='*-docs*' \
|
|
||||||
install \
|
|
||||||
bash ca-certificates libatomic libstdc++ libgcc libgomp sudo \
|
|
||||||
hip-runtime-amd rocblas hipblas \
|
|
||||||
rocminfo radeontop \
|
|
||||||
&& microdnf clean all && rm -rf /var/cache/dnf/*
|
|
||||||
|
|
||||||
# copy
|
|
||||||
COPY --from=builder /usr/local/ /usr/local/
|
|
||||||
COPY --from=builder /opt/llama.cpp/build/bin/rpc-* /usr/local/bin/
|
|
||||||
|
|
||||||
# ld
|
|
||||||
RUN echo "/usr/local/lib" > /etc/ld.so.conf.d/local.conf \
|
|
||||||
&& echo "/usr/local/lib64" >> /etc/ld.so.conf.d/local.conf \
|
|
||||||
&& ldconfig \
|
|
||||||
&& cp -n /usr/local/lib/libllama*.so* /usr/lib64/ 2>/dev/null || true \
|
|
||||||
&& ldconfig
|
|
||||||
|
|
||||||
# helper
|
|
||||||
COPY gguf-vram-estimator.py /usr/local/bin/gguf-vram-estimator.py
|
|
||||||
RUN chmod +x /usr/local/bin/gguf-vram-estimator.py
|
|
||||||
|
|
||||||
# profile
|
|
||||||
RUN printf '%s\n' \
|
|
||||||
'export ROCBLAS_USE_HIPBLASLT=1' \
|
|
||||||
> /etc/profile.d/rocm.sh && chmod +x /etc/profile.d/rocm.sh \
|
|
||||||
&& echo 'source /etc/profile.d/rocm.sh' >> /etc/bashrc
|
|
||||||
|
|
||||||
# shell
|
|
||||||
CMD ["/bin/bash"]
|
|
||||||
@@ -0,0 +1,111 @@
|
|||||||
|
# build stage
|
||||||
|
FROM registry.fedoraproject.org/fedora:43 AS builder
|
||||||
|
|
||||||
|
# rocm 7.1 repo
|
||||||
|
RUN <<'EOF'
|
||||||
|
tee /etc/yum.repos.d/rocm.repo <<REPO
|
||||||
|
[ROCm-7.1.1]
|
||||||
|
name=ROCm7.1.1
|
||||||
|
baseurl=https://repo.radeon.com/rocm/el9/7.1.1/main
|
||||||
|
enabled=1
|
||||||
|
priority=50
|
||||||
|
gpgcheck=1
|
||||||
|
gpgkey=https://repo.radeon.com/rocm/rocm.gpg.key
|
||||||
|
REPO
|
||||||
|
EOF
|
||||||
|
|
||||||
|
# deps
|
||||||
|
RUN dnf -y --nodocs --setopt=install_weak_deps=False \
|
||||||
|
--exclude='*sdk*' --exclude='*samples*' --exclude='*-doc*' --exclude='*-docs*' \
|
||||||
|
install \
|
||||||
|
make gcc cmake lld clang clang-devel compiler-rt libcurl-devel ninja-build \
|
||||||
|
rocm-llvm rocm-device-libs hip-runtime-amd hip-devel \
|
||||||
|
rocblas rocblas-devel hipblas hipblas-devel rocm-cmake libomp-devel libomp \
|
||||||
|
rocminfo radeontop \
|
||||||
|
git-core vim sudo rsync \
|
||||||
|
&& dnf clean all && rm -rf /var/cache/dnf/*
|
||||||
|
|
||||||
|
# rocm env
|
||||||
|
ENV ROCM_PATH=/opt/rocm \
|
||||||
|
HIP_PATH=/opt/rocm \
|
||||||
|
HIP_CLANG_PATH=/opt/rocm/llvm/bin \
|
||||||
|
HIP_DEVICE_LIB_PATH=/opt/rocm/amdgcn/bitcode \
|
||||||
|
PATH=/opt/rocm/bin:/opt/rocm/llvm/bin:$PATH
|
||||||
|
|
||||||
|
# llama.cpp
|
||||||
|
WORKDIR /opt/llama.cpp
|
||||||
|
RUN git clone --recursive https://github.com/ggerganov/llama.cpp.git .
|
||||||
|
|
||||||
|
# build
|
||||||
|
RUN git clean -xdf \
|
||||||
|
&& git submodule update --recursive \
|
||||||
|
&& cmake -S . -B build \
|
||||||
|
-DGGML_HIP=ON \
|
||||||
|
-DAMDGPU_TARGETS=gfx1201 \
|
||||||
|
-DCMAKE_BUILD_TYPE=Release \
|
||||||
|
-DGGML_RPC=ON \
|
||||||
|
-DLLAMA_HIP_UMA=ON \
|
||||||
|
-DGGML_CUDA_ENABLE_UNIFIED_MEMORY=ON \
|
||||||
|
-DROCM_PATH=/opt/rocm \
|
||||||
|
-DHIP_PATH=/opt/rocm \
|
||||||
|
-DHIP_PLATFORM=amd \
|
||||||
|
-DCMAKE_HIP_FLAGS="--rocm-path=/opt/rocm" \
|
||||||
|
&& cmake --build build --config Release -- -j$(nproc) \
|
||||||
|
&& cmake --install build --config Release
|
||||||
|
|
||||||
|
# libs
|
||||||
|
RUN find /opt/llama.cpp/build -type f -name 'lib*.so*' -exec cp {} /usr/lib64/ \; \
|
||||||
|
&& ldconfig
|
||||||
|
|
||||||
|
# helper
|
||||||
|
COPY gguf-vram-estimator.py /usr/local/bin/gguf-vram-estimator.py
|
||||||
|
RUN chmod +x /usr/local/bin/gguf-vram-estimator.py
|
||||||
|
|
||||||
|
# runtime stage
|
||||||
|
FROM registry.fedoraproject.org/fedora-minimal:43
|
||||||
|
|
||||||
|
# rocm 7.1 repo
|
||||||
|
RUN <<'EOF'
|
||||||
|
tee /etc/yum.repos.d/rocm.repo <<REPO
|
||||||
|
[ROCm-7.1.1]
|
||||||
|
name=ROCm7.1.1
|
||||||
|
baseurl=https://repo.radeon.com/rocm/el9/7.1.1/main
|
||||||
|
enabled=1
|
||||||
|
priority=50
|
||||||
|
gpgcheck=1
|
||||||
|
gpgkey=https://repo.radeon.com/rocm/rocm.gpg.key
|
||||||
|
REPO
|
||||||
|
EOF
|
||||||
|
|
||||||
|
# runtime deps
|
||||||
|
RUN microdnf -y --nodocs --setopt=install_weak_deps=0 \
|
||||||
|
--exclude='*sdk*' --exclude='*samples*' --exclude='*-doc*' --exclude='*-docs*' \
|
||||||
|
install \
|
||||||
|
bash ca-certificates libatomic libstdc++ libgcc libgomp sudo \
|
||||||
|
hip-runtime-amd rocblas hipblas \
|
||||||
|
rocminfo radeontop \
|
||||||
|
&& microdnf clean all && rm -rf /var/cache/dnf/*
|
||||||
|
|
||||||
|
# copy
|
||||||
|
COPY --from=builder /usr/local/ /usr/local/
|
||||||
|
COPY --from=builder /opt/llama.cpp/build/bin/rpc-* /usr/local/bin/
|
||||||
|
|
||||||
|
# ld
|
||||||
|
RUN echo "/usr/local/lib" > /etc/ld.so.conf.d/local.conf \
|
||||||
|
&& echo "/usr/local/lib64" >> /etc/ld.so.conf.d/local.conf \
|
||||||
|
&& ldconfig \
|
||||||
|
&& cp -n /usr/local/lib/libllama*.so* /usr/lib64/ 2>/dev/null || true \
|
||||||
|
&& ldconfig
|
||||||
|
|
||||||
|
# helper
|
||||||
|
COPY gguf-vram-estimator.py /usr/local/bin/gguf-vram-estimator.py
|
||||||
|
RUN chmod +x /usr/local/bin/gguf-vram-estimator.py
|
||||||
|
|
||||||
|
# profile
|
||||||
|
RUN printf '%s\n' \
|
||||||
|
'export ROCBLAS_USE_HIPBLASLT=1' \
|
||||||
|
> /etc/profile.d/rocm.sh && chmod +x /etc/profile.d/rocm.sh \
|
||||||
|
&& echo 'source /etc/profile.d/rocm.sh' >> /etc/bashrc
|
||||||
|
|
||||||
|
# shell
|
||||||
|
CMD ["/bin/bash"]
|
||||||
@@ -4,9 +4,9 @@ FROM registry.fedoraproject.org/fedora:43 AS builder
|
|||||||
# rocm 7.1 repo
|
# rocm 7.1 repo
|
||||||
RUN <<'EOF'
|
RUN <<'EOF'
|
||||||
tee /etc/yum.repos.d/rocm.repo <<REPO
|
tee /etc/yum.repos.d/rocm.repo <<REPO
|
||||||
[ROCm-7.1]
|
[ROCm-7.1.1]
|
||||||
name=ROCm7.1
|
name=ROCm7.1.1
|
||||||
baseurl=https://repo.radeon.com/rocm/el9/7.1/main
|
baseurl=https://repo.radeon.com/rocm/el9/7.1.1/main
|
||||||
enabled=1
|
enabled=1
|
||||||
priority=50
|
priority=50
|
||||||
gpgcheck=1
|
gpgcheck=1
|
||||||
@@ -78,9 +78,9 @@ FROM registry.fedoraproject.org/fedora-minimal:43
|
|||||||
# rocm 7.1 repo
|
# rocm 7.1 repo
|
||||||
RUN <<'EOF'
|
RUN <<'EOF'
|
||||||
tee /etc/yum.repos.d/rocm.repo <<REPO
|
tee /etc/yum.repos.d/rocm.repo <<REPO
|
||||||
[ROCm-7.1]
|
[ROCm-7.1.1]
|
||||||
name=ROCm7.1
|
name=ROCm7.1.1
|
||||||
baseurl=https://repo.radeon.com/rocm/el9/7.1/main
|
baseurl=https://repo.radeon.com/rocm/el9/7.1.1/main
|
||||||
enabled=1
|
enabled=1
|
||||||
priority=50
|
priority=50
|
||||||
gpgcheck=1
|
gpgcheck=1
|
||||||
Reference in New Issue
Block a user