如何使用 vLLM 部署千问 3 大语言模型?

本文主要讲述如何使用 vLLM 部署 千问 3 大语言模型。本文使用的是 Qwen3-0.6B 一个参数较小的模型,主要是为了体验整个部署过程。另外大模型运行在 CPU 上(因为支持 GPU 的 VPS 普遍较贵, 一直是用爱发电,能省则省).最后我们安装了一个 open-webui 用于和 self-hosted 的千问模型以图形界面的方式与模型进行对话。整个部署过程非常丝滑,适合有一定动手能力的用户,部署体验, 成本非常低, 仅需一台 8U32G 的 VPS, 不需要显卡。在本文的基础上略做修改也可以用于开发自己的 AI Agentic 应用。

阅读更多

如何使用源码安装 vLLM?

vLLM 是一个专为 高性能推理 优化的大型语言模型(LLM)推理引擎,它由 UC Berkeley、CMU(卡内基梅隆大学)、Stanford 等高校的研究人员联合开发,旨在解决当前 LLM 推理中的效率与资源浪费问题。vLLM (virtualized Large Language Model) 是一个项目名称,其含义更侧重于强调它的虚拟化 + 大语言模型(LLM) 特性。virtualized 指的是该项目核心技术 —— 利用一种“虚拟内存”式的 KV 缓存管理机制(PagedAttention)。

阅读更多

如何使用 Astral UV 管理 Python 虚拟环境?

Astral UV 是一款由 Astral 公司(以开发高性能 Python 工具 Ruff 闻名)推出的 超高速 Python 包管理和项目管理工具,完全用 Rust 编写。它旨在取代传统的 Python 工具链(如 pip、virtualenv、poetry、pyenv 等),提供更快的速度和更统一的工作流。在 Astral UV 的上下文中,象征工具的高速性(Ultra-Velocity)和多功能性(Universal)。本文主要讲述如何在 Linux 下安装 Astral UV。

阅读更多

Linux 上如何清除 DNS 缓存

在日常使用 Linux 系统的过程中,DNS 缓存的管理是一个常见但容易被忽视的问题。当 DNS 缓存出现问题时,可能会导致域名解析失败,从而影响网络连接。本文将介绍如何在不同的 Linux 发行版上清除 DNS 缓存,以帮助您快速解决相关问题。

阅读更多

Docker 命令

Docker 是一个开源项目,它可以自动将应用程序部署为可移动的独立容器,这些容器可以在本地或云端运行。借助 Docker,您可以快速将应用程序从基础架构中分离出来,从而实现软件交付,并且还可以像管理应用程序一样管理基础架构。

Docker 中的命令数量非常庞大,但我们将重点介绍 Docker 中最常用的命令。想要了解更多关于 Docker 命令的信息,请参阅Docker 速查表 – 最重要的 Docker 命令。

阅读更多

使用 Emlog 搭建一款多用户博客系统

个人博客早就玩得有点腻了, 独乐乐不如众乐乐,自己也写了一个多用户博客,但是集成在一个比较大的系统里面,一直想把它分拆出来进行,但是一直没有时间和精力去做,考虑到更加没有时间去做推广。花费时间意义又不太大,本着想吃鱼不必去养鱼的想法,一直在寻找一款开源的解决方案。之前试用过 wordpress 的多用户博客,体验下来不太理想。其他的比如 Astro, Strapi 加自定义前端一个比较耗时,体验也不是很好。
今天偶然间发现 emlog,我理想中的功能都有,而且还超过了我的预期。所以花了一点点时间把它安装了一下。官方教程写得不够详细,主要在数据库连接方面写得不够详细,花费了一些时间,最终选择了通用安装方式,从我的角度看比较理想。当然在此教程的基础上修改为 docker 或 docker compose 安装方案也比较容易。这里将安装过程记录下来,以便对有同样需求的人有所帮助。

阅读更多

Docker 的架构

Docker 采用客户端-服务器架构。Docker 客户端与 Docker 守护进程通信,后者负责构建、运行和分发 Docker 容器。Docker 客户端与守护进程在同一系统上运行,或者我们可以将 Docker 客户端与 Docker 守护进程远程连接。借助 UNIX 套接字或网络上的 REST API,Docker 客户端和守护进程可以相互交互。

阅读更多

Docker Cloud 介绍

Docker 是一个软件平台,就像一个服务提供商一样,提供了一些特别的功能,比如让你可以更快速地在一个统一的平台上构建、测试和部署你的应用程序。Docker Cloud 基本上就是 Docker 提供的一项服务,它的作用包括:不依赖具体的操作系统(操作系统无关性),只打包运行应用所需的最小内容,让运行更高效,让应用可以在不同的基础设施之间轻松迁移和互通。除此之外,还有很多其他功能。

阅读更多

Docker Hub 介绍

Docker Hub是一个基于云的存储库服务,用户可以随时随地通过互联网将 Docker 容器镜像推送到 Docker Hub,也可以从Docker Hub拉取 Docker 容器镜像。它提供多种功能,例如,用户可以将镜像推送为私有镜像或公开镜像。

阅读更多

Docker 的特点

Docker 是用于开发和自动化应用程序部署的最流行的开源平台之一。它将应用程序部署到容器中,并使我们能够将应用程序与基础架构分离。它旨在提供一个轻量级且快速的代码运行环境,以及一个高效的工作流程,将代码从笔记本电脑传输到测试环境,再投入生产。

阅读更多

Docker 简介

你有没有想过市场上涌现 Docker 容器的原因?在 Docker 出现之前,大多数开发人员在编写代码时都会遇到一个大问题:代码在自己的电脑上可以运行,但当他们尝试在服务器上运行该代码时,却无法正常工作。这是因为应用程序需要合适的运行环境(例如合适的操作系统、库和设置)。如果你的电脑和服务器上的某些东西出现差异,就会出现问题。

为了解决这个问题,Docker 容器应运而生。Docker 是一个开源容器化平台,你可以将应用程序及其所有依赖项打包到一个名为“容器”的标准化单元中。容器是轻量级的,易于移植,并且与底层基础设施以及其他容器相互隔离。你可以在任何安装了 Docker 的机器上将 Docker 镜像运行为 Docker 容器,而无需依赖宿主机的操作系统。

Docker 有两个主要部分:Docker 引擎,它是在本地计算机和服务器上运行的二进制程序,负责处理容器的创建和管理。Docker Hub 是一个网站和云服务,方便每个人轻松共享他们的 Docker 镜像。

阅读更多