ArthurChiao's Blog

Recent Posts

  • 2024-03-24

    [译][论文] InstructGPT:基于人类反馈训练语言模型遵从指令的能力(OpenAI,2022)

    译者序本文翻译自 2022 年 OpenAI 的论文:Training language models to follow instructions with human feedback,整理翻译了其中感兴趣的部分。大模型进化树,可以看到 InstructGPT 所处的年代和位置。来自 大语言模型(LLM)综述与实用指南(Amazon,2023)。GPT -> InstructGPT -> ChatGPT 的过程,可参考如何训练一个企业级 GPT 助手(OpenAI,2023)。译者水平有限,不免存在遗漏或错误之处...

  • 2024-03-10

    [译][论文] BERT:预训练深度双向 Transformers 做语言理解(Google,2019)

    译者序本文翻译自 2019 年 Google 的论文:BETT: Pre-training of Deep Bidirectional Transformers for Language Understanding。@article{devlin2018bert, title={BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding}, author={Devlin, Jacob and Chang, Ming-Wei ...

  • 2024-02-25

    K8s 调度框架设计与 scheduler plugins 开发部署示例(2024)

    1 引言 1.1 调度框架(sceduling framework)扩展点 1.1.1 影响调度决策的扩展点 1.1.2 不影响调度决策的扩展点(informational) 1.2 调度插件分类 1.2.1 in-tree plugins 1.2.2 out-of-tree plugins 1.3 每个扩展点上分别有哪些内置插件...

  • 2024-02-15

    Linux 服务器功耗与性能管理(五):问题讨论(2024)

    整理一些 Linux 服务器性能相关的 CPU 硬件基础及内核子系统知识。水平有限,文中不免有错误或过时之处,请酌情参考。 Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024) Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024) Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024) Linux 服务器功耗与性能管理(四):监控、配置、调优(2024) Linux 服务器功耗与性能管理(五):问题讨论(2024) 1 idle=poll 的潜在风险 ...

  • 2024-02-15

    Linux 服务器功耗与性能管理(四):监控、配置、调优(2024)

    整理一些 Linux 服务器性能相关的 CPU 硬件基础及内核子系统知识。水平有限,文中不免有错误或过时之处,请酌情参考。 Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024) Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024) Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024) Linux 服务器功耗与性能管理(四):监控、配置、调优(2024) Linux 服务器功耗与性能管理(五):问题讨论(2024) 1 sysfs 相关目录 ...

  • 2024-02-15

    Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024)

    整理一些 Linux 服务器性能相关的 CPU 硬件基础及内核子系统知识。水平有限,文中不免有错误或过时之处,请酌情参考。 Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024) Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024) Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024) Linux 服务器功耗与性能管理(四):监控、配置、调优(2024) Linux 服务器功耗与性能管理(五):问题讨论(2024) 1 结构体 1.1 s...

  • 2024-02-15

    Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024)

    整理一些 Linux 服务器性能相关的 CPU 硬件基础及内核子系统知识。水平有限,文中不免有错误或过时之处,请酌情参考。 Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024) Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024) Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024) Linux 服务器功耗与性能管理(四):监控、配置、调优(2024) Linux 服务器功耗与性能管理(五):问题讨论(2024) 1 CPU 相关的内核子系统 ...

  • 2024-02-15

    Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024)

    整理一些 Linux 服务器性能相关的 CPU 硬件基础及内核子系统知识。水平有限,文中不免有错误或过时之处,请酌情参考。 Linux 服务器功耗与性能管理(一):CPU 硬件基础(2024) Linux 服务器功耗与性能管理(二):几个内核子系统的设计(2024) Linux 服务器功耗与性能管理(三):cpuidle 子系统的实现(2024) Linux 服务器功耗与性能管理(四):监控、配置、调优(2024) Linux 服务器功耗与性能管理(五):问题讨论(2024) 1 拓扑 1.1 Pa...

  • 2024-01-21

    [译] 文生图(text-to-image)简史:扩散模型(diffusion models)的崛起与发展(2022)

    译者序本文翻译自 2022 年的一篇英文博客:The recent rise of diffusion-based models,另外也参考其他资料补充了一点内容,主要方便自己粗浅理解。 Fig. 文生图(text-to-image)近几年演进 由于译者水平有限,本文不免存在错误之处。如有疑问,请查阅原文。 译者序 1 OpenAI DALL·E:起于文本,潜入图像,2021.01 1.1 GPT-3 (2020):基于 transformer 架构的多模态大语言模型 1.2 DALL·E (...

  • 2024-01-01

    GPU 进阶笔记(三):华为 NPU/GPU 演进(2024)

    记录一些平时接触到的 GPU 知识。由于是笔记而非教程,因此内容不会追求连贯,有基础的同学可作查漏补缺之用。水平有限,文中不免有错误或过时之处,请酌情参考。 GPU 进阶笔记(一):高性能 GPU 服务器硬件拓扑与集群组网(2023) GPU 进阶笔记(二):华为昇腾 910B GPU 相关(2023) GPU 进阶笔记(三):华为 NPU (GPU) 演进(2024) 1 术语 1.1 CPU 1.2 GPU 1.3 NPU / TPU 1.4 小结 2 华...