cfanzp

cfanzp学习笔记

AI 模型蒸馏 (Distillation) 技术详解

AI 模型蒸馏 (Distillation) 技术详解 背景 近年来,大型语言模型(LLM)和深度学习模型的规模越来越大。以 GPT-4 为例,据说有超过 1 万亿参数;Meta 的 Llama 3.1 8B 模型也有 80 亿参数。这些"巨型"模型在性能上确实出色,但在实际部署时面临严峻挑战: 推理速度慢:参数量大意味着计算量大,延迟高 显存占用高:需要昂贵的 GPU 才能运行 部署成本高:云端部署的费用让很多场景变得不切实际 模型蒸馏(Distillation) 就是解决这个问题的关键技术之一。它能将大模型(Teacher)的知识"浓缩"到小模型(Student)中,让小模型在保持接近大模型性能的同时,大幅降低计算和存储成本。 什么是知识蒸馏 知识蒸馏(Knowledge Distillation) 最早由 Hinton 等人在 2015 年提出,核心思想是: 让一个轻量级的学生模型学习一个笨重但准确度高的教师模型的行为,从而在保持性能的同时大幅压缩模型规模。 打个比方:知识蒸馏就像是一位经验丰富的大厨(Teacher)指导一个年轻学徒(Student)。学徒虽然经验不足,但通过学习大厨的"火候把握"和"调味直觉",能做出一道接近大厨水平的菜,而且速度更快、成本更低。 基本架构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 ┌─────────────────────────────────────────────────────┐ │ 知识蒸馏框架 │ │ │ │ ┌─────────────┐ 软标签(Soft Labels) │ │ │ Teacher │ ──────────────────────────────▶ │ │ │ 大模型 │ 知识传递(Knowledge Transfer) │ │ │ (参数量大) │ │ │ └─────────────┘ │ │ │ │ │ │ Hard Labels │ │ │ (真实标签) │ │ ▼ │ │ ┌─────────────┐ │ │ │ Student │ ◀──────────────────────────────── │ │ │ 小模型 │ 蒸馏损失(Distillation Loss) │ │ │ (参数量小) │ │ │ └─────────────┘ │ └─────────────────────────────────────────────────────┘ 软标签 vs 硬标签 传统的监督学习只使用硬标签(Hard Label),即非 0 即 1 的确定性标签:

CDP (Chrome DevTools Protocol) 详解

CDP (Chrome DevTools Protocol) 详解 简介 Chrome DevTools Protocol(CDP) 是 Google Chrome / Chromium 提供的一套底层调试协议,允许外部工具通过 JSON 消息对浏览器进行检测、检查、调试和性能分析。 你可能不知道,平时用的 Chrome DevTools 开发者工具,底层就是靠 CDP 来和浏览器通信的。而现在,越来越多的自动化工具(Puppeteer、Playwright、browser-use 等)都基于 CDP 构建。 在上一篇 browser-use 实战总结 中,我们看到了 --remote-debugging-port=9222 这个参数,这正是启用 CDP 的关键。 什么是 CDP CDP 本质上是一个基于 WebSocket 的 JSON 消息协议。它将浏览器的各种能力划分为多个域(Domain),每个域定义了一组支持的命令(Commands)和事件(Events)。 协议架构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ┌──────────────────────────────────────────┐ │ Chrome / Chromium │ │ ┌────────────────────────────────┐ │ │ │ DOM Network Page .

browser-use demo002 实战总结

browser-use demo002 实战总结 背景 在上一篇介绍 browser-use 的文章中,我们了解了这个 AI 驱动的浏览器自动化工具的基本概念。本文通过一个实际的 demo002.py 示例,深入分析 browser-use 的实际运行效果,包括配置细节、执行流程和结果分析。 示例代码分析 demo002.py 是一个最小化的 browser-use 使用示例,核心代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 import asyncio from browser_use import Agent, BrowserProfile from browser_use.llm import ChatOpenAI async def main(): # 1. 配置浏览器参数 browser_profile = BrowserProfile( headless=True, args=[ "--no-sandbox", "--disable-setuid-sandbox", "--disable-dev-shm-usage", "--disable-gpu", "--remote-debugging-port=9222", # 强制 CDP 端口 ], ) # 2.

browser-use - AI 驱动的浏览器自动化工具

browser-use - AI 驱动的浏览器自动化工具 简介 browser-use 是一个开源的 Python 库,旨在让 AI 代理(Agent)能够自动化操作网页浏览器。它通过结合大语言模型(LLM)和浏览器自动化技术(基于 Playwright),使得开发者可以用自然语言描述任务,让 AI 自动完成复杂的网页操作。 该项目在 GitHub 上获得了超过 9.1 万星标,是当前最热门的 AI 浏览器自动化工具之一。无论是表单填写、信息抓取、在线购物,还是自动化测试,browser-use 都能通过简单的 Python 代码来实现。 核心特性 1. 自然语言驱动 不需要编写繁琐的 CSS 选择器或 XPath,只需用自然语言描述任务: 1 task = "去 Hacker News 找到置顶帖子的标题和链接" 2. 多 LLM 支持 支持多种主流大语言模型: 模型提供商 类名称 示例模型 Browser Use 专用 ChatBrowserUse browser-use/bu-30b-a3b-preview OpenAI ChatOpenAI gpt-4o, gpt-4.1-mini Anthropic ChatAnthropic claude-sonnet-4-0 Google ChatGoogle gemini-flash-latest 3. 两种使用方式 开源版本:完全自托管,可深度定制工具和行为。 Cloud 版本:托管在 Browser Use Cloud,提供更好的隐蔽性、代理轮换和验证码解决能力。 4. 丰富的功能 表单自动填写:自动识别表单字段并填写 多标签页管理:跨标签页操作和切换 结构化输出:使用 Pydantic 模型定义输出格式 自定义工具:扩展 Agent 能力 持久化浏览器会话:复用登录状态 CLI 工具:命令行快速操作 安装配置 环境要求 Python >= 3.

markview.nvim - Neovim 文档实时预览插件

markview.nvim - Neovim 文档实时预览插件 简介 如果你经常在 Neovim 中编辑 Markdown、LaTeX 等文档,是否曾梦想过能够实时预览渲染效果?markview.nvim 正是为解决这个需求而生的插件。它支持在 Neovim 中实时预览多种文档格式,包括 Markdown、HTML、LaTeX、Typst、YAML 和 Asciidoc。 markview.nvim 具有以下核心特性: 多格式支持:支持 Markdown、HTML、LaTeX、Typst、YAML、Asciidoc 六种格式 混合编辑模式:允许在预览的同时直接编辑文档 分屏预览:支持左右分屏同时查看编辑和预览效果 高度可定制:几乎所有功能都可以通过配置自定义 动态高亮:自动适配当前colorscheme主题 安装要求 系统要求 Neovim >= 0.10.3 推荐配置 使用 tree-sitter 基础的 colorscheme 推荐使用 nowrap 选项(插件本身支持 wrap) 不使用 expandtab 必需的 Tree-sitter 解析器 需要安装以下解析器: 1 :TSInstall markdown markdown_inline html latex typst yaml 可选解析器 comment:支持 fancy comments html:支持 HTML 预览 latex:支持 LaTeX 数学公式 typst:支持 Typst 预览 tree-sitter-asciidoc:支持 Asciidoc 字体要求 需要现代 Unicode 字体来显示数学符号 推荐使用 Nerd Fonts 安装方式 使用 Lazy.

render-markdown.nvim 使用指南:让 Neovim 中的 Markdown 如虎添翼

render-markdown.nvim 使用指南 对于经常使用 Neovim 编辑 Markdown 文件的用户来说,如何让文档在编辑时拥有更好的可读性一直是一个痛点。render-markdown.nvim 正是为解决这一问题而生的插件——它可以在 Neovim 内部直接渲染 Markdown 元素,让你的文档预览体验媲美 Typora、Obsidian 等专业 Markdown 编辑器。 插件简介 render-markdown.nvim 是一个纯 Lua 编写的 Neovim 插件,完全在 Neovim 内部运行,不需要任何外部窗口或依赖。它能够将 Markdown 文件中的各种元素(如标题、代码块、表格、引用块等)渲染为更加直观的视觉形式。 核心特性 纯内部渲染:所有渲染工作都在 Neovim 中完成,无需启动外部进程 完全可配置:所有组件、图标、颜色、间距都可以自定义 文件类型无关:不仅限于 .md 文件,还可以渲染任意文件中的 Markdown 片段 模态渲染:支持在「渲染视图」和「原始视图」之间根据模式自动切换 大文件支持:只渲染当前可见区域,可以根据文件大小完全禁用 自定义渲染:提供扩展点,用户可以添加自定义渲染规则 环境要求 在安装插件之前,需要确保你的环境满足以下要求: Neovim 版本:最低 >= 0.9.0,推荐 >= 0.10.0 Nerd Font:需要安装 Nerd Font 以正确显示图标 Treesitter 解析器: markdown 和 markdown_inline:必选,用于解析 Markdown 文件 html(可选):用于隐藏 HTML 注释 latex(可选):用于获取 Markdown 中的 LaTeX 公式 yaml(可选):用于渲染 Frontmatter 元数据 图标插件(可选):mini.