陆衍 · AI深度学习算法工程师

中文·github #人工智能 #算法专家
陆衍
AI深度学习算法工程师
139 0000 0000 · zhaoliu@example.com · zhaoliu · 北京
github.com/username
· 1985-09 · 在职-看机会 · 30K-50K
汉族 · 中共党员 · 四川成都 · 已婚

个人总结

AI 深度学习算法工程师,约 8 年经验。技术路径从搜索 NLP 语义匹配起步,历经计算机视觉与图文跨模态检索,最终成长为主导千亿级大模型预训练、对齐与多模态 AIGC 端到端落地的算法专家。0 到 1 主导 130B 中文基座模型预训练(2048 卡分布式集群、万亿 token 语料),将集群 MFU 由 42% 提升至 54%;完整落地 SFT→奖励模型→PPO 的 RLHF 对齐链路,人工评测胜率由 48% 提升至 72%、有害与不当输出下降 65%。作为算法负责人从 0 组建 30 余人多模态团队,统一文本/图像/视频表征,使自研底座复用于 4 条核心产品线,支撑日均 800 万次调用、服务 200+ 企业客户。既能压榨工程与算力极限,也能把模型沉淀为可商业化、可规模化投产的产品价值。

  • 大模型全链路:预训练、RLHF 对齐与推理加速(量化—蒸馏—缓存)三位一体,单位 token 推理成本下降 62%、单卡吞吐提升约 2.6 倍,P99 时延从 1.8s 降至 0.6s。

  • 多模态与 AIGC 落地:跨模态检索、统一内容理解与可控图文生成端到端打通——统一多模态底座覆盖 6 条业务线、20+ 亿内容资产规模化投产,可控图文生成系统月均自动产出营销素材 12 万张以上。

工作经历

📦某综合搜索大厂 / NLP 算法工程师
NLP 算法工程师
  • 针对传统倒排与关键词匹配在长尾、口语化 query 上语义理解薄弱的问题,主导引入 BERT 预训练语言模型并微调 query-doc 语义匹配模型,使长尾 query 相关性(GSB 评测)提升 12%、搜索无结果率下降 18%

  • 设计双塔文本表示与语义向量召回链路,将 BERT 句向量蒸馏为轻量编码器以满足线上实时计算,语义召回通道贡献整体有效召回 +9%,覆盖此前关键词召回无法触达的同义与改写 query

  • 将语义匹配分作为核心特征接入搜索排序模型,完成特征对齐与在线 A/B 验证,头部场景点击相关性(CTR×相关性)提升 6.3%,并连续两个迭代周期稳定正向

  • 推动语义模型从离线实验走向线上全量,搭建模型服务化、灰度发布与回滚机制,沉淀团队首套深度学习上线工程规范,支撑日均亿级 query 稳定服务、P99 时延控制在 25ms 以内

  • 建立语义相关性标注规范与离线评测基线,打通训练—评测—上线闭环流水线,使后续语义模型迭代周期由 3 周缩短至 1 周

语义匹配BERT文本表示搜索排序
2018.07 - 2020.09
📦Visionova(计算机视觉独角兽) / 高级算法工程师
高级算法工程师
  • 主导基于对比学习的图文跨模态检索模型(CLIP 范式)从 0 到 1 落地,在 8000 万图文对上完成双塔预训练,图搜文 Top-5 召回率较原 OCR+标签管线提升 16 个百分点

  • 针对长尾误检设计难负样本在线挖掘策略,结合温度系数与队列式负样本扩充,将跨模态对齐的对比损失收敛轮次缩短约 30%,验证集 mAP 提升 9.2%

  • 推动模型从单模态图像扩展到视频理解,引入帧采样+时序注意力建模视频内容,短视频自动标签准确率从 78% 提升至 89%,支撑内容理解上游标注成本下降约 40%

  • 将双塔向量检索接入业务侧以图搜图/跨模态搜索链路,配合量化索引把亿级图库的单次检索时延压到 45ms 以内,相关搜索场景点击率相对提升 11%

  • 沉淀图文表征统一训练框架与评测基线,覆盖 4 类下游检索任务,使团队新场景模型交付周期由 6 周缩短至 3 周

多模态检索视频理解CLIP对比学习
2020.09 - 2022.10
📦某头部云计算平台 / 大模型算法专家
大模型算法专家
  • 平台缺乏自研基座大模型、长期依赖外部商用 API,主导千亿参数(130B)中文基座模型从 0 到 1 预训练,搭建 2048 卡 GPU 分布式训练集群,在万亿 token 语料上完成预训练,通用能力评测对齐同期主流开源 SOTA

  • 基于 Megatron-LM 落地张量/流水线/数据三维并行,结合混合精度、序列并行与梯度重计算优化显存与通信,将集群 MFU(算力利用率)从 42% 提升至 54%,单轮预训练周期缩短约 30%

  • 自建万亿级语料清洗去重 pipeline(规则+模型双重过滤、MinHash 近重去除、质量分级采样),高质量数据占比提升至 90%+,相同算力预算下基座模型困惑度(PPL)下降 12%

  • 设计并落地完整 RLHF 对齐链路(SFT → 奖励模型 → PPO),组织标注 50 万+ 偏好样本并迭代奖励模型,人工评测胜率从 48% 提升至 72%,有害与不当输出下降 65%

  • 牵头企业级 LLM 能力平台建设,统一基座、领域微调与模型服务接口,支撑 10+ 内部业务线接入、月均调用量达千万级,整体大模型相关外采成本下降约 40%

LLM预训练分布式训练RLHFMegatron
2022.10 - 2024.08
📦Aurora AI(大模型创业公司) / 首席算法专家 / 算法负责人
首席算法专家 / 算法负责人
  • 作为算法负责人从 0 组建 30 余人多模态大模型团队,制定自研技术路线与季度算法 OKR,18 个月内将交付节奏从单季 1 个模型版本提升至双周一次稳定迭代

  • 主导自研多模态大模型的架构选型与训练策略,统一文本/图像/视频表征,在内部多模态评测集上综合得分较开源基线提升 27%,支撑 4 条核心产品线复用同一底座

  • 定义 AIGC 产品的算法路线与商业化路径,推动从 Demo 到付费产品落地,上线一年内服务 200+ 企业客户、日均调用突破 800 万次

  • 牵头制定大模型推理优化与成本管控策略,通过架构裁剪与服务化调度将单位 token 推理成本下降 62%,单业务线毛利由负转正

  • 建立算法评审、数据飞轮与离线/在线一致的实验体系,将新需求平均验证周期从 3 周压缩至 5 天,模型上线事故率下降 70%

  • 作为算法整体技术决策者拍板自研与开源混合选型方案,主导 2 项核心技术专利申请,并搭建校招+社招人才梯队支撑团队可持续扩张

多模态大模型AIGC推理优化团队管理
2024.08 - 至今

项目经历

📦企业级多模态内容理解平台 / 算法负责人
算法负责人
  • 针对公司图文、视频内容理解能力散落在各业务线、标准与表示互不相通的问题,主导建设企业级统一多模态内容理解平台,基于多模态大模型将图、文、视频对齐到同一向量空间,覆盖 6 条业务线、20+ 亿条内容资产,特征复用率从不足 30% 提升至 85%

  • 牵头落地跨模态对齐驱动的内容审核链路,识别图文语义不一致与视频帧级风险,违规召回率由 92% 提升至 97%、漏审率下降约 60%,人工复审量减少 45%,支撑日均亿级内容的安全准入

  • 自研十亿级向量检索系统,统一支持以文搜图、以图搜视频等跨模态检索场景,检索 P99 时延压降至 80ms 以内、Top-10 召回率达 95%,替换原有多套异构检索服务并下线 40% 冗余算力

  • 设计基于对比学习的统一多模态表示方案,将跨模态对齐损失与难负样本挖掘引入训练,使下游审核、检索、标签等任务平均指标提升 8 个百分点,新业务接入周期由 2 周缩短至 3 天

  • 作为算法负责人带领 12 人团队,建立多模态评测基线与数据闭环回流机制,将模型迭代周期从 6 周压缩至 2 周,半年内稳定交付 4 个平台级模型版本

多模态大模型内容理解向量检索跨模态对齐
2023.03 - 2024.06
📦大模型推理加速引擎 / 核心算法
核心算法
  • 面向代号「灵犀」推理平台千亿级 LLM 在线服务 GPU 成本高、首 token 时延偏长的痛点,作为核心算法主导推理加速专项,搭建覆盖量化—蒸馏—缓存的端到端优化链路,单卡吞吐提升约 2.6 倍。

  • 设计 W8A8 与 INT4 混合精度量化方案,结合分组量化与离群值保护,将 130B 模型显存占用压缩 56%,评测集精度损失控制在 0.5% 以内,单实例并发承载能力提升约 2.1 倍。

  • 主导知识蒸馏,将 130B 教师模型蒸馏为 13B 学生模型,在核心业务任务上保留约 96% 效果,端到端推理成本下降 70%,平稳承接 60% 以上线上流量。

  • 重构 KV 缓存与注意力调度,落地分页式 KV 缓存、前缀复用与连续批处理,长上下文场景显存碎片下降约 40%,P99 时延从 1.8s 降至 0.6s。

  • 引入投机解码(小模型草稿 + 大模型校验),在输出一致前提下将平均解码速度提升 1.9 倍,日均节省推理算力约 35%,支撑业务峰值 QPS 翻倍。

推理优化量化蒸馏KV缓存
2023.08 - 2024.05
📦可控图文生成系统 / 算法主力
算法主力
  • 面向营销团队素材产能瓶颈,主导搭建可控图文生成系统 Helix:以扩散模型为底座叠加多条件约束(版式/线稿/色板/品牌字体),将海报与 Banner 的一次成图可用率从不足 30% 提升至约 72%,单张素材平均生产周期由 2–3 小时压缩到 5 分钟内。

  • 设计区域级可编辑生成与文字渲染链路,以局部重绘结合区域化提示注入,攻克扩散模型中文长文案「糊字/错字」难题,关键文案字符准确率提升至 96% 以上,支撑电商主图、活动页等强文字场景规模化落地。

  • 构建轻量化品牌风格定制方案,借助风格参考图与低秩适配,使单个品牌平均 30 分钟内完成风格对齐并沉淀 40+ 品牌风格库,让非设计岗运营人员自助产出合规素材的占比达到 65%。

  • 落地可控生成的安全与质检闭环,引入多模态打分模型对生成结果做美学、合规、版权风险自动分级,将人工复审工作量降低约 70%,违规素材漏出率控制在 0.5% 以下。

  • 推动系统在 3 条业务线规模化投产,月均自动生产营销素材 12 万张以上,相关投放创意点击率较人工基线提升约 18%,素材综合制作成本下降约 60%。

AIGC扩散模型可控生成多模态生成
2024.09 - 至今

教育经历

🎓清华大学 / 计算机科学与技术
硕士计算机科学与技术系
2015.09 - 2018.06

专业技能

搜索排序与语义匹配12.3%文本表示与向量检索12.3%多模态检索与视频理解9.6%大模型预训练与分布式训练12.3%RLHF对齐训练9.6%多模态大模型12.3%大模型推理优化12.3%AIGC与扩散模型生成9.6%团队管理9.6%

荣誉奖项

honor集团年度技术突破奖2023.01

主导多模态大模型在业务场景的落地,获评集团年度最高技术荣誉。

honorCVPR 论文录用(第一作者)2021.01

作为第一作者,提出的跨模态检索方法被计算机视觉顶级会议 CVPR 收录。

honor研究生国家奖学金2017.01

硕士在读期间综合排名位居前列,获评研究生国家奖学金。

示例数据,仅供参考