旅程小记02
现在是2025年10月28日上午九点钟，距离我从玉龙雪山回到广州已经过去约莫一周了，最近一周都过着正常大学生的生活，当属于秋季清晨的冷风从身侧呼啸而过，我终于做下决定去撰写这份旅程小记。
今年似乎是旅行年，出于各种原因，我踏上了不同的旅程，如果没有记错的话，到目前为止，2025年以来的10个月，每个月我都会离开广州，又回到广州，想起来还觉得十分神奇。
这次和朋友们的旅行是在大概五六月份就约好的，在大家都被压力环绕之时，一个“一切结束之后一同玩乐”的约定就这样产生了。很长一段时间以来，我都觉得约定只是约定，很多时候，在过去约定之上，总有更加重要的东西，虽然我个人十分在意承诺，但也在成长和自己选择的过程中逐渐发现，“爱时的承诺只在爱时生效”这样一句玩笑话。正如我自己在选择学校和老师的时候一样，我一度十分想要去到领域内强组的一位与我十分相合的老师之处，但最终在各种因素与考虑下仍旧做了另外一个风险更大的决定。然而，和朋友们的约定似乎不止是约定，我们确实在前段时间去了珠海与澳门并在中间一天为其中一位朋友庆生（虽然这位朋友的生日早已过去数个月）。
这次的云南之行也是源于一次“想去云南”的对话，我们 ...
【具身智能learning02】-PID控制理论
一、PID 核心理论与作用
PID (比例-积分-微分) 控制器是一种应用最广泛的反馈控制方法，用于计算所需的控制量 (如电机力矩、电压) 来消除系统的误差。
1. PID 控制器的总公式
控制量
： 误差，定义为 目标值 - 当前测量值。
： 分别是比例、积分、微分系数（增益），是需要调整的参数。
2. 三个分量的作用
分量
名称
公式项
作用描述 (基于当前/历史/未来)
效果总结
比例项 (Proportional)
当前 误差有多大，就产生多大的修正力。
提高系统响应速度。
积分项 (Integral)
历史 误差的累积。即使当前误差为零，也能提供持续的修正力。
消除稳态误差 (Steady-State Error)。
微分项 (Derivative)
误差变化的速度 (趋势)。误差变化越快，修正力越大。
抑制振荡和过冲 (Overshoot)，增加阻尼。
二、具身应用与调优挑战
在具身智能中，PID 控制器的调优是核心挑战。每个分量在解决一个问题的同时，也会引入新的副作用。
1. 具身智能中的三大挑战
性能目标
挑战描述
主 ...
【具身智能learning01】-基础概念理解
这两天在datawhale社区看到了与具身智能相关的学习项目，十分感兴趣，虽然自己并没有什么基础，但还是探索一下，blog内容估计和学习笔记差不多。
具体项目链接如下：https://github.com/datawhalechina/ai-hardware-robotics
第一节 具身智能概述
参考材料：https://github.com/datawhalechina/ai-hardware-robotics/tree/main/01-具身智能概述
一、什么是具身智能？
具身智能：指的是能够通过物理身体（如机器人、自动驾驶汽车等）在真实世界中进行感知、交互和学习的智能系统，它强调智能体必须拥有一个“身体”（body），并通过这个身体与环境互动，从而获得对世界更深层次、更符合物理规律的理解。“智能的大脑+行动的身体”。
关键三要素
1-身体：智能体的物理形态，包括各种传感器用于感知，以及执行器用于行动。
2-大脑：即智能算法的多核心，负责处理来自传感器的数据，进行思考、决策，并向执行器发出指令，通常涉及深度学习、强化学习、大语言模型等前沿ai技术。
3-环境：智能体所处的世界。它是 ...
llm语音交互小实践
环境部署
具体环境部署可见该链接，此处仅说明基本步骤：项目开源地址。本项目直接在windows11系统中进行简单尝试。
miniconda\ffmpeg安装
miniconda安装
考虑到实际使用情况，anaconda是一个大而全的工具集合，内部有很多常用的库，但是本人使用下来感觉其中有很多用不到的东西，因此此处尝试使用轻量化自定义程度高的miniconda。链接如下：miniconda
选择合适的版本下载后双击exe，按照提示操作即可。（注意环境变量问题）
ffmpeg安装
可查看该教程windows电脑ffmpef安装教程
具体流程为下载合适的版本-解压-配置环境变量。
模型下载
下载SenseVoiceSmall与QWen模型。
SenseVoiceSmall模型下载：
自动下载：设置215行 model_dir = "iic/SenseVoiceSmall"
手动下载：https://www.modelscope.cn/models/iic/SenseVoiceSmall/files
QWen模型下载：
自动下载：设置220行 m ...
旅程小记
现在是2025年8月25日，还有10分钟世界将进入新的一天，我刚到达柳州。
思考片刻还是想要写些不全面也不成熟的文字，聊作纪念。
似乎社会文化中的人类是具有周期的，到某个时刻便有着对应的事情等候完成，有时我会觉得自己被裹挟着蒙着眼做出一件又一件的事情，成年后的每个阶段都十分疲惫，但回过头来却内心之中隐约觉得自己在虚度光阴，虽说人生便是可以被虚度的，但过往的经历当中我更多处于一种被动接受，任某种外界因素支配我的时间的状况当中，对此我并不十分满意。
我希望跳出这种周期，不再一味遵从这种“某个阶段必须去做某件事”的压力当中，我发自内心地想要知道自己究竟是怎样的人，想要或者不想要做怎样的事，于是似乎有些叛逆地选择在这个节点开启一段新的旅途。
旅程总是令人期待的，它充满着希望，也就让人拥有了做出选择的勇气。
至于实际的旅行过程，大致是从广州到宁夏再到北京，上海，来到柳州最后回广，这是一趟愉快的旅程，过程中还争分夺秒地看了四部电影，其中最喜欢的电影是《死亡诗社》。
实际上在刚看完时我是十分疑惑的，我不知道老师对学生们的指导是否真的对他们有好处，是否学生们按部就班地成为“精英”再到未来思考更多个体生 ...
lance调研
因参与的项目需要，需要事先调研lance及lanceDB数据库，此处以作记录。
lance相关库及本次调研相关参考材料如下：https://github.com/lancedb/lance
https://blog.lancedb.com/lance-v2/
一、lance数据
新数据的诞生源于多方面因素，其中最重要的因素为现有的列式格式数据对于AI/ML工作负载的处理效率不同。
由于该领域存在一些本人尚未涉足的领域，因此在此处将博客中提及的所需前置背景知识及促使lance数据格式产生的挑战均放置于此。
（一）相关背景知识
1.列式数据
2.point lookups（点查询）
point lookups点查询是一种访问少量行的查询，无论何时使用二级索引，点查询都是必不可少的，例如，语义检索和全文检索在lanceDB中都会以点查询的形式存在。传统的Parquet在点查询方面的主要挑战在于它的编码是不可切片的，这会导致即使我们需要通过加载整个数据页才能够访问单行，对于多模态相关工作而言，它们的数据往往值很大，这一弊端将会极大地影响查询与合并的过程。
3.wide columns（宽列 ...
播客小记01-新世相对谈许倬云
播客链接：https://www.xiaoyuzhoufm.com/episode/688c6e7b8e06fe8de7cbe542
不久之前从不同的朋友口中听闻了许倬云先生去世的消息，心中感叹，但实际上我自己对于这样一位人物的生平并不特别熟悉，直到今天上午有朋友转发了一期新世相对谈许倬云先生的播客，标题是“对谈许倬云：年轻的朋友们，不要放弃寻找生死之交”，仿佛有一个引子，我很想知道这样一位经历了那样多事的人会对友谊、交情有着怎样的评价，于是，我点开了这样的一期播客。
这期播客时长非常短，或许可以排为我所听过的播客节目中时长最短的几期，不过这也让因为个人过分焦躁而无法静下心来倾听播客的我能够更加简单地沉浸其中。而即使是这样短的一期播客，其中可能也包含着许多的议题，因此我就捡着我最具感触与想表达的部分表达吧！
“不要一个人发闷气，不要喝闷酒，大家互相交流，互相担起别人的包袱，几个人一起担包袱，即使一起流泪，泪水是可以擦干的。” 当听到这句话的瞬间，我似乎被一种温暖而厚实的力量包围，对，“泪水是可以擦干的”。我总觉得人生成长的过程往往伴随着痛苦，我们总是会流泪的，但泪水是可 ...
黑客松first-time!
博客重更新time！
最近的一些活动总有填写个人主页的选项，因此重新打开了我的博客，发觉自从4月1日之后就没有再进行更新了，其中一个原因可能是我的四月与五月过度混乱，致使从漩涡脱身也花费了不少时间，言归正传，还是记录一下近段时间的黑客松经历吧！
黑客松？游客day！
项目一：expo展示环节
7月末因为一些原因我来到南京，本来打算在这座城市舒适闲逸地游荡，但是却在出发的前一天决定更改行程，从南京往返杭州，以游客的身份参加一场本与我无关的活动。
Adaventure-X，似乎这个名字曾经在我们的小组成员的水群中出现，回忆起来那还是他们的第一届活动，因为事务缠身，小组成员都抽不开身，所以也并没有更进一步的了解了。
临行之前，我甚至还对“黑客松”一词不甚了解，在小红书，知乎等各种社交媒体与浏览器搜索之后仍然一知半解，只觉得应当是有趣的，也就只身前往了。
7月27号，我走进了活动的会场，映入眼帘的是选手们张贴的介绍与联系方式，我花费了0.001s转换成i人形态，于是揣着dv和雨伞，跟着其他人走进了expo展示的各个摊位处。我有些惶恐，以至于只能走向那些早有人围观的项目，蹭着其他人的发言，听着我 ...
对比学习
参考博客：
https://blog.csdn.net/jcfszxc/article/details/135381129
✅ 对比学习本质上是在“重塑模型的嵌入空间（embedding space）”，让语义相似的样本距离更近、语义不相似的样本距离更远。
监督对比学习
在数据点对及其标签上进行训练以区分相似和不相似的实例。
https://arxiv.org/pdf/2409.12941
在数据增强的基础上添加与锚点相同类别的样本
文章步骤：
表示学习框架（数据增强-编码网络-投影网络）
对比损失函数（自监督对比损失-用数据增强的结果进行对比损失|监督对比损失-添加同类样本进行学习）
内在的执行硬正负样本挖掘的能力，即保留以下功能，来自硬正/负样本（即与锚点继续对比对编码器有很大益处的样本）的梯度贡献很大，而来自易正/负样本（即与锚点继续对比对编码器只有轻微益处的样本）的梯度贡献很小，挖掘重要的样本很关键。
通常，损失应用于深度网络的最后一层，在测试时，利用先前层的嵌入进行下游秦阿姨任务、微调或直接检索任务。
自监督对比学习
从未标记的数据中学习表示，不依赖显式标签，利用借口任 ...
关于不同的模型部署方案的特点
最近一段时间在进行科研训练，因此需要经常部署一些模型，近几天原本在超算中心正常运行的依托vllm部署的模型出现未知的卡顿异常。
因为不知道究竟是超算问题还是vllm更新出现的新问题，所以我们打算采用新的部署方案进行测试。
在选择新的部署方案的时候发现不同的部署方案具备不同的特点，可能适配不同的需求，在此博客中进行记录。参考了一个deepseek部署文档，链接如下：https://www.chatstream.org/cn/blog/deepseek-deploy-guide
一、直接demo启动模型
这是最基础的部署方式，基本上适配大部分模型，就是将模型文件下载在本地，然后基于模型的说明文档，将最基础运行模型所需要的环境配置好后，直接进行运行，这种部署方式一般是基于模型本身最基础的能力，可能不能提供某些框架所带来的额外的能力例如量化，多服务器运行等，可能在性能方面或者资源的利用方面没有办法做太多的调整。
不过这种方式很适合快速的测试和实验。
二、SGLang部署
特点与优势
MLA 优化：支持 MLA (Matrix Layout Aware) 优化，可以更高效地利用 GPU 硬件， ...