旅程小记
现在是2025年8月25日,还有10分钟世界将进入新的一天,我刚到达柳州。
思考片刻还是想要写些不全面也不成熟的文字,聊作纪念。
似乎社会文化中的人类是具有周期的,到某个时刻便有着对应的事情等候完成,有时我会觉得自己被裹挟着蒙着眼做出一件又一件的事情,成年后的每个阶段都十分疲惫,但回过头来却内心之中隐约觉得自己在虚度光阴,虽说人生便是可以被虚度的,但过往的经历当中我更多处于一种被动接受,任某种外界因素支配我的时间的状况当中,对此我并不十分满意。
我希望跳出这种周期,不再一味遵从这种“某个阶段必须去做某件事”的压力当中,我发自内心地想要知道自己究竟是怎样的人,想要或者不想要做怎样的事,于是似乎有些叛逆地选择在这个节点开启一段新的旅途。
旅程总是令人期待的,它充满着希望,也就让人拥有了做出选择的勇气。
至于实际的旅行过程,大致是从广州到宁夏再到北京,上海,来到柳州最后回广,这是一趟愉快的旅程,过程中还争分夺秒地看了四部电影,其中最喜欢的电影是《死亡诗社》。
实际上在刚看完时我是十分疑惑的,我不知道老师对学生们的指导是否真的对他们有好处,是否学生们按部就班地成为“精英”再到未来思考更多个体生 ...
MetaMask开通BSC钱包
说起来虽然本人对web3与区块链的了解实在很浅薄,但是出于某些需要会开通BSC钱包,最近又三分钟热度地沉迷写博客,感觉遇到什么新玩意儿都会随手记录一下,因此这个我也记录一下哼哼。
一、开通账户First of all,首先我们需要开通一个metaMask账号,需要在浏览器中添加扩展,网址如下:metaMask官网
inlong-sort-connector开发记录(ing)
908a763bfa4cce642d04e9b8cf964884f3cd3cf7d577c7163ddb0cf036eeda0e34482cae86ad72c75106f2bd085a18d5a469e6a3c6cbf4bf1fc1d61efd3a6aad95c2f7329812cebde6560133fa2545cae4667d69c15671c02b13d24e8b3f592976c718856cb20625ebdc8527b221c50e946930b428675812104d9160beb3b46dd9b647037cb600ce6ca29a60ca870e98558cbc5983c264c406202df07e503f425b2714fc83b89887ec25a8dc8dbd216800ee46e94a19fb36e796409d63c015e0733f65044585e811d7347d60a8d1abe3ca68c84970c10e46c226183e45bdbfe8fec654efd693a96977f5df13413096dbda9869a1c267acd04 ...
lance调研
因参与的项目需要,需要事先调研lance及lanceDB数据库,此处以作记录。
lance相关库及本次调研相关参考材料如下:https://github.com/lancedb/lancehttps://blog.lancedb.com/lance-v2/
一、lance数据新数据的诞生源于多方面因素,其中最重要的因素为现有的列式格式数据对于AI/ML工作负载的处理效率不同。
由于该领域存在一些本人尚未涉足的领域,因此在此处将博客中提及的所需前置背景知识及促使lance数据格式产生的挑战均放置于此。
(一)相关背景知识1.列式数据
2.point lookups(点查询)point lookups点查询是一种访问少量行的查询,无论何时使用二级索引,点查询都是必不可少的,例如,语义检索和全文检索在lanceDB中都会以点查询的形式存在。传统的Parquet在点查询方面的主要挑战在于它的编码是不可切片的,这会导致即使我们需要通过加载整个数据页才能够访问单行,对于多模态相关工作而言,它们的数据往往值很大,这一弊端将会极大地影响查询与合并的过程。
3.wide columns(宽列) ...
播客小记01-新世相对谈许倬云
播客链接:https://www.xiaoyuzhoufm.com/episode/688c6e7b8e06fe8de7cbe542
不久之前从不同的朋友口中听闻了许倬云先生去世的消息,心中感叹,但实际上我自己对于这样一位人物的生平并不特别熟悉,直到今天上午有朋友转发了一期新世相对谈许倬云先生的播客,标题是“对谈许倬云:年轻的朋友们,不要放弃寻找生死之交”,仿佛有一个引子,我很想知道这样一位经历了那样多事的人会对友谊、交情有着怎样的评价,于是,我点开了这样的一期播客。
这期播客时长非常短,或许可以排为我所听过的播客节目中时长最短的几期,不过这也让因为个人过分焦躁而无法静下心来倾听播客的我能够更加简单地沉浸其中。而即使是这样短的一期播客,其中可能也包含着许多的议题,因此我就捡着我最具感触与想表达的部分表达吧!
“不要一个人发闷气,不要喝闷酒,大家互相交流,互相担起别人的包袱,几个人一起担包袱,即使一起流泪,泪水是可以擦干的。” 当听到这句话的瞬间,我似乎被一种温暖而厚实的力量包围,对,“泪水是可以擦干的”。我总 ...
黑客松first-time!
博客重更新time!
最近的一些活动总有填写个人主页的选项,因此重新打开了我的博客,发觉自从4月1日之后就没有再进行更新了,其中一个原因可能是我的四月与五月过度混乱,致使从漩涡脱身也花费了不少时间,言归正传,还是记录一下近段时间的黑客松经历吧!
黑客松?游客day!项目一:expo展示环节7月末因为一些原因我来到南京,本来打算在这座城市舒适闲逸地游荡,但是却在出发的前一天决定更改行程,从南京往返杭州,以游客的身份参加一场本与我无关的活动。
Adaventure-X,似乎这个名字曾经在我们的小组成员的水群中出现,回忆起来那还是他们的第一届活动,因为事务缠身,小组成员都抽不开身,所以也并没有更进一步的了解了。
临行之前,我甚至还对“黑客松”一词不甚了解,在小红书,知乎等各种社交媒体与浏览器搜索之后仍然一知半解,只觉得应当是有趣的,也就只身前往了。
7月27号,我走进了活动的会场,映入眼帘的是选手们张贴的介绍与联系方式,我花费了0.001s转换成i人形态,于是揣着dv和雨伞,跟着其他人走进了expo展示的各个摊位处。我有些惶恐,以至于只能走向那些早有人围观的项目,蹭着其他人的发言,听着我想听 ...
对比学习
参考博客:https://blog.csdn.net/jcfszxc/article/details/135381129
✅ 对比学习本质上是在“重塑模型的嵌入空间(embedding space)”,让语义相似的样本距离更近、语义不相似的样本距离更远。
监督对比学习在数据点对及其标签上进行训练以区分相似和不相似的实例。https://arxiv.org/pdf/2409.12941
在数据增强的基础上添加与锚点相同类别的样本
文章步骤:表示学习框架(数据增强-编码网络-投影网络)对比损失函数(自监督对比损失-用数据增强的结果进行对比损失|监督对比损失-添加同类样本进行学习)内在的执行硬正负样本挖掘的能力,即保留以下功能,来自硬正/负样本(即与锚点继续对比对编码器有很大益处的样本)的梯度贡献很大,而来自易正/负样本(即与锚点继续对比对编码器只有轻微益处的样本)的梯度贡献很小,挖掘重要的样本很关键。
通常,损失应用于深度网络的最后一层,在测试时,利用先前层的嵌入进行下游秦阿姨任务、微调或直接检索任务。
自监督对比学习从未标记的数据中学习表示,不依赖显式标签, ...
关于不同的模型部署方案的特点
最近一段时间在进行科研训练,因此需要经常部署一些模型,近几天原本在超算中心正常运行的依托vllm部署的模型出现未知的卡顿异常。因为不知道究竟是超算问题还是vllm更新出现的新问题,所以我们打算采用新的部署方案进行测试。
在选择新的部署方案的时候发现不同的部署方案具备不同的特点,可能适配不同的需求,在此博客中进行记录。参考了一个deepseek部署文档,链接如下:https://www.chatstream.org/cn/blog/deepseek-deploy-guide
一、直接demo启动模型这是最基础的部署方式,基本上适配大部分模型,就是将模型文件下载在本地,然后基于模型的说明文档,将最基础运行模型所需要的环境配置好后,直接进行运行,这种部署方式一般是基于模型本身最基础的能力,可能不能提供某些框架所带来的额外的能力例如量化,多服务器运行等,可能在性能方面或者资源的利用方面没有办法做太多的调整。
不过这种方式很适合快速的测试和实验。
二、SGLang部署特点与优势
MLA 优化:支持 MLA (Matrix Layout Aware) 优化,可以更高效地利用 GPU 硬件,加快矩 ...
deepseek部署(超算gpu)
目前由于deepseek-api调用问题,数据集构建需要将deepseek部署在本地,综合存储空间与性能考虑,目前使用的是32b的模型,以下为从hugging-face镜像下载模型的步骤:
相关参考网站如下:(1)https://blog.csdn.net/weixin_40959890/article/details/140319652
(2)https://zhuanlan.zhihu.com/p/689389892
hugging-face镜像下载模型(断点存续)安装依赖1pip install -U huggingface_hub
配置镜像网站1export HF_ENDPOINT=https://hf-mirror.com
tips:可能需要提供官网的key,具体可以在出现报错的时候再去解决
使用huggingface-cli下载模型由于我要下载的事deepseek-R1经过蒸馏后的32b模型,这里我的具体命令如下:
1huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen ...
zotero+deepseek_api文献阅读助手
最近读到了datawhale的一篇关于zotero整合deepseek文献阅读助手的公众号文章,感觉挺有趣的,而且最近在做科研也有一定的文献阅读需要,因此想要尝试利用这样一个工具,以下为具体过程。datawhale公众号文章链接如下:https://mp.weixin.qq.com/s/J8pWhBFAzzo_qW59zJOvXw
一、下载最新版本的zotero在本机电脑中安装zotero,文章中建议更新至最新的zotero7,因此这里进行更新。zotero官方下载地址:https://www.zotero.org/downloads/
记得安装时选择custom修改安装地址,否则默认是安装在c盘中的
二、下载zotero-gpt插件在此地址中选择下载zotero-gpt插件(直接将xpi版本下载至本地即可)插件下载地址:https://github.com/MuiseDestiny/zotero-gpt?tab=readme-ov-file
在zotero中添加插件,步骤如下。
三、申请deepseek API实际上申请其他ai工具api均可,此处使用deepseek API作 ...