大模型提示词Token经济学万字指南:从底层分词机制到工程级成本优化
大模型多租户推理架构原理深度解析:会话ID管理、算力分配算法与Golang工程实践(二)

大模型多租户推理架构原理深度解析:会话ID管理、算力分配算法与Golang工程实践(二)

大模型时代的算力焦虑与多租户挑战
自2022年底大语言模型(LLM)迎来爆发式增长以来,AI基础设施的焦点逐渐从“如何训练出更大的模型”转移到“如何高效、低成本地推理和部署模型”。在实际的商业化落地中,大模型服务通常以SaaS(Software as a Service)或MaaS(Model as a Service)的形式提供给成百上千个不同的企业或个人用户。这就引入了多租户(Multi-tenancy) 场景。

Read more
AI企业落地的实践思考和阶段反思

AI企业落地的实践思考和阶段反思

近日,一段关于和朋友偶然之间的讨论,企业级AI落地的行业Agent对话引发了我的反思。过去两年,大语言模型(LLM)的横空出世让全球科技界陷入了近乎癫狂的兴奋状态。参数榜单不断刷新,各家厂商的”大模型”发布会被包装成科技界的春晚,融资消息层出不穷。然而,当我们拨开C端营销的噪音,将目光转向真实的产业界时,会发现一个截然不同的场景:企业级AI的落地并非一帆风顺,甚至可以说是步履蹒跚。

Read more
LLM大模型Agent Skill加载机制详解:从概念到原理实践

LLM大模型Agent Skill加载机制详解:从概念到原理实践

一个让所有Agent开发者头疼的问题

想象一下这个场景:你正在构建一个全能型的AI Agent,希望它能写代码、做数据分析、处理PDF、识别图像、操作数据库……你精心为它配置了50个工具函数,每一个都写好了详细的描述和参数说明。然后你信心满满地启动Agent,结果发现——工具越多,模型越笨

Read more
[Agent Harness]深度解析 AI Agent Harness 设计哲学解构、致命缺陷与实践

[Agent Harness]深度解析 AI Agent Harness 设计哲学解构、致命缺陷与实践

当大模型从“对话玩具”迈入“生产系统”,一个安全缺失的 Agent 已成为架构师的噩梦,尤其在企业落地场景中是不得不面对的挑战。Agent Harness(Agent 缰绳/控制面)作为近年来快速崛起的编排抽象,试图在非确定性 AI 与确定性业务之间架起桥梁。

Read more
Agent时代产品和商业价值、模式、落地的个人反思
关于Agent开发的阶段性思考———从基础原理理解到高阶应用实践的谜思解构

关于Agent开发的阶段性思考———从基础原理理解到高阶应用实践的谜思解构

近期在工作闲暇之余一直在反思Agent开发以及相关的方向,Agent智能体开发难吗?在行业不断制造各种概念的今天,说难也难,难在模型本身概率输出的不可控属性,说简单大道至简,一语道破的话,核心就是Prompt的架构艺术。行业造了那么多概念,其实都是围绕着上下文工程展开,开发者还是要守正出奇,多透过现象看本质,不要为了AI而AI让自己陷入拿着锤子找钉子的定式思维模式,也不要过度信任概率模型的能力

首先记住一点,**开发者不再是”写解析器的人”,而是”设计交互协议的人”**。这种角色和思维的转变,是 Agent 开发者的核心竞争力所在,要摒弃一些旧的路径依赖思维,所谓杯满则溢,理解了这一点,很多LLM的“新东西”在理解上才会变得顺理成章。

Read more
一文读懂 AI Skills:概念原理、流程、安全与典型业务场景电商实战工程化实践初探与解构

一文读懂 AI Skills:概念原理、流程、安全与典型业务场景电商实战工程化实践初探与解构

1. Skills 究竟是什么:是“提示词”还是“代码”?

先把结论说清楚:

Skills 的本质是“工程化的提示词扩展”,而不是直接执行的代码。
它通过一个标准化的目录(至少包含 SKILL.md)把:

  • 领域知识
  • 工作流程(SOP)
  • 工具调用方式
    封装起来,在需要的时候“按需注入”给大模型。

AI 技能的成熟度,不取决于模型概率有多高,而取决于我们能在多大程度上用规则去驾驭这种概率。

Read more
从 《AI智能危机》文章 到《仙剑奇侠传》哲学内核以及 AI 时代的道与情、生存与存在悖论的个人哲思
RAG数据处理分类归纳实践经验总结

RAG数据处理分类归纳实践经验总结

针对 RAG(检索增强生成)系统在实际落地中,“数据质量 > 数据数量” 是 RAG 的第一定律。

  • 试试的/临时数据:放入 Context 或 Cache,不要放入向量库,除非它通过了”3Q 过滤”并转化为正式知识。
  • 动态数据:结构化走 SQL,非结构化走异步队列 + 元数据状态标记,避免高频重写向量。
  • 效率问题:靠元数据预过滤缩小搜索空间,靠混合检索 + Rerank 保证精度,靠量化索引节省内存。

RAG实践的核心在于将向量数据库视为“长期记忆库”,而非“临时缓存区”,通过分层管理平衡成本、效率与效果。

Read more