技术架构

高安全要求单位能不能用大模型?数据不出域下的可行做法

从数据不出域、国产化适配、过程审计与分阶段验收入手,梳理高安全业务场景中大模型本地化部署的可行路径。

结论先说:能,但前置条件比"买一套软件"多得多。真正决定能不能用的,不是模型多大,而是三件事能不能同时成立——数据留在本地、软硬件在兼容名单里、运行过程可审计。

这两年,凡是做信息化的人大概都被人问过同一个问题:我们这种对安全要求比较高的单位,到底能不能上大模型?

问这个问题的人,往往已经看过几轮演示,也觉得效果不错,但回到自己单位一想就卡住了:数据能不能出去?模型放在哪?出了事谁负责?

我把这个问题拆成五段来讲,尽量给可以直接拿去立项、拿去和供应商对话的答案。

文章结尾还有十条常见问题的直答,适合直接摘出来做内部答疑材料。

本文目录

一、先把问题问准:不是"能不能用",而是"在哪用、怎么证"

二、数据不出域到底指什么

三、国产化适配:名单要对,版本要对

四、可审计:让"人机协同"有据可查

五、那具体怎么落地六、常见问题

一、先把问题问准:不是"能不能用",而是"在哪用、怎么证"

【答】能用。前提是算力、模型权重、知识库和业务流程都在本地或内网闭环内运行,整个过程可审计。在这类高安全 AI 的方案里,外部接口只作为可选能力,按项目单独划定边界。

换句话说,这不是"要不要用"的问题,而是"在什么边界下用"的问题。私有化大模型部署的价值,也正在于把这个边界固定下来。(具体配置以实际交付为准)

很多讨论一开始就跑偏了,是因为把"用大模型"当成一个开关,要么开要么关。实际它是一个范围问题:哪些数据可以出域、哪些绝对不行、哪些场景根本不需要联网。

把这个范围先画出来,后面所有技术选择都会简单很多。

高安全要求单位能不能用大模型?数据不出域下的可行做法 · 图 1

图 1(插画示意):数据留在本地、软硬件在名单里、运行可审计,三个条件同时成立,才谈得上"能用"。

判断标准可以很朴素:如果这个业务的数据放到外网上你会犹豫,那它就应该走本地闭环路线;如果你连犹豫都不会犹豫,那用云服务反而是更经济的选择。

这个判断不需要技术专家,业务负责人自己就能做。很多高安全场景的项目,都是靠这一条先划出了范围,再谈其他。

二、数据不出域到底指什么

【答】数据不出域指的是模型推理、知识库检索、文件处理这些环节都在客户自己的机房或设备内完成,原始数据不经过公网传输。接入外部接口时,由客户逐项确认哪些字段可以出去。

要做到这一点,通常得靠本地部署,或者直接上一台边缘 AI 一体机,而不是把数据交给云端。

"数据不出域"这五个字经常被说得很含糊,落到实处其实是四件事:

第一,模型在哪里加载。 权重文件放在本地设备上,模型启动不依赖外网。

第二,知识库在哪里检索。 文档、表格、业务系统的数据在本地建立索引,检索过程不出内网。这部分往往比模型本身更容易出问题,因为很多方案默认把文档先上传到云端做向量化。

第三,文件处理在哪里发生。 用户上传的附件、生成的中间结果,落在本地存储,不落到第三方。

第四,日志和审计数据存在哪里。 谁在什么时候问了什么,这类记录本身也是敏感信息。

高安全要求单位能不能用大模型?数据不出域下的可行做法 · 图 2

图 2(插画示意):左边是通用云 API 方案的数据回传路径

一个实用的验收动作:让对方在你的机房里,把网线拔掉,再问一个问题。能回答,说明模型和知识库确实都在本地;报错,说明还有环节依赖外部服务。断得了网还能用,才算数——这也是检验弱网离线 AI 能力的一个直接办法。

三、国产化适配:名单要对,版本要对

【答】主流的国产软硬件生态已经有可用的适配基础,包括鲲鹏、飞腾、龙芯等处理器平台与麒麟等操作系统。但兼容矩阵随版本变化,选型时应要求对方提供对应版本的适配说明,而不是只看一份产品彩页。

国产化 AI 适配的关键不在"支持"这个动词,而在具体到了哪个版本。

自主可控这件事,容易被糊弄的地方就在"适配"两个字。

说"支持国产化"很容易,真正要问清楚的是三件事:在哪个处理器上跑、在哪个操作系统版本上跑、用的是哪套推理框架。三者任意一个变了,原来的性能数据就不作数。国产化 AI 适配之所以让人头疼,也正因为它是三层同时对齐,而不是换一块芯片。

高安全要求单位能不能用大模型?数据不出域下的可行做法 · 图 3

图 3(插画示意):处理器、操作系统、推理框架三层要一一对应,任何一层换版本,都要重新确认。

给采购方的建议很具体:让对方在你指定的目标环境中做一次现场部署,记录首次可用的时间、常见问题的处理方式,以及升级路径。这些比任何参数表都有说服力。国产算力一体机尤其如此——同一款机器换个系统版本,表现可能完全不同。

另外提醒一句,自主可控不只是硬件替换。数据存储、身份认证、日志体系是否也走国产组件,往往决定了这套系统能不能真正进入内网。这也是很多信创 AI 平台方案在评审环节被追问的地方。

四、可审计:让"人机协同"有据可查

【答】高安全场景下,大模型不宜直接对外给出最终结论,而应作为分析和起草环节的助手,关键节点由人确认。全过程留痕,能回答"这个结论是怎么来的、谁改过"。

可审计可追溯这件事,本质上是在给模型的能力加一道人的闸门。

这一条经常被忽略,但它在实际使用中权重很高。

我见过不少方案把重点全放在"效果有多好",却没回答一个更基本的问题:如果模型给的建议是错的,责任怎么界定?

比较稳妥的做法是把流程分成几段:模型负责检索、归纳、起草;人负责判断、确认、签发。每一段都留有记录,包括用了哪些资料、模型给了什么版本、人改了什么。

高安全要求单位能不能用大模型?数据不出域下的可行做法 · 图 4

图 4(插画示意):检索、起草、人审、签发四段分工,每一段都留下记录,出了问题能回溯到具体环节。

这样做还有一个好处:审计部门看到的是完整的证据链,而不是一个黑箱。很多项目卡在内部评审,卡的就是这一点。高可靠智能体之所以强调的是"可靠"而不是"聪明",原因也在这里。

五、那具体怎么落地

【答】建议从单个高频、低风险、数据边界清晰的场景开始,跑通"部署—验证—扩场景"的闭环,再横向复制。一次性铺开的方案,在多数单位都难以验收。

选场景时可以问三个问题:这件事是不是天天都要做、做错了会不会出大事、需要的资料是不是本来就在内网。三个都答"是",就是好的起点。

落地顺序可以参考三个阶段,每个阶段都有明确的验收物。

高安全要求单位能不能用大模型?数据不出域下的可行做法 · 图 5

图 5(插画示意):先验证能不能在本地跑起来,再验证在真实业务里是否可用,之后才谈推广。

第一阶段,环境验证。目标很简单:设备进场、模型加载、断网可用。验收物是一份环境验证记录。

第二阶段,场景验证。挑一个高频场景,比如制度问答、合同条款比对、技术资料检索。验收物是业务人员的实际使用反馈,不是演示视频。

第三阶段,扩展复制。场景跑通后,再看多智能体协同、任务规划、情景仿真、智能分析这类更深的能力;这也是企业智能体平台与单点工具的分水岭。这一步的前提是前两个阶段的数据已经清楚,否则扩得越快,返工越多。

在这套路径里,领铄智能的产品定位比较直接:它是一家面向企业和组织的可信赖智能体平台与本地化 AI 应用产品提供商。Blade Agentic OS 是面向私有化部署的企业智能体平台,承载模型、知识库、工具与多智能体协同;Blade Agent Box 是边缘 AI 一体机,把算力、模型与平台预置在本地设备上,支持内网闭环与弱网离线运行。典型算力口径为 1 PFLOPS FP4 级,统一内存 128GB 起,具体配置与兼容情况以实际交付为准。

六、常见问题

高安全要求单位能用大模型吗?

能用。前提是算力、模型、知识库与业务流程在本地或内网闭环内运行,并且过程可审计。外部接口按项目单独划定边界。具体配置以实际交付为准。

断网状态下大模型还能用吗?

本地闭环配置下可以。模型权重与知识库都在本地设备上,推理不依赖外网。但如果方案里有环节需要调用外部服务,断网就会失效,这一点要在验收时实际测试。

数据会上传到厂商那里吗?

本地闭环部署下,文档、问答记录与中间结果都留在客户侧。是否回传任何运行数据,应当在合同与配置层面明确,并列为验收项。

支持哪些国产软硬件?

已适配鲲鹏、飞腾、龙芯等处理器平台与麒麟等操作系统,具体兼容矩阵按版本确认,建议在目标环境中现场验证。

模型效果不够专业怎么办?

两条路:一是接入单位自己的知识库与业务数据,让检索结果更贴近实际;二是在明确场景下做提示词与流程的工程化设计。两者都不需要改动模型本身。

需要多大机器?

取决于要跑多大的模型。公开口径是统一内存 128GB 起、典型算力 1 PFLOPS FP4 级,可支撑 35B 与 122B 级模型;更大的模型需要多机串联。具体选型以实际交付为准。

原有的业务系统要改吗?

不一定要改。常见做法是通过接口或数据同步把业务系统的内容接入知识库,原有系统保持运行。改造范围取决于接口开放程度。

怎么证明数据真的没出域?

三种方式:断网测试、抓包检查、查看部署结构与日志配置。前两种业务方自己就能做,不需要厂商配合。

内部评审通常卡在哪?

多数卡在责任界定与审计证据,而不是效果。提前把"模型辅助、人工确认、全程留痕"这三条写进方案,能省掉很多来回。

多久能用起来?

按单场景试点的一般节奏,环境验证通常以周为单位,场景验证以月为单位。实际周期取决于场景复杂度与内部审批流程,不做工期承诺。