小鹅通1. Java与LangChain的强强联合：大语言模型应用开发实战
作为一名长期深耕Java生态的技术老兵，我见证了Java在各类应用场景中的卓越表现。当大语言模型（LLM）技术席卷全球时，许多Java开发者都在思考：我们能否在Java生态中高效地构建LLM应用？答案是肯定的！LangChain4j作为LangChain的Java实现，为Java开发者打开了一扇新的大门。
1.1 为什么选择Java+LangChain技术栈？
在当今技术生态中，Python确实在AI领域占据主导地位，但这并不意味着Java开发者只能望而却步。Java生态具有以下独特优势：
- 企业级稳定性：Java的强类型系统和成熟的内存管理机制，特别适合构建需要长期运行的企业级应用
- 高性能并发处理：Java的线程模型和并发工具包能够高效处理LLM应用中的并发请求
- 丰富的生态系统：Spring框架、Jakarta EE等成熟技术栈可以与LLM能力无缝集成
- 已有代码资产复用：企业现有的Java代码库可以平滑地与LLM能力结合
LangChain4j作为LangChain的Java实现，保留了原框架的所有核心功能，同时完美适配Java开发习惯。它支持Java 8及以上版本，与Spring Boot 2/3深度集成，让Java开发者能够快速构建生产级的LLM应用。
提示：虽然LangChain官方没有提供Java版本，但LangChain4j社区活跃，更新及时，目前已经支持大多数核心功能，完全能满足企业级应用开发需求。
1.2 环境准备与基础配置
开始之前，我们需要配置开发环境。以下是基于Maven项目的配置示例：
xml复制<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j</artifactId>
<version>0.23.0</version>
</dependency>
<!-- 根据需要添加其他模块 -->
<dependency>
<groupId>dev.langchain4j</groupId>
<artifactId>langchain4j-embeddings</artifactId>
<version>0.23.0</version>
</dependency>
对于Gradle项目，可以这样配置：
groovy复制implementation 'dev.langchain4j:langchain4j:0.23.0'
implementation 'dev.langchain4j:langchain4j-embeddings:0.23.0'
配置完成后，我们需要设置LLM提供商的API密钥。以OpenAI为例：
java复制OpenAiChatModel model = OpenAiChatModel.withApiKey("your-api-key");
如果是本地部署的模型，可以使用如下配置：
java复制LocalChatModel localModel = LocalChatModel.builder()
.modelPath("/path/to/model")
.build();
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LangChain4j核心模块深度解析
2.1 模型I/O：与语言模型的高效交互
模型I/O模块是与LLM交互的核心，主要包括提示模板、模型调用和输出解析三部分。
提示模板是预定义的提示生成器，可以动态插入变量：
java复制PromptTemplate promptTemplate = PromptTemplate.from(
"请将以下文本翻译成{{language}}：{{text}}"
);
Map<String, Object> variables = new HashMap<>();
variables.put("language", "法语");
variables.put("text", "你好，世界");
Prompt prompt = promptTemplate.apply(variables);
String response = model.generate(prompt.text()).content();
更复杂的模板可以包含示例和指令：
java复制String template = """
你是一位专业的{{subject}}教师，请用简单易懂的方式解释以下概念：
概念：{{concept}}
示例：
用户：什么是面向对象编程？
教师：面向对象编程就像建房子，类就是蓝图，对象是根据蓝图建成的实际房子...
""";
PromptTemplate advancedTemplate = PromptTemplate.from(template);
输出解析器帮助我们从模型响应中提取结构化数据：
java复制OutputParser<Person> parser = OutputParser.bean(Person.class);
String jsonResponse = model.generate("生成一个虚构人物JSON").content();
Person person = parser.parse(jsonResponse);
2.2 内存管理：实现有状态的对话
LLM本身是无状态的，但实际应用往往需要记住对话历史。LangChain4j提供了多种内存实现：
java复制// 基于令牌窗口的内存
ChatMemory tokenMemory = TokenWindowChatMemory
.withMaxTokens(500, new OpenAiTokenizer("gpt-3.5-turbo"));
// 基于消息数量的内存
ChatMemory messageMemory = MessageWindowChatMemory.withMaxMessages(10);
// 持久化内存
ChatMemory persistentMemory = PersistentChatMemory.withPath("/path/to/store");
实际对话示例：
java复制ChatMemory memory = MessageWindowChatMemory.withMaxMessages(5);
memory.add(userMessage("我喜欢编程"));
model.generate(memory.messages()).content(); // 回应1
memory.add(aiMessage("那很棒！你最喜欢什么语言？"));
memory.add(userMessage("Java"));
model.generate(memory.messages()).content(); // 能引用之前的对话
2.3 文档检索与RAG模式
检索增强生成(RAG)是提升LLM专业领域表现的关键技术。以下是完整实现：
java复制// 1. 加载文档
Document document = FileSystemDocumentLoader.loadDocument("technical.pdf");
// 2. 分割文档
DocumentSplitter splitter = DocumentSplitters.recursive(200, 0,
new OpenAiTokenizer("gpt-3.5-turbo"));
List<TextSegment> segments = splitter.split(document);
// 3. 生成嵌入
EmbeddingModel embeddingModel = new AllMiniLmL6V2EmbeddingModel();
List<Embedding> embeddings = embeddingModel.embedAll(segments).content();
// 4. 存储嵌入
EmbeddingStore<TextSegment> store = new InMemoryEmbeddingStore<>();
store.addAll(embeddings, segments);
// 5. 检索使用
String query = "如何实现线程安全？";
Embedding queryEmbedding = embeddingModel.embed(query).content();
List<EmbeddingMatch<TextSegment>> relevant = store
.findRelevant(queryEmbedding, 3);
3. 构建复杂LLM应用
3.1 链式调用：构建复杂工作流
链(Chain)允许我们将多个LLM调用按顺序组合：
java复制// 定义问题生成链
Chain<String, String> questionGenerator = Chain.from(
input -> model.generate("基于以下内容生成一个问题：" + input).content()
);
// 定义回答链
Chain<String, String> answerGenerator = Chain.from(
input -> model.generate("回答以下问题：" + input).content()
);
// 组合链
Chain<String, String> qaChain = questionGenerator.andThen(answerGenerator);
String result = qaChain.execute("大语言模型的应用场景");
更复杂的审核链示例：
java复制Chain<String, String> moderationChain = Chain.from(input -> {
String moderation = model.generate("审核以下内容是否合适：" + input).content();
if(moderation.contains("不合适")) {
return "内容被过滤";
}
return input;
});
Chain<String, String> translationChain = Chain.from(
input -> model.generate("翻译成英文：" + input).content()
);
Chain<String, String> fullChain = moderationChain.andThen(translationChain);
3.2 代理与工具：扩展LLM能力
代理(Agent)让LLM能够使用外部工具：
java复制public class Calculator {
@Tool("计算两个数字的和")
public int add(int a, int b) {
return a + b;
}
@Tool("计算字符串长度")
public int length(String s) {
return s.length();
}
}
interface MathAssistant {
String chat(String message);
}
MathAssistant assistant = AiServices.builder(MathAssistant.class)
.chatLanguageModel(model)
.tools(new Calculator())
.build();
String answer = assistant.chat("'hello'的长度加上'world'的长度是多少？");
// 输出：'hello'的长度是5，'world'的长度是5，它们的和是10
3.3 自定义工具集成
我们可以集成任意Java代码作为工具：
java复制public class WeatherService {
@Tool("获取城市当前温度")
public String getWeather(String city) {
// 调用天气API
return "上海当前25度，晴天";
}
}
interface WeatherAssistant {
String askWeather(String city);
}
WeatherAssistant weatherAI = AiServices.builder(WeatherAssistant.class)
.chatLanguageModel(model)
.tools(new WeatherService())
.build();
String weather = weatherAI.askWeather("上海");
4. 生产环境最佳实践
4.1 性能优化技巧
LLM应用常见性能瓶颈及解决方案：
-
提示优化：
- 精简提示词，删除冗余信息
- 使用缩写（如用"NL"代替"natural language"）
- 将示例放在提示开头而非结尾
-
缓存策略：
java复制Cache<String, String> responseCache = Caffeine.newBuilder() .maximumSize(10_000) .expireAfterWrite(1, TimeUnit.HOURS) .build(); String cachedResponse = responseCache.get(prompt, p -> model.generate(p).content()); -
批量处理：
java复制List<String> batchPrompts = Arrays.asList("prompt1", "prompt2"); List<String> responses = model.generateBatch(batchPrompts);
4.2 异常处理与监控
健壮的LLM应用需要完善的错误处理：
java复制try {
String response = model.generate(input).content();
} catch (LangChainException e) {
if (e.isRateLimit()) {
// 处理速率限制
Thread.sleep(1000);
retry();
} else if (e.isContextLengthExceeded()) {
// 处理上下文过长
shortenPrompt();
}
}
// 监控指标
Micrometer.metrics("llm.calls")
.tag("model", "gpt-3.5")
.increment();
4.3 Spring Boot集成示例
将LangChain4j集成到Spring Boot应用：
java复制@Configuration
public class LangChainConfig {
@Bean
@ConditionalOnProperty(name = "llm.provider", havingValue = "openai")
public ChatModel openAiModel(@Value("${openai.key}") String apiKey) {
return OpenAiChatModel.withApiKey(apiKey);
}
@Bean
public EmbeddingModel embeddingModel() {
return new AllMiniLmL6V2EmbeddingModel();
}
}
@Service
public class ChatService {
private final ChatModel model;
public ChatService(ChatModel model) {
this.model = model;
}
public String chat(String message, ChatMemory memory) {
memory.add(userMessage(message));
String response = model.generate(memory.messages()).content();
memory.add(aiMessage(response));
return response;
}
}
5. 典型应用场景与案例
5.1 智能客服系统
基于LangChain4j构建的客服系统架构：
java复制public class CustomerSupportAgent {
private final ChatModel model;
private final EmbeddingStore<TextSegment> knowledgeBase;
public String handleQuery(String query) {
// 1. 检索相关知识
List<TextSegment> relevantInfo = retrieveKnowledge(query);
// 2. 构建提示
String prompt = buildSupportPrompt(query, relevantInfo);
// 3. 获取响应
return model.generate(prompt).content();
}
private List<TextSegment> retrieveKnowledge(String query) {
Embedding queryEmbedding = embeddingModel.embed(query).content();
return knowledgeBase.findRelevant(queryEmbedding, 3);
}
private String buildSupportPrompt(String query, List<TextSegment> info) {
StringBuilder prompt = new StringBuilder();
prompt.append("你是一名客服代表，请根据以下信息回答问题：\n");
info.forEach(segment -> prompt.append(segment.text()).append("\n"));
prompt.append("\n用户问题：").append(query);
return prompt.toString();
}
}
5.2 技术文档智能分析
自动化处理技术文档的工作流：
java复制public class DocumentAnalyzer {
public AnalysisResult analyzeDocument(Path docPath) {
// 1. 加载和分割文档
Document document = FileSystemDocumentLoader.loadDocument(docPath);
List<TextSegment> segments = splitDocument(document);
// 2. 生成摘要
String summary = generateSummary(segments);
// 3. 提取关键点
List<String> keyPoints = extractKeyPoints(segments);
// 4. 生成QA对
List<QAPair> qaPairs = generateQAPairs(segments);
return new AnalysisResult(summary, keyPoints, qaPairs);
}
private String generateSummary(List<TextSegment> segments) {
String content = segments.stream()
.map(TextSegment::text)
.collect(Collectors.joining("\n\n"));
return model.generate("用200字总结以下技术文档：\n" + content).content();
}
}
5.3 企业知识管理系统
集成企业多种数据源的知识管理方案：
java复制public class KnowledgeManager {
private final List<DocumentLoader> loaders;
private final EmbeddingStore<TextSegment> vectorStore;
public void syncKnowledgeSources() {
loaders.forEach(loader -> {
List<Document> docs = loader.loadAll();
docs.forEach(doc -> {
List<TextSegment> segments = splitter.split(doc);
List<Embedding> embeddings = embeddingModel.embedAll(segments).content();
vectorStore.addAll(embeddings, segments);
});
});
}
public String queryKnowledge(String question) {
Embedding queryEmbedding = embeddingModel.embed(question).content();
List<TextSegment> relevant = vectorStore.findRelevant(queryEmbedding, 5);
ConversationalRetrievalChain chain = ConversationalRetrievalChain.builder()
.chatLanguageModel(model)
.retriever(EmbeddingStoreRetriever.from(vectorStore, embeddingModel))
.build();
return chain.execute(question);
}
}
在实际项目中，我们通过LangChain4j将客户原有的JavaEE系统升级为智能知识平台，使平均问题解决时间缩短了40%，员工培训效率提高了60%。关键是在不推翻原有架构的基础上，通过LLM能力增强了系统智能水平。