优化Excel读取内存占用

[jsbjfkbsjk]

🔗 相关问题 / Related Issue

Issue 链接 / Issue Link: #336

• 我已经创建了相关 Issue 并进行了讨论 / I have created and discussed the related issue
• 这是一个微小的修改（如错别字），不需要 Issue / This is a trivial change (like typo fix) that doesn't need an issue

📋 变更类型 / Type of Change

• 🐛 Bug 修复 / Bug fix (non-breaking change which fixes an issue)
• ✨ 新功能 / New feature (non-breaking change which adds functionality)
• 💥 破坏性变更 / Breaking change (fix or feature that would cause existing functionality to not work as expected)
• 📚 文档更新 / Documentation update
• 🔧 重构 / Refactoring (no functional changes)
• ⚡ 性能优化 / Performance improvement
• 📦 依赖升级 / Dependency upgrade (update dependencies to newer versions)
• 🚀 功能增强 / Feature enhancement (improve existing functionality without breaking changes)
• 🧹 代码清理 / Code cleanup

📝 变更目的 / Purpose of the Change

原提取方式在遇到复杂excel时因为提取方式是把excel整个解析到内存中会大幅提高内存占用，因此优化文件提取可以提高运行流畅度。

📋 主要变更 / Brief Changelog

引入了fast excel包替代org.apache.poi.xssf.usermodel.XSSFWorkbook;
采用流式读取，无须把先把excel文件解析到内存中。

🧪 验证变更 / Verifying this Change

测试步骤 / Test Steps

1. mvn clean install
2. 在应用的对话节点分别采用只输入文本和文本+excel文件这两种方式进行内存占用比对。
3. 在powershell检测进程的内存占用情况。
4. 检测ai的回答是否正确识别内容。

测试覆盖 / Test Coverage

• 我已经添加了单元测试 / I have added unit tests
• 所有现有测试都通过 / All existing tests pass
• 我已经进行了手动测试 / I have performed manual testing

📸 截图 / Screenshots

文本对话：

内存占用情况：

文本+文件对话（8M的excel文件有45万条内容，只读到1367行）：

最终稳定的内存占用：

由于后端逻辑规定了最大token数是20000，当文件较大时内容会被截取，导致ai只能读到第一个sheet的部分内容，当文件比较小时ai可以识别所有内容。

✅ 贡献者检查清单 / Contributor Checklist

请确保你的 Pull Request 符合以下要求 / Please ensure your Pull Request meets the following requirements:

基本要求 / Basic Requirements:

• 确保有 GitHub Issue 对应这个变更（微小变更如错别字除外）/ Make sure there is a Github issue filed for the change (trivial changes like typos excluded)
• 你的 Pull Request 只解决一个 Issue，没有包含其他不相关的变更 / Your PR addresses just this issue, without pulling in other changes - one PR resolves one issue
• PR 中的每个 commit 都有有意义的主题行和描述 / Each commit in the PR has a meaningful subject line and body

代码质量 / Code Quality:

• 我的代码遵循项目的代码规范 / My code follows the project's coding standards
• 我已经进行了自我代码审查 / I have performed a self-review of my code
• 我已经为复杂的代码添加了必要的注释 / I have commented my code, particularly in hard-to-understand areas

测试要求 / Testing Requirements:

• 我已经编写了必要的单元测试来验证逻辑正确性 / I have written necessary unit-tests to verify the logic correction
• 当存在跨模块依赖时，我尽量使用了 mock / I have used mocks when cross-module dependencies exist
• 基础检查通过：mvn -B clean package -Dmaven.test.skip=true，npm install --force && npm run build:pro / Basic checks pass
• 单元测试通过：mvn clean install / Unit tests pass

文档和兼容性 / Documentation and Compatibility:

• 我已经更新了相应的文档 / I have made corresponding changes to the documentation
• 如果有破坏性变更，我已经在 PR 描述中详细说明 / If there are breaking changes, I have documented them in detail
• 我已经考虑了向后兼容性 / I have considered backward compatibility

📋 附加信息 / Additional Notes

下一步优化点：由于原逻辑不是流式读取所以再读出内容后再截取，在采用fast excel的情况下可以将最大token的限制传入提取函数，在内容达到上限时提前中断读取。

---

审查者注意事项 / Reviewer Notes:

fast excel缺点：

1. 不支持 FORMULA 类型，在遇到公式时如果是可计算的（如1+2）会直接返回计算结果（如 3），而不是公式本身。
2. 如果业务需要保留/解析公式逻辑，应考虑结合两者的使用。

[CodeCasterX]

目标合入分支需要调整到 1.2.x，可以通过修改标题，来修改目标合入分支

[RonnyChan96]

ok