2026.04.27征途日记3(梳理后端代码)
上午看了看上个星期拉下来的后端代码,发现好复杂,面对以前没接触过的语言,框架。即使借助ai还是很力不从心,不敢想象以前的前辈都是怎么啃下来的。
然后借助Ai去配置环境也没有配好,原因是公司的网络问题还有公司电脑不允许下载除了规定以外的其他软件,以至于下载cmake的时候都报错。
已经配置好的:cmake、PostgreSQL、Python、Django、Visual Studio C++编译工具链
未配置的:Redis
跟mentor发消息,问:我是不是要先拉一个分支?(原本想的是从一些小需求开始做起,慢慢熟悉代码)mentor:现在还没到写代码的时候,你先熟悉一下项目。(然后有讲了一些分支上的功能)反正我就感觉这个人很没耐心,说话火药味很重
下午借助AI算是把这个python后端跑起来了,安装了一堆pyhon库,一堆依赖:redis(根本不了解,只知道是一层缓存)
今天下午还开了一个关于智能体的会,这个主要也是我的mentor在负责。现在已经打通了,从创建项目到推理的最小闭环,会上主要有这么几个问题:
- 用户在输入文字并发送的时候,agent的反应很慢,主要问题可能是系统提示词过多,或者模型太小,考虑缩减系统提示词或者更换参数量更大的模型
- 如何在对样本的标注,模型训练的这个闭环里面减少人的参与(auto),用三个不同版本的模型去交叉验证(此处的逻辑需要细想),之后再用一个大的模型去判断结果,并确认。对于实在确认不了的样本(可能是以前从未出现过的样本),采用人工标注(甲方也会告诉我们这个样本是不合格的)
- leader考虑把我们公司的所有图片样本送进千问的模型里面去跑一边
- 最后还考虑了公司的模型训练卡的不足,有一张H100坏了送修一星期还没回来。并且之前提到的多模型交叉验证的具体落地还需要人去实现,并且公司缺少这方面的人才
这个项目为什么这样设计?
Django 擅长处理 HTTP 请求、ORM、权限、数据管理,但 Python 做图像推理性能很差。C++ 在 GPU 调度、算子编排、大量矩阵运算上有数量级的性能优势
- 各用各的强项 — Django 做业务,C++ 做计算
- C++ 引擎进程崩溃不会拖垮 Web 服务,任务隔离
- C++ 引擎可以独立升级算法版本,不影响线上 API
多租户 Schema 隔离(PostgreSQL tenant_schemas)TODO
原因:平台同时服务多个客户(项目),每个客户的数据必须严格隔离。用 schema 级别的隔离(而不是在代码里拼 SQL WHERE project_id = ?),从根本上杜绝了 A 客户的数据泄露到 B 客户。
好处:
- 数据隔离在数据库层面硬保证,不是靠代码约定
- 备份、恢复、迁移某个客户的数据直接操作对应 schema 即可
- 不需要为每个客户部署一套独立的数据库服务,省资源
异步任务队列(Redis + RQ)TODO
原因:导入几十 GB 的数据集、训练模型、导出标注结果这些操作可能需要几分钟到几小时,不能让 HTTP 请求一直等着。
好处:
- 前端提交任务后立刻返回 “任务已提交”,不用卡住
- 多个导入/训练任务可以排队并行,避免资源争抢
- 任务失败可以重试,不影响其他业务
1. 启动 Redis(如未运行)
1 | /d/fsaivenc/redis/redis-server.exe --bind 127.0.0.1 --port 6379 |
2. 启动 Django
1 | cd d:/FS/webai2.0/fsai_service |
今日日报:
1、拉取后端项目代码,配置后端环境(Python库,PostgreSQL,redis)
2、理解并梳理代码逻辑,理解项目设计以及数据接口传输流程
3、理解项目各个模块的作用与分工
下阶段计划:
1、将后端项目跑起来,联调前后端项目
2、继续梳理项目代码