新增公式检测模块

This commit is contained in:
TonyLee1256
2024-04-11 16:44:19 +00:00
parent 8fdaef43f9
commit 936744ea13
7 changed files with 818 additions and 1 deletions

View File

@@ -27,6 +27,9 @@ TexTeller用了~~550K~~7.5M的图片-公式对进行训练(数据集可以在[
* 📮[2024-03-25] TexTeller2.0发布TexTeller2.0的训练数据增大到了7.5M(相较于TexTeller1.0**增加了~15倍**并且数据质量也有所改善)。训练后的TexTeller2.0在测试集中展现出了**更加优越的性能**,尤其在生僻符号、复杂多行、矩阵的识别场景中。
> 在[这里](./test.pdf)有更多的测试图片以及各家识别模型的横向对比。
* 📮[2024-04-11] 增加了整图推理的功能只需额外安装onnxruntime库即可获取新功能我们自行标注了3415张中文教材图片中的公式并使用了8272张来自于IBEM英文论文公式检测数据集中的公式基于RT-DETR-R50模型进行了公式目标检测的训练并将训练好的模型导出为了onnx格式。以方便输入图片一次性对图片中的所有公式进行识别。
## 🔑 前置条件
python=3.10
@@ -107,6 +110,23 @@ python=3.10
> [!NOTE]
> 对于Windows用户, 请运行 `start_web.bat`文件.
## 整图推理
### 下载权重
在8272张IBEM数据集https://zenodo.org/records/4757865上训练并导出的onnx模型
https://huggingface.co/TonyLee1256/texteller_det/resolve/main/rtdetr_r50vd_6x_coco_trained_on_IBEM_en_papers.onnx?download=true
在2560张中文教材数据100+版式上训练并导出的onnx模型
https://huggingface.co/TonyLee1256/texteller_det/blob/main/rtdetr_r50vd_6x_coco_trained_on_cn_textbook.onnx
### 公式检测
cd TexTeller/src
infer_det.py
运行后,对整张图中的所有公式进行检测,绘制整图检测结果并保存,并将每一个检测出的目标单独裁剪并保存下来。
### 公式批识别
rec_infer_from_crop_imgs.py
基于上一步公式检测的结果对裁剪出的所有公式进行批量识别将识别结果保存为txt文件。
## 📡 API调用
我们使用[ray serve](https://github.com/ray-project/ray)来对外提供一个TexTeller的API接口通过使用这个接口你可以把TexTeller整合到自己的项目里。要想启动server你需要先进入`TexTeller/src`目录然后运行以下命令: