新增公式检测模块
This commit is contained in:
@@ -27,6 +27,9 @@ TexTeller用了~~550K~~7.5M的图片-公式对进行训练(数据集可以在[
|
||||
* 📮[2024-03-25] TexTeller2.0发布!TexTeller2.0的训练数据增大到了7.5M(相较于TexTeller1.0**增加了~15倍**并且数据质量也有所改善)。训练后的TexTeller2.0在测试集中展现出了**更加优越的性能**,尤其在生僻符号、复杂多行、矩阵的识别场景中。
|
||||
> 在[这里](./test.pdf)有更多的测试图片以及各家识别模型的横向对比。
|
||||
|
||||
* 📮[2024-04-11] 增加了整图推理的功能,只需额外安装onnxruntime库即可获取新功能!我们自行标注了3415张中文教材图片中的公式,并使用了8272张来自于IBEM英文论文公式检测数据集中的公式,基于RT-DETR-R50模型进行了公式目标检测的训练,并将训练好的模型导出为了onnx格式。以方便输入图片,一次性对图片中的所有公式进行识别。
|
||||
|
||||
|
||||
## 🔑 前置条件
|
||||
|
||||
python=3.10
|
||||
@@ -107,6 +110,23 @@ python=3.10
|
||||
> [!NOTE]
|
||||
> 对于Windows用户, 请运行 `start_web.bat`文件.
|
||||
|
||||
## 整图推理
|
||||
|
||||
### 下载权重
|
||||
在8272张IBEM数据集(https://zenodo.org/records/4757865)上训练,并导出的onnx模型:
|
||||
https://huggingface.co/TonyLee1256/texteller_det/resolve/main/rtdetr_r50vd_6x_coco_trained_on_IBEM_en_papers.onnx?download=true
|
||||
在2560张中文教材数据(100+版式)上训练,并导出的onnx模型:
|
||||
https://huggingface.co/TonyLee1256/texteller_det/blob/main/rtdetr_r50vd_6x_coco_trained_on_cn_textbook.onnx
|
||||
|
||||
### 公式检测
|
||||
cd TexTeller/src
|
||||
infer_det.py
|
||||
运行后,对整张图中的所有公式进行检测,绘制整图检测结果并保存,并将每一个检测出的目标单独裁剪并保存下来。
|
||||
|
||||
### 公式批识别
|
||||
rec_infer_from_crop_imgs.py
|
||||
基于上一步公式检测的结果,对裁剪出的所有公式进行批量识别,将识别结果保存为txt文件。
|
||||
|
||||
## 📡 API调用
|
||||
|
||||
我们使用[ray serve](https://github.com/ray-project/ray)来对外提供一个TexTeller的API接口,通过使用这个接口,你可以把TexTeller整合到自己的项目里。要想启动server,你需要先进入`TexTeller/src`目录然后运行以下命令:
|
||||
|
||||
Reference in New Issue
Block a user