批量处理 MIS 系统记录，想问问用什么实现比较好

[shijingshijing]

某个图书馆的古籍管理系统里面有几十万条扫描图片记录，每条记录有 ID ，名称，年代，类型，存储路径，日期等字段，整体是个用 ASP.Net 实现的 Web MIS 系统。现在需要把所有的记录遍历一遍，下载图片，然后执行一个机器学习的 flaw_detect.py 脚本，对其进行某种检测，生成一个 result.txt 的检测结果，然后回传到这个 MIS 系统里面的结果字段。

任务很简单，而且 MIS 系统有 REST API ，我自己用 Requests 撸了 python 脚本在跑，现在发现有几个问题：

1 ，flaw_detect.py 是以前学生做的，不太稳定。有可能在运行的时候会挂，有时候跑完了又不生成 result.txt ，我也不想动这个脚本，目前用了个 try-except 应付着。想问问有没有更优雅的处理方式。
2 ，现在的运行记录我只是简单的打了个 log 来保存，后面考虑还是弄个比较详细的报告，看了下 allure 好像还可以，不知道还有没有其他推荐的。
3 ，整个系统能用 Jenkins 直接替换么？总感觉手撸 Python 脚本实现有点挫，来个工具更稳定，放心点（也可能是我 Python 写的比较菜）

在网上看了一圈爬虫和 python 测试相关的东西，感觉还是测试这边框架和工具丰富一些，所以想问问还有什么比较好的方案帮我推荐一下？