前言大家好，据库件我是转换吴老板。今天给大家分享一个可将Mongodb数据库里边的为表文件转换为表格文件的库，这个库是格文我自己开发的。
Mongo2file库是据库件一个 Mongodb 数据库转换为表格文件的库。
在我的转换日常工作中经常和 mongodb 打交道，而从 mongodb 数据库中批量导出数据为其他格式则成为了刚需。为表
如果您跟我一样每次导出数据时都需要重新编写或到处寻找 脚本代码 的格文话，这个库可能会对您产生帮助。据库件
依赖于快速 PyArrowmongo2file 依赖于 PyArrow 库。转换它是为表 C++ Arrow 的 Python 版本实现。
PyArrow 目前与 Python 3.7、格文3.8、据库件3.9 和 3.10 兼容。转换
仓库地址: https://github.com/apache/arrow。为表
如果您在 Windows 上遇到任何的导入问题或错误，您可能需要安装 Visual Studio 2015。
警告:PyArrow 目前只支持到 win64 位 ( Python 64bit ) 操作系统。
其次，除了常见的 csv、excel、免费源码下载以及 json 文件格式之外, mongo2file 还支持导出 pickle、feather、parquet 的二进制压缩文件。
pickle、feather、parquet 是 Python 序列化数据的一种文件格式, 它把数据转成二进制进行存储。从而大大减少读取的时间。
安装 复制pip install mongo2file1.当 MongoEngine 控制类指定了 mongodb 表名称时、将对数据表 (mongodb集合) 进行导出操作。
其类方法参数包括:
query: 指定对数据表的查询参数、只对指定表名时有效。folder_path:指定导出目录路径。filename: 指定导出文件名、默认为 表名称 + 当前时间。_id:指定是否导出 _id、布尔型、默认为 False。limit: 指定导出表的限制数据、int类型、默认为 -1、即不限制。 复制import osfrom mongo2file import MongoEngine"""作用于 MongoEngine 类未指定表名称时"""M = MongoEngine(
host=os.getenv(MONGO_HOST, 127.0.0.1),
port=int(os.getenv(MONGO_PORT, 27017)),
username=os.getenv(MONGO_USERNAME, None),
password=os.getenv(MONGO_PASSWORD, None),
database=os.getenv(MONGO_DATABASE, test_)
)
def to_csv():
result_ = M.to_csv()
assert "successfully" in result_def to_excel():
result_ = M.to_excel()
assert "successfully" in result_def to_json():
result_ = M.to_json()
assert "successfully" in result_to_csv()1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.当 MongoEngine 控制类只指定了 mongodb 库名称时、将对数据库下所有集合进行导出操作。
面对 mongo2file 的瓶颈和改进对于 mongodb 的全表查询、免费信息发布网条件查询、聚合操作、以及索引操作(当数据达到一定量级时建议) 并不是直接影响 数据导出的最大因素。
因为 mongodb 的查询一般而言都非常快速，主要的瓶颈在于读取 数据库 之后将数据转换为大列表存入 表格文件时所耗费的时间。
这是一件非常可怕的事情。
当没有多线程(当然这里的多线程并不是对同一文件进行并行操作，文件写入往往是线程不安全的)、 数据表查询语句无优化时，并且当数据达到一定量级时(比如 100w 行)，单表单线程表现出来的效果真是让人窒息。
在 mongo2file 在进行大数据量导出时表现的并没有多么优秀。导致的主要原因可能是:
采用的 xlsxwriter 库写入 excel 时是积极加载(非惰性)的，数据全部加载至内存后插入表格。服务器托管大数据量插入表格时、跟宿主机器的性能有关。mongo2file 表现的不如人意时，我做出了一下改进。当数据量过大时，数据表分块读取，导出多表格。增加线程池的最大并发数、当选取的 block_size 值合适时，将发挥最大性能。对于数据转换一些建议对于 xlsxwriter、openpyxl、xlwings 以及 pandas 引用的任何引擎进行写入操作时、都会对写入数据进行非法字符的过滤。这一点从部分源码中可以看得出来。由于行数据表中可能存在 excel 无法识别的非法字符 (比如空列表 []) , 当写至此行时将抛出 非法类型 的错误。而比较恰当合理的做法就是在存储 mongodb 文档时不要存入类似于 []、{} 的这种对原始数据无意义的空对象。(
host=localhost,
port=27017,
username=None,
password=None,
database=测试库,
collection=测试表_200000)
1.2.3.4.5.6.7.8. to_csv(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数:param is_block: 是否分块导出:param block_size: 块大小、is_block 为 True 时生效1.2.3.4.5.6.7. to_excel(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数:param is_block: 是否分块导出:param block_size: 块大小、is_block 为 True 时生效:param mode: 导出模式, 枚举类型、sheet 或 xlsx, 当 is_block 为 True 时生效:param ignore_error: 是否忽略错误、数据表中存在非序列化类型时使用、这将一定程度上影响程序的性能1.2.3.4.5.6.7.8.9. to_json(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数:param is_block: 是否分块导出:param block_size: 块大小、is_block 为 True 时生效1.2.3.4.5.6.7. to_pickle(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数1.2.3.4.5. to_feather(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数1.2.3.4.5. to_parquet(query, folder_path, filename, ...) 复制:param query: 数据库查询条件、字典类型、只作用于单表导出:param folder_path: 指定导出的目录:param filename: 指定导出的文件名:param _id: 是否导出 _id 默认否:param limit: 限制数据表查询的条数1.2.3.4.5. 总结以上就是今天要分享的全部内容了，总的来说，Mongo2file库是一个可以将 Mongodb 数据库转换为表格文件的库，不仅支持导出csv、excel、以及 json 文件格式, 还支持导出 pickle、feather、parquet 的二进制压缩文件。欢迎大家积极尝试。
亿华智慧云