继Python生态JSON处理库json、orjson、ujson、simplejson、python-rapidjson、json5、jsonpatch之后本文来看看Python生态下的配置管理库。最常见的配置文件XML、JSON、INI、YAML、TOML。PyYAMLPython生态下开源GitHub2.9K Star588 Fork原生YAML解析器和处理器。安装pip install PyYAML示例importyamlwithopen(config.yaml,r)asyaml_file:configyaml.safe_load(yaml_file)print(config[database][host])# 创建配置字典config{database:{host:localhost,port:3306,name:mydb},app:{debug:False,log_level:warn}}# 写入文件withopen(config.yaml,w)asyaml_file:yaml.dump(config,yaml_file)ruemal.yaml另一个YAML解析库源码托管在SourceForge。安装pip install ruamel.yaml示例importruemal.yamlwithopen(config.yaml,r)asyaml_file:configruemal.yaml.safe_load(yaml_file)print(config[database][host])# config字典同上withopen(config.yaml,w)asyaml_file:ruemal.yaml.dump(config,yaml_file)tomllibPython 3.11及以上版本官方内置的解析TOML文件的开源GitHub1.1K Star197 Fork标准库模块无需额外安装主要用于将 TOML格式的字符串或文件内容解析为Python的字典对象。升级到最新版pipinstalltoml# 最新开发版gitclone https://github.com/uiri/toml.gitcdtoml python setup.pyinstall示例importtomlimportnumpyasnp anp.arange(0,10,dtypenp.double)output{a:a}toml.dumps(output)toml.dumps(output,encodertoml.TomlNumpyEncoder())rtoml开源GitHub403 Star29 Fork库。核心功能TOML文件解析将TOML格式文本转换为Python原生数据结构如字典、列表、嵌套对象等。TOML文件生成将Python数据结构序列化为符合TOML规范的文本内容。灵活的数据操作支持处理TOML中的各类数据类型字符串、数值、布尔值、日期时间、数组、表格嵌套等并提供API实现数据的增删改查。基于Python的标准库与解析器构建其工作流程可分为两个阶段解析通过词法分析器Lexer将TOML文本分割为标记Token如字符串、数值、括号等随后语法分析器Parser根据TOML规范如Toml v1.0.0将标记组合成抽象语法树AST最终转换为Python字典、列表等数据结构。生成接收Python数据结构按照TOML语法规则进行序列化处理特殊格式如日期时间的ISO 8601格式、多行字符串的引号转义等生成符合规范的TOML文本。优势兼容性强严格遵循TOML标准支持处理规范中的所有特性如表格嵌套、注释、日期时间格式等。性能高效解析速度优于部分同类库如toml库尤其在处理大文件时表现更优。接口简洁提供load()、loads()、dump()、dumps()等核心方法与Python标准库的文件操作接口一致学习成本低。类型安全自动处理TOML数据类型与Python类型的映射如TOML的datetime映射为Python的datetime.datetime对象减少手动转换开销。局限性纯Python实现相比用C扩展编写的解析器如tomli-w在极端性能要求场景下可能稍显不足但足以满足大多数日常开发需求。不支持流式操作目前仅支持一次性读取或写入整个文件不适合处理超大型TOML文件可通过分块读取后手动解析规避。安装pip install rtoml已有config.toml文件title TOML Example [owner] name Tom Preston-Werner dob 1979-05-27T07:32:00-08:00 # First class dates入门示例fromdatetimeimportdatetime,timezone,timedeltaimportrtomlwithopen(config.toml,r)astoml_file:configrtoml.load(toml_file)print(config[title])print(config[owner][name])obj{title:TOML Example1,database:{connection_max:5000,enabled:True,ports:[8001,8001,8002],server:192.168.1.1,},}# 故意写错后缀名withopen(config1.yaml,w)astoml_file:rtoml.dump(obj,toml_file)执行后将生成config1.yaml文件内容格式是toml。最佳实践类型注解支持提供完整的类型注解建议在IDE中启用类型检查如Pyright、MyPy提升开发效率性能优化对于需要高频解析TOML的场景可使用lru_cache缓存解析结果避免重复读取文件集成可与pydantic库结合实现配置数据的验证与解析。OmegaConfFacebook开源GitHub2.4K Star156 Fork配置管理库目标是使配置文件的创建、解析和使用变得简单而强大。特点支持YAML、JSON、 INI等多种配置文件格式支持配置文件的嵌套和继承使配置更具结构和可维护性提供强大的命令行参数解析功能使应用程序可轻松接受和处理命令行参数API友好可方便地访问和修改配置信息。Facebook另一个框架Hydra的核心可用于更复杂的配置工作流如多实验批量运行。安装pip install omegaconf已有docker-compose.yaml文件services:api:image:langgenius/dify-api:1.9.1示例fromdataclassesimportdataclassfromomegaconfimportOmegaConf baseOmegaConf.load(docker-compose.yaml)# 访问属性能自动补全print(base.services.api.image)# 动态修改base.services.api.imagelanggenius/dify-api:latestcliOmegaConf.from_cli()# 从命令行读取envOmegaConf.from_env()# 从环境变量读取configOmegaConf.merge(base,cli,env)# 自动合并后者覆盖前者dataclassclassModelConfig:name:strresnetlayers:int50dataclassclassConfig:model:ModelConfigModelConfig()lr:float0.001configOmegaConf.structured(Config)# 有类型、有默认值、还能自动补全已有config.yaml文件如下server:host:localhostport:80client:url:http://${server.host}:${server.port}server_port:80desc:Client of ${.url}原生YAML库即上面的PyYAML是不支持引用即某个值引用同个YAML中的其他值importyamlwithopen(config.yaml,r)asf:confyaml.safe_load(f)# 原生yaml不支持引用print(conf[client][url])输出http://${server.host}:${server.port}作为对比withopen(config.yaml,r)asf:confOmegaConf.load(f)print(conf[client][url])输出http://localhost:80Hydra官网Facebook开源GitHub10.5K Star890 Fork配置管理库。安装pip install hydra-core在函数上添加一个装饰器就能直接把YAML文件读成字典对象。importhydrafromomegaconfimportDictConfig,OmegaConfhydra.main(config_pathconf,config_nameconfig)defmain(cfg:DictConfig):print(OmegaConf.to_yaml(cfg))if__name____main__:main()运行时覆盖机制Multirun批量运行自动生成笛卡尔积串行或并行执行任务hydra.main(config_pathconf,config_nameconfig)deftrain(cfg:DictConfig):lrcfg.hyperparams.lr bscfg.hyperparams.batch_sizeprint(f启动实验Learning Rate{lr}, Batch Size{bs})执行命令python train.py --multirun hyperparams.lr0.01,0.02 hyperparams.batch_size32,64输出[HYDRA] Launching 4 jobs locally [HYDRA] #0 : hyperparams.lr0.01 hyperparams.batch_size32 启动实验Learning Rate0.01, Batch Size32 [HYDRA] #1 : hyperparams.lr0.01 hyperparams.batch_size64 启动实验Learning Rate0.01, Batch Size64 ...MontyMonty Python简称给Python标准库打补丁补齐那些应该有但没有的功能不用重复造轮子。支持Python 2.7到3.x。开源GitHub85 Star50 Fork。不完整清单monty.os.path增强版的路径操作monty.collections字典/列表的便捷方法monty.string字符串处理工具monty.json支持日期、numpy类型的JSON编码库定位monty补齐标准库的缺憾一个通用工具包pie-thorn也是工具集但更侧重收集零碎小工具boltons另一个类似的补充标准库的库实战安装pip install monty示例frommonty.serializationimportdumpfn,loadfnfrommonty.ioimportzopenfrommonty.design_patternsimportsingleton,cached_class# 直接打开压缩文件支持gzip、bz2、lzma等格式withzopen(data.csv.gz)asf:contentf.read()# 自动解压不用手动处理# 一键保存/加载Python对象支持json/yaml/pickle自动识别dumpfn(data,config.yaml)dumpfn({name:test,values:[1,2,3]},data.json)dumpfn({name:test,values:[1,2,3]},data.yaml)dataloadfn(config.yaml)singletonclassMyConfig:pass