一:yaml简介及基础语法

 yaml是专门用来写配置文件的语言,非常简洁和强大,远比 JSON 格式方便。

1.1 yaml基础语法规则

  • 大小写敏感
  • 使用缩进表示层级关系
  • 不允许使用 TAB 键来缩进,只允许使用空格键来缩进
  • 缩进的空格数量不重要
  • 使用”#”来表示注释

1.2 yaml 支持的数据结构有三种

  • 对象:键值对的集合,又称为映射(mapping)/ 哈希(hashes) / 字典(dictionary)
  • 数组:一组按次序排列的值,又称为序列(sequence) / 列表(list)
  • 纯量(scalars):单个的、不可再分的值

  1.2.1 对象

对象的一组键值对,使用:(冒号)结构表示。冒号之后必须有一个空格

#test.yml文件

animal: pets

#转为python 如下:

{'animal': 'pets'}

yaml 也允许另一种写法,将所有键值对写成一个行内对象。

#test.yml文件
 
hash: { name: Steve, foo: bar } 

#转为python如下:

{'hash': {'name': 'Steve', 'foo': 'bar'}}

  1.2.2 数组

一组连词线开头的行,构成一个数组。

#test.yml文件
- Cat
- Gog
- Goldfis

#转为python 如下:

['Cat', 'Gog', 'Goldfis']

数据结构的子成员是一个数组,则可以在该项下面缩进一个空格。

#test.yml 文件
-
 - Cat
 - Dog
 - Goldfish

#转为 python 如下:

[['Cat', 'Dog', 'Goldfish']]

数组也可以采用行内表示法。

#test.yml文件
animal: [Cat, Dog]

#转为 python 如下;

{'animal': ['Cat', 'Dog']}

  1.2.3 复合结构

对象和数组可以结合使用,形成复合结构。

#test.yml文件
languahes:
  - JavaScript
  - java
  - Python
websites:
 YAML: yaml.org
 Ruby: ruby-lang.org
 Python: python.org
 Perl: use.perl.org

#转为 python 如下;
{
    'languahes': ['JavaScript', 'java', 'Python'], 
    'websites': {'YAML': 'yaml.org', 'Ruby': 'ruby-lang.org', 'Python': 'python.org', 'Perl': 'use.perl.org'}
}

  1.2.4 纯量

纯量是最基本的、不可再分的值。

纯量包含:字符串 整数 浮点数 布尔值 Null(用~表示) 时间 日期   其中:用~表示null ; 时间、日期采用IS08601格式 

#test.yml文件

name: 'xiaoli'
age: 22
weight: 57.30
isStudent: true
address: ~ 
time: 2001-12-14t21:59:43.10-05:00 
date: 1976-07-31

#转为 python 如下:
{'name': 'xiaoli', 'age': 22, 'weight': 57.3, 'isStudent': True, 'address': None, 
'time': datetime.datetime(2001, 12, 14, 21, 59, 43, 100000, tzinfo=datetime.timezone(datetime.timedelta(-1, 68400))),
'date': datetime.date(1976, 7, 31)}

 yaml允许使用两个感叹号,强制转换数据类型。

#test.yml文件

e: !!str 22
f: !!str true

#转为 python 如下:
{'e': '22', 'f': 'true'}

  1.2.5 锚点&和引用*

在yaml文件中如何引用变量?当我们在一个yaml文件中写很多测试数据时候,比如一些配置信息像用户名,邮箱,数据库配置等很多地方都会重复用到。
重复的数据,如果不设置变量,后续维护起来就很困难。
yaml文件里面也可以设置变量(锚点&),其它地方重复用到的话,可以用*引用 

#test.yml文件
defaults: &defaults
adapter: postgres
host: localhost

development:
database: myapp_development
<<: *defaults

test:
database: myapp_test
<<: *defaults

 等同于下面的代码:

 
defaults:
  adapter: postgres
  host: localhost
 
development:
  database: myapp_development
  adapter: postgres
  host: localhost
 
test:
  database: myapp_test
  adapter: postgres
  host: localhost

&用来建立锚点(defaults),<<表示合并到当前数据,*用来引用锚点。

  1.2.6 *引用value值

上面的例子是对defaults整体的数据,引用到其它地方了,有时候我们只想引用其中的一个值

#test.yml 文件
defaults:
  adapter: postgres
  host: &host 127.0.0.1

development:
  database: myapp_development
  myhost: *host

#等同于下面的数据
defaults:
  adapter: postgres
  host: &host 127.0.0.1

development:
  database: myapp_development
  myhost: 127.0.0.1

二:yaml文件的读写

python本身并没有自带的处理yaml文件的库,需要下载并安装第三方库PyYAML 或 ruamel.yaml ,这里我们先安装PyYAML。

#安装命令
 pip install pyyaml
# 下载速度慢的话加上清华镜像源
pip install pyyaml -i https://pypi.tuna.tsinghua.edu.cn/simple

2.1 从yaml中读取数据

# yaml文件,文件名为test.yml

os: Android
osVersion: 10
account:
  username: xiaoqq
  password: 123456
deviceName: null
appPackage: ~
bool1: True

读取代码:

import yaml
import os

file_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'test.yml'))
def read_yaml_data():
    with open(file_path, 'r', encoding='utf-8') as f:
        data = yaml.load(f, Loader=yaml.FullLoader)
        print(f'读取的数据:{data}')
        print(f'数据类型为:{type(data)}')

if __name__ == '__main__':
    read_yaml_data()

读取结果:

读取的数据:{'os': 'Android', 'osVersion': 10, 'account': {'username': 'xiaoqq', 'password': 123456}, 'deviceName': None, 'appPackage': None, 'bool1': True}
数据类型为:<class 'dict'>

从读取结果可以看出:

1,读取出来的数据不会改变原数据类型,即yaml里是什么数据类型,读出来就是什么类型。

2,Loader=yaml.FullLoader参数不写的话对结果不会有影响,但运行时会出现警告信息。

3,yaml.load(f.read(), Loader=yaml.FullLoader)也可以写成yaml.load(f, Loader=yaml.FullLoader),读取出来的结果相同。

注意:

pyyaml模块在python中用于处理yaml格式数据,主要使用yaml.safe_dump()、yaml.safe_load()函数将python值和yaml格式数据相互转换。当然也存在yaml.dump()、yaml.load()函数,同样能实现数据转换功能,只是官方不太推荐使用。官方给出的解释,因为yaml.safe_dump()、yaml.safe_load() 能够,而且yaml.safe_dump()、yaml.safe_load()比yaml.dump()、yaml.load()安全:

2.2 从yaml中读取多组数据

yaml多组数据时,每组数据之间需要用3横杠分隔’—’,如下:

#test.yml文件
os: Android
osVersion: 10
account:
  username: xiaoqq
  password: 123456
deviceName: null
appPackage: ~
bool1: True

---
os: ios
osVersion: 12
account1:
  username2: Lilei
  password2: 888888

从yaml中读取多组数据时需要使用yaml.load_all()或者yaml.safe_load_all()方法,返回结果为一个生成器,需要使用for循环语句获取每组数据。代码如下:

def read_yaml_data():
    file_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'test.yml'))
    with open(file_path, 'r', encoding='utf-8') as f:
        data = yaml.safe_load_all(f)
        print(f'读取的数据:{data}')
        print(f'数据类型为:{type(data)}')
        for i in data:
            print(i)


if __name__ == '__main__':
    read_yaml_data()

读取结果:

读取的数据:<generator object load_all at 0x102b28258>
数据类型为:<class 'generator'>
{'os': 'Android', 'osVersion': 10, 'account': {'username': 'xiaoqq', 'password': 123456}, 'deviceName': None, 'appPackage': None, 'bool1': True}
{'os': 'ios', 'osVersion': 12, 'account1': {'username2': 'Lilei', 'password2': 888888}}

2.3 单组数据写入yaml文件

使用yaml.dump()或者yaml.safe_dump()方法,加入allow_unicode=True参数防止写入的中文乱码,如下

def write_yaml_data():
    data = {'hash': {'name': 'Steve', 'foo': '公寓'}}

    file_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'test.yml'))
    with open(file_path, 'w', encoding='utf-8') as f:
        yaml.safe_dump(data, f, allow_unicode=True)


if __name__ == '__main__':
    write_yaml_data()

执行结果:

2.4 多组数据写入yaml文件

使用yaml.dump_all()或者yaml.safe_dump_all()方法,如下:

def write_yaml_data():
    # 写入多组数据
    data = {'hash': {'name': 'Steve', 'foo': '公寓'}}
    data1 = {'hash1': {'name1': 'admin',  "name": "流动人口社区"}}
    file_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'test.yml'))
    with open(file_path, 'w', encoding='utf-8') as f:
        yaml.safe_dump_all(documents=[data,data1], stream=f, allow_unicode=True)

if __name__ == '__main__':
    write_yaml_data()

执行结果:

 2.5 ruamel.yaml 读写yaml文件

用yaml模块写入字典嵌套字典这种复杂的数据,会出现大括号{ },不是真正的yaml文件数据,可以用ruamel模块就解决。

参考:https://www.cnblogs.com/yoyoketang/p/9255109.html
安装方法:

pip install ruamel.yaml

2.5.1 用原生的yaml模块写入这种字典嵌套字典的复杂数据

import os
import yaml

# 将字典写入到yaml
desired_caps = {
                'platformName': 'Android',
                'platformVersion': '7.0',
                'deviceName': 'A5RNW18316011440',
                'appPackage': 'com.tencent.mm',
                'appActivity': '.ui.LauncherUI',
                'automationName': 'Uiautomator2',
                'unicodeKeyboard': [True,"hh"],
                'resetKeyboard': True,
                'noReset': True,
                'chromeOptions': {'androidProcess': 'com.tencent.mm:tools'}
                }

curpath = os.path.dirname(os.path.realpath(__file__))
yamlpath = os.path.join(curpath, "caps.yaml")

# 写入到yaml文件
with open(yamlpath, "w", encoding="utf-8") as f:
    yaml.dump(desired_caps, f)

运行结果:

由运转结果,发现字典嵌套的字典,出现了大括号:{androidProcess: ‘com.tencent.mm:tools’},(在pyyaml版本为6.0时 已经不存在该问题)这不是真正的yaml数据,不是我们想要的,解决办法看下文

2.5.2 使用ruamel模块 方法跟yaml差不多,只是在使用dump方法多个一个参数:Dumper=yaml.RoundTripDumper

import os
from ruamel import yaml


# 将字典写入到yaml
desired_caps = {
                'platformName': 'Android',
                'platformVersion': '7.0',
                'deviceName': 'A5RNW18316011440',
                'appPackage': 'com.tencent.mm',
                'appActivity': '.ui.LauncherUI',
                'automationName': 'Uiautomator2',
                'unicodeKeyboard': True,
                'resetKeyboard': True,
                'noReset': True,
                'chromeOptions': {'androidProcess': 'com.tencent.mm:tools'}
                }

curpath = os.path.dirname(os.path.realpath(__file__))
yamlpath = os.path.join(curpath, "caps.yaml")

# 写入到yaml文件
with open(yamlpath, "w", encoding="utf-8") as f:
    yaml.dump(desired_caps, f, Dumper=yaml.RoundTripDumper)

执行结果:

 2.6 ruamel.yaml 读yaml文件

2.6.1.使用ruamel.yaml模块也能读yaml文件,使用方法相对于之前的yaml.load方法多加一个参数:Loader=yaml.Loader

def read_yaml_data():
    # 读取单组数据
    file_path = os.path.abspath(os.path.join(os.path.dirname(__file__), 'test.yml'))
    with open(file_path, 'r', encoding='utf-8') as f:
        data = yaml.load(f, Loader=yaml.Loader)
        print(f'读取的数据:{data}')
        print(f'数据类型为:{type(data)}')
      
if __name__ == '__main__':
    read_yaml_data()

读取结果:

读取的数据:{'os': 'Android', 'osVersion': 10, 'account': {'username': 'xiaoqq', 'password': 123456}, 'deviceName': None, 'appPackage': None, 'bool1': True}
数据类型为:<class 'dict'>

三:使用template替换yaml文件中的变量

在接口自动化测试的时候,yaml 文件一般放测试的数据或当配置文件使用,yaml 文件存放静态的数据是没问题的,python的数据类型基本上都是支持的。
有时候我们想在 yaml 文件中引用变量来读取 python 代码的设置值

3.1 template 使用

template 是字符串模板,用于替换字符串中的变量,是 string 的一个类引用变量有 2 种格式

  • $variable 使用 $变量名 引用变量
  • ${variable} 使用 ${变量名} 大括号包起来

第一种 $variable

from string import Template

tempTem = Template("My name is $name , i like $fancy")
d = {'name': 'admin', 'fancy': 'python'}

print(tempTem.substitute(d))

执行结果:

My name is admin, i like python

第二种 ${variable}

from string import Template

tempTemp1 = Template("My name is ${name} , i like ${fancy}")
d = {'name': 'admin', 'fancy': 'python'}
print(tempTemp1.substitute(d))

执行结果:

My name is admin, i like python

3.2 safe_substitute使用

上面的方式只能严格的匹配变量,当字符串中有$符号,不想匹配变量的时候,会报错

from string import Template

tempTemplate = Template("$My name is ${name} , i like ${fancy}")
d = {'name': 'admin', 'fancy': 'python'}
print(tempTemplate.substitute(d))

这段,$符号加在My的前面,我只想让它是一个普通的字符串,不想引用变量,就出现了报错说找不到这个key

Traceback (most recent call last):
  File "E:/PycharmScripts/test_selenium_wire_yaml/test_yaml.py", line 25, in <module>
    print(tempTemp2.substitute(d))
  File "C:\Python37\lib\string.py", line 132, in substitute
    return self.pattern.sub(convert, self.template)
  File "C:\Python37\lib\string.py", line 125, in convert
    return str(mapping[named])
KeyError: 'My'

虽然字符串定义了多个变量,但是引用的时候只给了name这个值,也不影响运行,没给值的当普通字符串出来,这样就很完美了

tempTemplate = Template("$My name is ${name} , i like ${fancy}")
d = {'name': 'admin','fancy': 'python'}
print(tempTemplate.safe_substitute(d))

执行结果;

$My name is admin , i like python

3.3 yaml 文件引用变量

通过前面 Template 的基础使用,已经掌握了基本的用法了,接下来在 yaml 文件中引用变量

request:
    headers:
         Content-Type: application/json
         User-Agent: python-requests/2.18.4
     json:
         username: $user
         password: $psw

python读yaml文件代码:

from string import Template
import yaml
with open("test.yml", encoding='utf-8') as fp:
    read_yml_str = fp.read()
    # print(read_yml_str)

    tempTemplate1 = Template(read_yml_str)
    new_yaml = tempTemplate1.safe_substitute({"user": "admin", "psw": "123456 "})
    print(f'Template补全的数据:\n{new_yaml}')

# yml 文件数据,转 python 类型
yaml_data = yaml.safe_load(new_yaml)
print(f'yml文件转python的数据:\n{yaml_data}')

执行结果:

'''
Template补全的数据:
request:
    headers:
         Content-Type: application/json
         User-Agent: python-requests/2.18.4
    json:
         username: admin
         password: 123456 

yml文件转python的数据:
{
  'request': {'headers': {'Content-Type': 'application/json', 'User-Agent': 'python-requests/2.18.4'},
  'json': {'username': 'admin', 'password': 123456}}
}
'''

四:yaml文件调用python外部函数

如何在 yaml文件中引用一个 python 的函数?

问题分析
其实yaml 和 json 文件本质上是一样的,都是静态的文件,是不能直接引用 python 的函数。
那这时候就有人问到了,那为什么 httprunner 框架可以在yaml文件中引用函数呢?

这是因为 httprunner 框架封装过对 yaml 文件的读取了,它是先读取文件内容,正则提取到 ${} 括号里面的函数内容,再把函数的值替换过去
那么我们能不能实现这种效果呢?

当然是可以的,可以参考httprunner的实现,也可以用到 python 的模板 jinja2 来实现。
使用模板可以编写出可读性更好,更容易理解和维护的代码,并且使用范围非常广泛,因此怎么使用模板主要取决于我们的想象力和创造力。
python的模板库jinja2 功能是非常强大的

4.1 jinja2 模板库

pip install jinja2

4.2 render 函数实现

在yaml文件中,通过 {{ 函数名称() }} 来引用函数

写个 render 函数读取 yaml 文件内容

import jinja2
import os,random
def jinja2_template_render(tpl_path, **kwargs):
    path, filename = os.path.split(tpl_path)
    env = jinja2.Environment(loader=jinja2.FileSystemLoader(path or './')) # 创建一个包加载器对象
    template = env.get_template(filename) # 获取一个模板文件
    return template.render(**kwargs) # 进行模板渲染

读取到的yaml文件本质上都是字符串来读取的,通过jinja2 模板来读取,会先把函数的值替换进去。最后再转成python的dict结构

import jinja2
import os,random,yaml
def jinja2_template_render(tpl_path, **kwargs):
    path, filename = os.path.split(tpl_path)
    env = jinja2.Environment(loader=jinja2.FileSystemLoader(path or './')) # 创建一个包加载器对象
    template = env.get_template(filename) # 获取一个模板文件
    return template.render(**kwargs) # 进行模板渲染

# yaml 文件调用以下函数
def rand_str():
    return str(random.randint(1000000, 2000000))

if __name__ == '__main__':
    r = jinja2_template_render('test.yml',**{"user":"admin","pwd":1234,"rand_str":rand_str})
    print(f'jinja2渲染后的数据\n{r}')
    print(yaml.safe_load(r))

执行的结果:

'''
jinja2渲染后的数据:
username: admin
password: 1234
func: 1980646

{'username': 'admin', 'password': 1234, 'func': 1980646}
'''

上面读取函数是写死的,我们希望能自动加载类似于debugtalk.py的文件来自动加载函数

4.3 自动加载debug.py里面的函数

写一个debug.py 文件,实现 yaml 文件里面定义的函数去替换值

#debug.py文件

import random

# yaml 文件调用以下函数
def rand_str():
    return str(random.randint(1000000, 2000000))

在run.py里面定义一个函数自动读取debug.py里面的函数,生成dict 键值对格式

关键动态导入对象请参考:https://blog.csdn.net/edward_zcl/article/details/88809212

def all_functions():
    """加载debug.py模块"""
    debug_module = importlib.import_module("debug")
    all_function = inspect.getmembers(debug_module, inspect.isfunction)
    print(dict(all_function))
    return dict(all_function)

函数返回 {'rand_str': <function rand_str at 0x0000000002E3F798>}

完整的run.py文件内容

import jinja2
import os,random,yaml
import importlib,inspect
def jinja2_template_render(tpl_path, **kwargs):
    path, filename = os.path.split(tpl_path)
    env = jinja2.Environment(loader=jinja2.FileSystemLoader(path or './')) # 创建一个包加载器对象
    template = env.get_template(filename) # 获取一个模板文件
    return template.render(**kwargs) # 进行模板渲染


def all_functions():
    """加载debug.py模块"""
    debug_module = importlib.import_module("debug")
    all_function = inspect.getmembers(debug_module, inspect.isfunction)
    print(dict(all_function))
    return dict(all_function)



if __name__ == '__main__':
    temlplate_params = all_functions() #获取调用函数
    temlplate_params["user"] = "admin"  #获取user变量值
    temlplate_params["pwd"] = "1234" #获取pwd变量值
    r = jinja2_template_render('test.yml',**temlplate_params)
    print(f'jinja2渲染后的数据\n{r}')
    print(yaml.safe_load(r))

执行结果:

'''
#all_functions()返回值
{'rand_str': <function rand_str at 0x0000000002E3F708>}

jinja2渲染后的数据
username: admin
password: 1234
func: 1730704

{'username': 'admin', 'password': 1234, 'func': 1730704}

'''

 

版权声明:本文为浩浩学习原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/hhaostudy/p/16104098.html