说说：基于Python TextFSM模块的网络设备自动化运维方法

汇率搜索

本文作者：kenwoo

锐捷络技术服务部互联服务中心



随着云计算和SDN技术的发展，数据中心规模越来越大，而络架构逐渐向去堆叠、去框式发展，这就意味着需要维护的交换机数量在成倍的增长。随着络维护规模越来越大，运维人员压力也成倍增加，依靠传统的人工维护已不太现，工具化、自动化运维势在必行。这就需要运维人员具备一定编程能力，从而通过软件代替传统的人工维护。络自动化运维理念结合软件开发领域DevOps理念而产生的NetDevOps概念已逐渐被络运维界所接受。

络自动化运维，首先要现络设备与自动化运维平台对接，即通过代码现登录络设备并获取信息。目前常见连接设备的方法有模拟传统的TelnetSSH命令登录、NETCONF、gRPC、OpenFlow协议对接等等。


为了跟上SDN的发展趋势，各个传统络设备厂商已逐渐开放API接口，比较有代表性的是NETCONF和YANG模型对络设备的配置和信息输出的数据结构化定义。目前锐捷数据中心交换机产品已全面支持NETCONF协议，可适用于和SDN控制器或运维平台的南向接口对接。而面对络工程师在操作络设备时习惯于使用CLI命令行的现状，又有什么样的案例践呢


本文将给大家介绍一种主流的基于CLI命令行登录的自动化运维践案例，希望能够给大家带来帮助。


基于CLI的自动化运维带来的问题



CLI(Command-LineInterface)是传统络工程师比较熟悉的与络设备沟通的方式，工程师比较初学习络课程就是要熟悉各类协议的命令行配置、调试。工程师在日常工作中需要结合命令行输出结果进行排错，甚至在络割接和变更的场景中，需要将变更的操作步骤细化到每一条命令。相比NETCONF等API接口，CLI命令行通常支持的内容更加丰富、灵活。所以在现络自动化运维的过程中，基于CLI的自动化是容易被传统络工程师所接受和执行的。


随着Python语言在近些年的速发展，涌现了一批基于Python的秀开源模块，比如Ansible、Paramiko、Netmiko、Pexpect等。络工程师现在可以编写简短的Python脚本就能调用这些模块现批量登录设备执行脚本，但是随之而来的另一个头痛的问题是传统的命令行输出结果通常是按照适合人类阅读的方式来呈现的。比如show命令的输出结果包含了大量的空格、缩进、换行等，而且很多命令还存在上下文关联性。这些命令行输出结果通常法被计算机很好地识别，计算机更擅长识别外汇L、JSON、YAML等结构化数据类型，所以工在编写Python脚本时不得不写一堆正则表达式去抠关键参数，然而使用复杂的正则表达式又进一步导致代码可维护性较差。


下面以交换机比较基础的查看VLAN命令为例进行说明。如下图所示是通过showvlan命令的输出结果，对于同一个VLAN可能会存在多个端口同时放行的情况。关联的接口数量超过一定数量时，输出的结果将会拆分成多行显示，此时，VLAN信息只在首行显示，后续几行内容需要与首行进行关联匹配才能得到正确的输出信息。此时如果需要读取某个VLAN关联的所有端口号列表，使用传统的正则表达式就需要多次调用正则表达式并配合循环逻辑判断才能现，整个过程非常繁琐。




Python常规的数据类型主要是列表或字典格式，如果有工具能够将设备的上面的输出结果直接转化为Python适配的数据类型（如下图），那么就可以直接使用Python进行处理。






下面就要隆重介绍一下本文标题中提到的TextFSM模块，它就是用于结构化输出文本的一个神奇工具。


TextFSM模块介绍



TextFSM是Google开发的一种开源Python模块，可以基于模板的状态机来解析半格式化文本，从而现对络设备CLI输出信息进行结构化数据处理，比较终将文本内容输出为Python的字典或列表格式（或者是两者组合）。


详细内容可以访问该模块的GitHub：githubcomgoogletextfsm。


例如，上文中需要将showvlan命令的输出结果进行解析，可以通过调用下面的TextFSM模板将命令输出进行格式化：




ruijie-templates模块介绍



虽然有了TextFSM模块能够做到结构化解析文本信息，但是每个厂家的CLI输出内容差异较大，需要每条命令都有相应的模板来适配，导致运维人员还需要投入大量时间去编写相应的模板。ntc-templates模块就是为了解决这个痛点诞生的。ntc-templates模块是由networktocode团队开发的Python模块，该模块基于TextFSM开发，它内置了将近400个TextFSM模板，可以适配主流厂商的CLI输出结果。


详细可参考该模块的GitHub主页：


githubcomnetworktocodentc-templates



ntc-templates模块内置了index文件，将各类厂商平台和show命令映到相应的TextFSM模板文件，每个厂商的不同命令都对应着一个单独的模板。我们在ntc-templates模块的基础上，开发了基于锐捷数据中心交换机产品的模板库：ruijie-templates。ruijie-templates模板库是基于TextFSM规则开发，用于适配ntc-templates模块，可以缝衔接Netmiko模块使用。ruijie-templates模块可以将锐捷数据中心交换机CLI内容进行结构化输出，输出结果可以直接用于Python脚本使用。该模块经过多个锐捷主流数据中心交换机版本测试，覆盖RG-S60、RG-S6520、RG-S6910、RG-S6920、RG-N18000-X系列[权5]产品，目前已支持近50条常用命令解析，后续会逐步更新完善，敬请关注。目前ruijie-templates代码已托管至GitHub：githubcomkenkrabiruijie-templates

下面介绍一下ruijie-templates模块使用方法。


ruijie-templates模块使用方法



安装方法



前置条件：安装TextFSM库和ntc-templates库

方法一：将ruijie-templates并入ntc-templates模板库（推荐）

方法二：单独使用ruijie-templates库，需要设置环境变量，相对复杂（不推荐）
推荐使用方法一将本模板库合并入ntc-templates模块使用，具体操作步骤如下：


下载模板库



gitclonegit@githubcom:kenkrabiruijie-templatesgit

模板文件导入ntc-templates

将templates目录下的所有TextFSM文件导入ntc-templates库的templates目录。


以macOS为例：


cp*textfsmLibraryFrameworksPythonframeworkVersions36libPython36site-packagesntc_templatestemplatesindex



添加index信息



以macOS为例，index文件所在路径为：

LibraryFrameworksPythonframeworkVersions36libPython36site-packagesntc_templatestemplatesindex



找到index文件后用文本编辑软件打开，将以下内容全部复制粘贴到原始文件末尾即可。

注意：由于ntc-templates模板库匹配原则，为避免异常情况，以下index条目不建议调整顺序！





案例一：使用Netmiko登录设备获取输出信息



说明

该案例使用Netmiko模拟CLI自动化登录一台设备，读取关键信息并输出结果。


Netmiko是基于Paramiko开发的专门用于适配络设备的开源Python库，Netmiko同时集成了TextFSM环境，目前比较新版本Netmiko（333）已支持锐捷产品，dece_type参数：ruijie_os


测试目标

使用Netmiko登录设备，通过执行showintcountrateup命令获取设备输出信息，并将结果以字典方式输出。







现代码





注意关键字：dece_type':'ruijie_os'，use_TextFSM=True



现效果







案例二：使用ntc-teamplates将文本结构化输出



说明

该案例使用ntc-templates模块，对文本内容进行结构化输出。



测试目标

以下图中BGP路由表为例，需要对showipbgp命令执行结果进行结构化输出。





现代码



注意关键字：platform='ruijie_os'



现效果





写在比较后

本文介绍了络自动化运维的问题和解决方案，并结合两个案例介绍了ruijie-template模块的功能以及使用方法，感兴趣的读者可以参考案例下载测试，当前的命令数量还不能满足所有业务场景，如您有更好的建议和意见可以留言，希望这个模块可以帮助到有这方面需求的朋友。


附录



本文中介绍的相关模块GitHub地址：

ruijie-template：githubcomkenkrabiruijie-templates

TextFSM：githubcomgoogletextfsm

ntc-templates：githubcomnetworktocodentc-templates

Netmiko：githubcomktbyersNetmiko



相关推荐：


畅谈数据中心络运维自动化
运维可视化之INT功能详解
数据中心自动化运维技术探索之NETCONF
数据中心络运维的"巨人之剑"
聊聊新基建之数据中心的络运维技术
数据中心自动化运维技术探索之交换机零配置上线





除了这几个方面，分布式数据库在其他方面的表现也是比较良好，倍受大家的关注和研究。产品采用自研的一体化架构，兼顾分布式架构的扩展性与集中式架构的性能优势，用一套引擎同时支持 TP 和 AP 的混合负载，具有数据强一致、高可用、高性能、在线扩展、高度兼容 Oracle/MySQL、对应用透明、高性价比等特点。https://www.oceanbase.com/topic/techwiki-distributed-database