输入输出算子用于从多种渠道将数据接入算子流、算子流处理过后的数据输出至指定位置存储以及根据映射关系将数据拆分发送给不同用户。输入输出算子包括数据输入、数据输出、文本输入、数据拆分和接口对接等多种算子。数据输入#
数据输入算子是数据流的数据入口,用于接入需要在算子流中处理的数据,支持本地上传和数据网盘引用两种数据输入方式。本地上传
支持上传表格类文件,文件格式包括.csv、.xlsx、.xls、.xlsm、.et、.ett几类。数据网盘
从数据网盘的不同端口接入数据表。算子支持一次选择多张表,保存配置后,系统会自动生成多个输入算子,将数据表一一输入算子流之中。我的数据:存储在数据网盘“我的数据”文件夹中的数据表;
数据连接:在数据网盘“数据连接”文件夹中存储的连接好的外部数据库,选择连接,可直接从数据库中接入数据;
分享给我:存储在数据网盘“分享给我”文件夹中的数据表。
财经数据中心
数据标准模块
从财经数据中心的数据标准模块接入数据表。将Excel文件“财务部员工信息表.xlsx”上传至数据网盘,新建算子流并使用数据输入算子从数据网盘获取该文件全部字段。
1
操作一
进入数据网盘,依次点击“我的数据”“新增数据源”“本地上传”,选择需要导入的本地文件后,点击“下一步”。
2
操作二
在原始表名处选择需要导入的表格和详细工作簿,不修改表名称,无需输入接入范围,点击“下一步”。
3
操作三
选择导入字段,不修改字段的目标类型和名称,点击“导入”,即可将数据表导入数据网盘。
5
操作五
点击画布上自动添加的“数据输入”算子,在左侧算子配置区依次点击“数据网盘”“我的数据”,找到上传的“财务部员工信息表.xlsx”。
6
操作六
勾选数据处理中需要的字段名称,“目标类型”可以选择字段类型,“重命名”下方文本框可对字段重新命名。还可设置过滤条件,筛选输入数据,完成后点击“保存配置”。
7
操作七
勾选数据处理中需要的字段名称,“目标类型”下可以选择字段类型,“重命名”下方文本框可对字段重新命名,还可设置过滤条件,筛选输入数据,完成后点击“保存配置”。
文本输入#
文本输入算子可以手工输入或导入表格,并支持对内容进行修改。导入
导入本地Excel文件,导入时可以选择接入的工作表及数据范围。同时保存至我的数据
勾选会将数据表保存至数据网盘中“我的数据”文件夹内,不勾选则仅在当前算子流中使用。请通过文本输入算子将《财务部员工信息表》输入算子流,并将表中员工俞柯的政治面貌修改为中共党员。
1
操作一
新建算子流画布,将算子流重命名为“文本输入”,点击“保存”,选择保存位置,保存算子流。
2
操作二
从算子选择区将“文本输入”算子拖拽至画布区,删除“数据输入”算子。
3
操作三
点击“文本输入”算子,在左侧算子配置区点击“导入”,将Excel《财务部员工信息表》上传。
5
操作五
点击放大镜图标,利用查找功能在下方数据中找到员工俞柯对应的数据行,将其政治面貌修改为“中共党员”。修改完成后,点击“保存配置”。
6
操作六
保存后,数据预览区自动预览100条表格数据,也可点击“执行”,查看运行结果。
数据输出#
数据输出算子是算子流的数据出口,用于接收算子流中处理完成的数据,将数据输出至数据资源或指定数据库。更多输出方式支持选择两种数据输出方式(如果不切换方式,则默认输出方式为方式一)。
方式一:用户可在数据网盘选择或新增一个表,或者在已有数据连接中选择或新增一个表,后续执行的数据均固定保存在所选择的这个表中。选择该方式输出数据时,如果算子流1月底执行一次、2月底执行一次,则对应输出表只保留2月底执行后的最新输出数据。
方式二:用户可设置规则,自动生成并保存不同时点执行结果的多张表。选择该方式输出数据时,如果算子流1月底执行一次、2月底执行一次,1月执行数据保存为一张表,2月执行数据保存为另一张表,用户可以分别查看到1月和2月的数据。
2.
表生成频率:设置数据表生成的频率,支持选择“每天”“每月”和“每年”三种;
3.
表名称预览:预览生成输出表的名称,默认名称为“自定义表名+当前时间”;
4.
保存表目录:选择将生成表保存至数据网盘的哪个文件夹下;
数据网盘
选择方式一时,可将数据表输出并存储到数据网盘“我的数据”文件夹中、“数据连接”文件夹连接的数据库中或“分享给我”的文件夹中。
财经数据中心 数据标准模块
选择方式一时,可将数据表输出并存储到财经数据中心的数据标准模块。
输出选项可选择“追加”“覆盖”“更新并追加”和“条件追加”四种数据输出方式。
追加:在保留原有数据的基础上,追加算子流处理后的新数据,不对原有数据产生影响;
覆盖:先清除原有数据,再将新的数据输出到所选数据库表中;
更新并追加:更新是替换数据中指定字段的数据,更新并追加是更新与追加二者的结合。选择“更新并追加”的输出选项时,可选择“匹配”或“更新”字段。系统会先将输出的字段与数据库里或表里字段进行匹配,如果可以匹配到,则用当前数据更新“更新”字段的值;如果没匹配到,则追加;
条件追加:条件指配置的过滤条件,条件追加是条件与追加二者的结合。选择“条件追加”的输出选项时,会出现配置过滤条件的配置框,根据用户配置的条件先将输出目标表内筛选出来的数据清空,然后将本次数据追加输出至目标表。
请使用数据输出算子,将Excel文件“财务部员工信息表.xlsx”输出至数据网盘的“我的数据”文件夹中。
2
操作二
点击画布自动带出的“数据输入”算子,打开配置页面,选择本地上传文件或从数据网盘引用数据,输入Excel文件“财务部员工信息表.xlsx”。
3
操作三
从算子选择区将“数据输出”算子拖拽至画布区,与“数据输入”算子连接。
4
操作四
点击“数据输出”算子,左侧算子配置区打开“我的数据”文件夹,将鼠标移动至文件夹末尾,依次点击“+”“新建表”,输入表名称“财务部员工信息表-新”,选中新建的数据表,输出选项选择“覆盖”,点击“保存配置”。
5
操作五
保存并执行算子流,在数据网盘中查看保存的新数据表。
浏览算子用于在数据预览区查看连接的前序算子输出的全量数据,并支持查看每一列的空值统计信息。该算子无需配置,连接即可使用。2
操作二
点击“数据输入”算子,输入《考核成绩表》,勾选全部字段,点击“保存配置”。
3
操作三
展开数据预览区,此时可看到由于数据量超过200条,因此数据预览区只可预览200条数据,其他数据如未打开调试模式,则不可查看。
4
操作四
将“浏览”算子拖拽至画布区,与“数据输入”算子连接。
5
操作五
点击右上方“执行”,执行算子流。算子流执行成功后,点击“浏览算子”,展开数据预览区,可查看考核成绩表的全部数据,并查看各列下空值和非空值的统计结果。
数据拆分#
数据拆分算子用于将数据按照自选维度拆分,分为多个表进行输出,输出方式可选择为邮件发送或分配到数据网盘中供收件人或被授权用户使用。拆分维度
将前序算子数据按照维度拆分,维度为前序算子数据中的字段。输出方式
拆分后的数据输出方式,可选“邮件发送”和“数据网盘”两种方式。邮件发送:选择该输出方式时,完成权限分配后执行算子流,拆分好的数据便会发送至用户邮箱;
数据网盘:选择该输出方式时,完成权限分配后执行算子流 ,拆分好的数据会保存在数据网盘中。右键点击拆分好的文件,选择“发布”,便可将文件分配给用户了,被分配用户可在其数据网盘右上角“待接收数据”处查收拆分的数据。
授权方式为将拆分后的数据分配给不同员工,需要在算子中建设起数据和员工之间的一对一映射关系,以便算子依据映射关系进行分配。
权限映射表:从数据网盘引用包含拆分维度和每个拆分维度对应分发用户的映射表,并指定权限维度和授权用户对应数据表哪个字段。可点击“模板示例”,下载模板,参考模板编制权限映射表;
权限范围是维度的值,例如当维度是部门维度时,维度值是部门名称,那么需要将财务部的数据 授权给员工A时,权限范围就填写为“财务部”。
使用数据拆分算子对Excel文件“各部门本月明星员工信息表.xlsx”进行拆分,并将拆分后的数据使用手工授权分配给不同部门的负责人。
2
操作二
点击画布自动带出的“数据输入”算子,打开配置页面,选择本地上传文件或从数据网盘引用数据,输入Excel文件“各部门本月明星员工信息表.xlsx”。
3
操作三
从算子选择区将“数据拆分”算子拖拽至画布区,与“数据输入”算子连接。
4
操作四
点击“数据拆分”算子,左侧算子配置区拆分维度选择“所属部门”,输出方式选择“数据网盘”,输出表名输入“本月明星员工信息表”,点击“下一步”。授权方式选择“手工授权”,权限范围输入各部门的名称,如“研发部”“财务部”,授权用户选择接收数据的用户,点击“保存配置”。
6
操作六
进入数据网盘,打开“我的数据”文件夹下的“数据拆分”文件夹,找到以算子流名称命名的文件夹,查看拆分后的数据。
选中需要授权给对应用户查看的数据,点击鼠标右键,选择“发布”,即可将拆分数据发送到对方数据网盘。接口对接#
接口对接算子可利用API接口连接外部系统实现数据调用或写入数据。使用接口对接算子 新建数据连接时,必须配置“基础配置”部分,其余配置根据接口文档要求判断。请求类型
选择请求类型,不同的请求类型配置不同的内容,支持HTTP/HTTPS和Webservice两种类型。接口地址
输入接口地址,支持“手工输入”和“前序算子”两种输入方式。编码类型
支持选择ISO-8859-1、UTF-8、GB2312、GBK四种编码类型。请求参数
参数可配置Body传参、Header传参、URL传参三种。分页配置
配置数据分页方式,
支持选择“按总数分页(页码)”
“按总数分页(起始数)”
“按标识分页(页码)”
“按标识分页(续传号)”四种方式。分批配置
配置数据分配模式,支持选择“按数量分批”和“按字段分批”两种模式。2
操作二
点击画布自动带出的“数据输入”算子,打开配置页面,将接口连通所需要的API key或者Token通过本地上传或者从数据网盘导入等方式输入到算子流之中。
3
操作三
将“接口对接”算子拖拽至画布区,与“数据输入”算 子连接,点击“接口对接”算子,在左侧算子配置区进行算子配置。
4
操作四
配置完成后,保存并执行算子流,即可通过API接口获取对应数据。