opensci
/
piflow
1
0
Fork 1
Code Issues Pull Requests Releases Wiki Activity
piflow/PiFlow_V0.7_Componets.md

2538 lines
95 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 1. Common
## 1.11AddUUIDStop
增加UUID列
### 1.1.1 port
Inport：默认端口
outport：默认端口
### 1.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------ | -------- | ------ | ------ | -------- | ---------------------- | ---- |
| column | Column | “uuid” | 无 | 是 | 你想要添加的uuid的列名 | uuid |
## 1.2 ConvertSchema
更换字段名称
### 1.2.1 Port
inport：默认端口
outport：默认端口
### 1.2.2 Properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------ | -------- | ------ | ------ | -------- | ------------------------------------------ | ------------------------------------------------------------ |
| schema | Schema | “” | 无 | 是 | 需要修改的字段名称，多个列名之间用逗号隔开 | id->uuid, name-> authorname(箭头之前是旧字段，箭头之后是新字段) |
## 1.3 Distinct
基于指定的列名或所有列名去重
### 1.3.1 Port
Inport：默认端口
outport：默认端口
### 1.3.2 Properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------- | ----------- | ------ | ------ | -------- | ---------------------------------------------------------- | ------- |
| `columnNames` | ColumnNames | “” | 无 | 是 | 填写要去重的列名，多个列名之间用逗号分隔，否则将删除所有列 | id,name |
## 1.4 DropField
删除一列或多列
### 1.4.1 port
Inport：默认端口
outport：默认端口
### 1.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------- | ----------- | ------ | ------ | -------- | -------------------------------------- | ------- |
| `columnNames` | ColumnNames | “” | 有 | 是 | 填写要删除的列，多个列名之间用逗号分隔 | id,name |
## 1.5 ExecuteSQLStop
创建临时视图表以执行sql
### 1.5.1 port
Inport：默认端口
outport：默认端口
### 1.5.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ---------------- | ------------------ |
| sql | Sql | “” | 无 | 是 | 执行的sql语句 | Select * from temp |
| Viewname | ViewName | “temp” | 有 | 否 | 临时视图表的名称 | temp |
## 1.7 Filter
通过条件过滤
### 1.7.1 port
Inport：默认端口
outport：默认端口
### 1.7.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | --------- | ------ | ------ | -------- | -------------- | ------------------------------------------------------------ |
| condition | Condition | “” | 有 | 是 | 想要过滤的条件 | name==’zhangsan’ (name是过滤的条件字段，zhangsan是过滤的条件) |
## 1.8 Fork
将数据分流给不同的stop
### 1.8.1 port
Inport：默认端口
outport：任意端口
### 1.8.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | -------------------------- | ------------- |
| outports | OutPorts | “” | 无 | 是 | 输出端口，多端口用逗号分隔 | out1,out2,... |
## 1.9 Join
表连接包括完全连接、左连接、右连接和内部连接
### 1.9.1 port
Inport：左端口，右端口
```
DefaultPort：默认端口
```
### 1.9.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ---------------- | ---------------- | ------ | ------ | -------- | ------------------------------------------- | ------------------------------- |
| joinMode | JoinMode | “” | 有 | 是 | `对于表关联，可以选择inner,left,right,full` | `left` |
| correlationField | CorrelationField | “” | 有 | 是 | 与表关联的列（如果多个列用逗号分隔） | id,name(表之间相关联的列的名称) |
## 1.10 Merge
将数据合并到一个stop
### 1.10.1 port
Inport：任何端口
```
DefaultPort：默认端口
```
### 1.10.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------- | -------- | ------ | ------ | -------- | -------------------------- | ----------- |
| inports | Inports | “” | 无 | 是 | 输入端口，多端口用逗号分隔 | in1,in2,... |
## 1.11 MockData
模拟测试数据
### 1.11.1 Port
Inport：默认端口
outport：默认端口
### 1.11.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------ | -------- | ------ | ------ | -------- | ------------------------------------------------------------ | ------------------------------------- |
| schema | Schema | “” | 无 | 是 | 模拟数据的schema，schema的格式为column:columnType:isNullable。columnType可以是String/Int/Long/Float/Double/Boolean。isNullable可以为空，默认值为false | name:String,age:Int,isStudent:Boolean |
| count | Count | “” | 无 | 是 | 测试数据的数量 | 10 |
## 1.12 Route
按自定义属性路由数据，键是端口，值是筛选器
### 1.12.1 port
Inport：默认端口
RoutePort：路由端口
### 1.12.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ---- | -------- | ------ | ------ | -------- | ---- |
| | | | | | |
## 1.13 SelectField
选择需要的数据列
### 1.13.1 port
Inport：默认端口
outport：默认端口
### 1.13.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------- | ----------- | ------ | ------ | -------- | ------------------------------ | -------- |
| `columnNames` | ColumnNames | “” | 无 | 是 | 选择所需的列，多个列用逗号分隔 | id，name |
## 1.14 Subtract
去除两表重复项
### 1.14.1 port
Inport：左端口，右端口
outport：默认端口
```
```
### 1.14.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ---- | -------- | ------ | ------ | -------- | ---- |
| | | | | | |
# 2. Data Clean
## 2.1 EmailClean
邮箱号清洗
### 2.1.1 port
Inport：默认端口
outport：默认端口
### 2.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | ----------- | ------ | ------ | -------- | ------------------------------- | ----- |
| columName | Column Name | “” | 无 | 是 | 需要清洗的字段名,多列以逗号分隔 | email |
## 2.2 IdentityNumberClean
身份证号清洗
### 2.2.1 port
Inport：默认端口
outport：默认端口
### 2.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | ----------- | ------ | ------ | -------- | ------------------------------- | ------ |
| columName | Column Name | “” | 无 | 是 | 需要清洗的字段名,多列以逗号分隔 | IdCard |
## 2.3 PhoneNumberClean
手机号清洗
### 2.3.1 port
Inport：默认端口
outport：默认端口
### 2.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | ---------- | ------ | ------ | -------- | ---------------- | ----------- |
| columName | COLUM_NAME | “” | 无 | 是 | 需要清洗的字段名 | phoneNumber |
## 2.4 TitleClean
标题清洗
### 2.4.1 port
Inport：默认端口
outport：默认端口
### 2.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | ----------- | ------ | ------ | -------- | ------------------------------- | ----- |
| columName | Column Name | “” | 无 | 是 | 需要清洗的字段名,多列以逗号分隔 | Title |
## 2.4 ProvinceClean
省份清洗
### 2.4.1 port
Inport：默认端口
outport：默认端口
### 2.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | ----------- | ------ | ------ | -------- | ------------------------------- | -------- |
| columName | Column Name | “” | 无 | 是 | 需要清洗的字段名,多列以逗号分隔 | province |
# 3. CSV
## 3.1 CsvParser
解析csv文件或文件夹
### 3.1.1port
inport：默认端口
outport：默认端口
### 3.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | --------- | ------ | ------ | -------- | ------------------ | -------------------------------------- |
| csvPath | CsvPath | “” | 无 | 是 | 文件地址 | hdfs://master:9000/test/ |
| header | Header | “” | 无 | 是 | 是否包含文件头信息 | true(表示有头信息,false表示没有头信息) |
| delimiter | Delimiter | “” | 无 | 是 | 文件分割符号 | “,” |
| schame | Schame | “” | 无 | 否 | 字段描述信息 | Id,name,... |
## 3.2 CsvSave
保存到csv文件
### 3.2.1port
inport：默认端口
outport：默认端口
### 3.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | -------- | ------ | -------- | ------------------ | ------------------------------------------------------------ |
| csvSavePath | CsvSavePath | “” | 无 | 是 | 文件保存路径 | hdfs://master:9000/test/ |
| header | Header | “” | 无 | 是 | 是否包含文件头信息 | true(表示有头信息,false表示没有头信息) |
| delimiter | Delimiter | “” | 无 | 是 | 文件分割符号 | “,” |
| saveMode | saveMode | “append” | 有 | 是 | 保存csv文件的模式 | append：追加 overwrite：覆盖 Ignore：如果存在则忽略 ErrorIfExists：如果已经存在数据，则将引发异常。 |
## 3.3 CsvStringParser
解析csv字符串
### 3.3.1port
inport：默认端口
outport：默认端口
### 3.3.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | --------- | ------ | ------ | -------- | ------------ | ----------------- |
| str | String | “” | 无 | 是 | Csv字符串 | 1,zs 2,ls ... |
| schema | Schema | “” | 无 | 否 | 字段描述信息 | Id,name |
| delimiter | Delimiter | “” | 无 | 是 | 文件分割符号 | “,” |
# 4.ElasticSearch
## 4.1 PutElasticSearch
写入 ElasticSearch
### 4.1.1 Port
inport：默认端口
outport：默认端口
### 4.1.2 properties
## 4.2 QueryElasticSearch
从ElasticSearch 查询数据
### 4.2.1 Port
inport：默认端口
outport：默认端口
### 4.2.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| -------- | ------------ | ---------- | ---------- | ------------ | ---------------------- | ------------------------------ |
| es_nodes | Es_Nodes | “” | 无 | 是 | Es的ip，多个用逗号分隔 | 127.0.0.1 |
| es_port | Es_Port | 9200 | 无 | 是 | 端口号 | 9200 |
| es_index | Es_Index | “” | 无 | 是 | 索引 | testdb(类比关系型数据库里的DB) |
| es_type | Es_Type | “” | 无 | 是 | 类型 | user(类比关系数据库里的Table) |
| jsonDSL | JsonDSL | “” | 无 | 是 | 查询语句 | {\"query\":{\"match_all\":{}}} |
# 5.File
## 5.1 GetFile
从hdfs获取文件到本地
### 5.1.1 port
Inport：默认端口
outport：默认端口
### 5.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ------------------------ | -------------- |
| ip | IP | “” | 无 | 是 | 本地文件所在的服务器IP | master |
| user | User | | 无 | 是 | 本地文件所在的服务器用户 | root |
| `passWord` | PassWord | | 无 | 是 | 本地文件所在服务器的密码 | 123456 |
| `hdfsFile` | HdfsFile | | 无 | 是 | hdfs上的文件路径 | /work/test.csv |
| `localPath` | `LocalPath` | | 无 | 是 | 本地路径 | /opt/ |
## 5.2 PutFile
上传本地文件到hdfs
### 5.2.1 port
Inport：默认端口
outport：默认端口
### 5.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ------------------------ | -------------- |
| ip | IP | “” | 无 | 是 | 本地文件所在的服务器IP | master |
| user | User | | 无 | 是 | 本地文件所在的服务器用户 | root |
| `PassWord` | PassWord | | 无 | 是 | 本地文件所在服务器的密码 | 123456 |
| `hdfsFile` | HdfsFile | | 无 | 是 | hdfs上的文件路径 | /work/test.csv |
| `localPath` | `LocalPath` | | 无 | 是 | 本地路径 | /opt/ |
## 5.3 RegexTextProcess
用正则表达式替换或者过滤指定列的每一个值
### 5.3.1 port
Inport：默认端口
outport：默认端口
### 5.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ---------- | ----------- | ------ | ------ | -------- | ---------------- | ---- |
| regex | Regex | “” | 无 | 是 | 正则表达式 | 0001 |
| columnName | Column_Name | | 无 | 是 | 需要处理的字段名 | id |
| replaceStr | Replace_Str | | 无 | 是 | 替换字符串 | 1111 |
# 6. ftp
## 6.1 loadFromFtpUrl
下载ftp服务器文件保存到 hdfs 上
### 6.1.1 Port
inport：默认端口
outport：默认端口
### 6.1.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| ------------ | ------------ | ---------- | ---------- | ------------ | ------------------------------------------------------------ | ----------- |
| ftp_url | Ftp_Url | | | 是 | ftp的IP地址 | 128.136.0.1 |
| port | Port | | | 否 | ftp的端口 | |
| username | UserName | | | 否 | 用户名 | |
| password | Password | | | 否 | 密码 | |
| ftpFile | FtpFile | | | 是 | ftp文件路径 | |
| HDFSUrl | HDFSUrl | | | 是 | Hdfs的url地址 | |
| HDFSPath | HDFSPath | / | | 是 | 文件保存路径 | |
| isFile | IsFile | | | 是 | 是否是单个文件,如果为true，则仅下载由路径指定的单个文件。如果为false，则递归下载文件夹中的所有文件 | |
| filterByName | FilterByName | | | 否 | 如果选择下载整个目录，则可以使用此参数筛选需要下载的文件。 这里需要填写一个标准的Java正则表达式。例如，您需要下载以/A/目录结尾的所有文件，您可以在这里填写.*.gz。如果有多个过滤器，它们需要用逗号分隔 | |
## 6.2 UpLoadToFtp
向ftp服务器上上传文件
### 6.2.1 Port
inport：默认端口
outport：默认端口
### 6.2.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | ------------ |
| url_str | Url_Str | | | 是 | ftp的ip地址 |
| port | Port | | | 是 | ftp的端口 |
| username | UserName | | | 是 | 用户名 |
| password | Password | | | 是 | 密码 |
| ftpFile | FtpFile | | | 是 | ftp文件路径 |
| localPath | LocalPath | / | | 是 | 本地文件路径 |
# 7. HBase
## 7.1 GetHbase
从Hbase读取数据
## 7.2 PutHbase
将数据写入 hbase
# 8. Hdfs
## 8.1 PutHdfs
将dataFrame的数据写入 hdfs
### 8.1.1 Port
inport：默认端口
outport：默认端口
### 8.1.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| --------- | ------------ | ---------- | ---------------- | ------------ | ------------------------------- | ------------------ |
| hdfsUrl | HdfsUrl | | | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsPath | HdfsPath | / | | 是 | Hdfs的路径 | /work/test/ |
| partition | Partition | 3 | | 是 | 分区，写成几个文件 | 2 |
| types | Types | csv | json,scv,parquet | 是 | 保存文件类型:Json，csv，parquet | csv |
## 8.2 GetHdfs
获取hdfs的数据
### 8.2.1 Port
inport：默认端口
outport：默认端口
### 8.2.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| -------- | ------------ | ---------- | -------------------- | ------------ | -------------- | ------------------ |
| hdfsUrl | HdfsUrl | | | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsPath | HdfsPath | | | 是 | Hdfs的路径 | /work/test/ |
| types | Types | csv | json,scv,parquet,txt | 是 | 下载的文件类型 | csv |
## 8.3 ListHdfs
从hdfs检索文件列表
### 8.3.1 Port
inport：默认端口
outport：默认端口
### 8.3.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| -------- | ------------ | ---------- | ---------- | ------------ | ------------- | ------------------ |
| hdfsUrl | HdfsUrl | | | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsPath | HdfsPath | | | 是 | Hdfs的路径 | /work/ |
## 8.4 DeleteHdfs
删除hdfs指定文件或者文件夹
### 8.4.1 Port
inport：默认端口
outport：默认端口
### 8.4.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| ------------- | ------------ | ---------- | ---------- | ------------ | ------------------------------------------------------------ | ------------------ |
| hdfsUrl | HdfsUrl | | 无 | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsPath | hdfsPath | | 无 | 是 | Hdfs的路径 | /work/test/ |
| `isCustomize` | IsCustomize | true | 有 | 否 | 是否自定义压缩文件路径，如果为true，则必须指定压缩文件所在的路径。如果为false，则从上游端口自动查找文件路径数据 | true |
## 8.5 SelectFileByName
根据名字选择文件
### 8.5.1 Port
inport：默认端口
outport：默认端口
### 8.5.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| ------------------- | ------------------- | ---------- | ---------- | ------------ | ------------------------------------ | ------------------ |
| hdfsUrl | HdfsUrl | | 无 | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| Hdfspath | Hdfspath | | 无 | 是 | Hdfs的路径 | /work/ |
| SelectionConditions | SelectionConditions | | 无 | 是 | 要选择条件，需要用java填充正则表达式 | .*.csv |
## 8.6 UnzipFilesOnHDFS
解压文件
### 8.6.1 Port
inport：默认端口
outport：默认端口
### 7.6.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| ----------- | ------------ | ---------- | ---------- | ------------ | ------------------------------------------------------------ | ---------------------- |
| hdfsUrl | HdfsUrl | “” | 无 | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| savePath | SavePath | “” | 无 | 是 | 此参数可以指定解压文件的位置，可以选择不填写，程序默认将解压文件保存在源文件所在的文件夹中。如果填写，可以指定文件夹 | /work/test/ |
| isCustomize | IsCustomize | | | 否 | 是否自定义压缩文件路径，如果为true，则必须指定压缩文件所在的路径。如果为false，它将自动从上游端口找到文件路径数据 | true |
| filePath | FilePath | | | 否 | Hdfs的文件路径 | /work/test/test.tar.gz |
## 8.7FileDownHdfs
将数据从url下载到HDFS
### 8.6.1 Port
inport：默认端口
outport：默认端口
### 8.6.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | -------------- | ---------------------------------------- |
| hdfsUrl | HdfsUrl | “” | 无 | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsPath | HdfsPath | “” | 无 | 是 | hdfs路径 | /work/dblp/dblp.xml.gz |
| url_str | Url_Str | “” | 无 | 否 | 文件的网络地址 | https://dblp.dagstuhl.de/xml/dblp.xml.gz |
## 8.8 SaveToHdfs
将数据放到HDFS
### 8.8.1 Port
inport：默认端口
outport：默认端口
### 8.8.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| ----------- | ------------ | ---------- | ---------- | ------------ | ---------------------------------- | ------------------ |
| hdfsUrl | HdfsUrl | “” | 无 | 是 | Hdfs的Url地址 | hdfs://master:8020 |
| hdfsDirPath | HdfsDirPath | “” | 无 | 是 | hdfs路径 | /work/test/ |
| `fileName` | FileName | “” | 无 | 否 | 文件的网络地址 | test.csv |
| `types` | Types | csv | 有 | 是 | 想要写入的格式有json，csv，parquet | csv |
| `delimiter` | Delimiter | “,” | 无 | 是 | 设置csv文件类型的分隔符 | “,” |
| `header` | Header | true | 无 | 是 | Csv文件是否带表头 | true |
# 9. Hive
## 9.1 PutHiveQL
执行hiveQL文件
### 9.1.1port
inport：默认端口
outport： 默认端口
### 9.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ------------------------------ | ----------------------------------- |
| HiveQL_Path | HiveQL_Path | “” | 无 | 是 | Hiveql文件路径 | hdfs://master:8020/test/Puthive.hql |
| Database | Database | ““ | 无 | 是 | hiveQL将在其上执行的数据库名称 | test |
## 9.2 PutHiveStreaming
写数据到Hive表
### 9.2.1 port
inport：默认端口
outport：默认端口
### 9.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ---------- | ---- |
| Database | Database | ““ | 无 | 是 | 数据库名称 | test |
| Table | Table | ““ | 无 | 是 | 数据库表名 | user |
## 9.3 PutHiveMode
保存数据到hive的模式
### 9.3.1 port
inport： 默认端口
outport： 默认端口
### 9.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | -------- | ------ | -------- | -------------- | ------------------------------------------------------------ |
| Database | Database | ““ | 无 | 是 | 数据库名称 | test |
| Table | Table | ““ | 无 | 是 | 数据库表名 | user |
| saveMode | SaveMode | “append” | 有 | 是 | 保存数据的模式 | append：追加 overwrite：覆盖 Ignore：如果存在则忽略 ErrorIfExists：如果已经存在数据，则将引发异常。 |
## 9.4 SelectHiveQL
执行Hive的select语句
### 9.4.1 port
inport： 默认端口
outport： 默认端口
### 9.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------ | -------- | ------ | ------ | -------- | -------- | ----------------------- |
| HiveQL | HiveQL | ““ | 无 | 是 | Hive语句 | Select * from test.user |
## 9.5 SelectHiveQLByJDBC
某些hive只能通过jdbc实现，此stop是为此而设计的
### 9.5.1 port
inport： 默认端口
outport： 默认端口
### 9.5.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------------- | ------------ | ------ | ------ | -------- | --------------------- | ------------------------- |
| hiveUser | HiveUser | ““ | 无 | 是 | 连接Hive的用户 | root |
| `hivePassword` | HivePassword | “” | 无 | 是 | 连接Hive的用户密码 | 123456 |
| `jdbcUrl` | JdbcUrl | “” | 无 | 是 | 通过JDBC连接hive的Url | jdbc:hive2://master:10000 |
| `sql` | Sql | “” | 无 | 是 | Sql查询语句 | Select * from test.user |
# 10. Http
## 10.3 GetUrl
Get请求方式获取url的数据，写入dataframe
### 10.3.1 Port
inport：默认端口
outport：默认端口
### 10.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------------- | --------------- | ------ | -------- | -------- | ------------------ | ------------------------------------------------------------ |
| url | Url | “” | | 是 | HTTP请求的url 地址 | `https://api.elsevier.com/content/search/scopus?query=TITLE('title')&apiKey=555637gxd` |
| httpAcceptTypes | HttpAcceptTypes | “json” | Json,xml | 是 | 接收的url 数据类型 | json |
| label | label | “” | | Xml 必填 | 要解析的xml标签 | id,name |
| schema | Schema | “” | | Xml 必填 | 保存的schema类型 | pid,authorname |
## 10.4 PostUrl
Post请求方式发送数据到 url
### 10.4.1 Port
inport：默认端口
outport：默认端口
### 10.4.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** | **例子** |
| -------- | ------------ | ---------- | ---------- | ------------ | ---------------------- | ----------------------------------- |
| url | Url | “” | | 是 | HTTP请求的url 地址 | `http://10.0.86.98:8002/flow/start` |
| jsonPath | JsonPath | | | 是 | 发送的json数据hdfs路径 | `hdfs://master:9000/yg/flow.json` |
# 11.Neo4J
## 11.1 HiveTo[Neo4](https://github.com/cas-bigdatalab/piflow/blob/master/piflow-bundle/src/main/scala/cn/piflow/bundle/neo4j/PutNeo4j.scala)
写入数据到neo4j
### 11.1.1 port
Inport：默认端口
outport：默认端口
### 11.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ------------------------ | ------------------------------------------------------------ |
| hiveQL | HiveQL | “” | 无 | 是 | Hive保存到neo4j的sql语句 | Select * from test.user |
| hdfsDirPath | HdfsDirPath | “” | 无 | 是 | 保存到hdfs 的路径 | `/test/` |
| hdfsUrl | HdfsUrl | “” | 无 | 是 | Hdfs的url | hdfs://master:8020 |
| fileName | FileName | “” | 无 | 是 | 保存到hdfs的文件名 | user.csv |
| delimiter | Delimiter | “” | 无 | 是 | Csv文件的分隔符 | “,” |
| header | Header | “true” | 有 | 是 | Csv文件的表头 | true |
| neo4j_Url | Neo4j_Url | “” | 无 | 是 | Neo4J的url地址 | `bolt://192.168.3.141:7687` |
| userName | UserName | “” | 无 | 是 | Neo4j的用户名 | Neo4j |
| password | Password | “” | 无 | 是 | Neo4j的密码 | 123456 |
| cypher | Cypher | “” | “” | 是 | 导入csv文件的cypher语句 | `LOAD CSV WITH HEADERS FROM 'http://master:50070//test/user.csv?op=OPEN' AS line FIELDTERMINATOR ',' CREATE (n:user{userid:line.id,username:line.name,userscore:line.score,userschool:line.school,userclass:line.class})` |
## 11.2 [PutNeo4](https://github.com/cas-bigdatalab/piflow/blob/master/piflow-bundle/src/main/scala/cn/piflow/bundle/neo4j/PutNeo4j.scala)
写入数据到neo4j
### 11.2.1 port
Inport：默认端口
outport：无
### 11.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------- | --------- | ------ | ------ | -------- | --------- |
| Url | Url | “” | 无 | 是 | Neo4j地址 |
| userName | userName | “” | 无 | 是 | 用户名 |
| password | password | “” | 无 | 是 | 密码 |
| labelName | labelName | “” | 无 | 是 | 表名 |
## 11.3 [RunCypher](https://github.com/cas-bigdatalab/piflow/blob/master/piflow-bundle/src/main/scala/cn/piflow/bundle/neo4j/RunCypher.scala)
执行Cypher语句
### 11.3.1 port
Inport：默认端口
outport：无
### 11.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | -------------- | ---------------------------------------------------------- |
| Url | Url | “” | 无 | 是 | Neo4j的url地址 | `bolt://192.168.3.141:7687` |
| userName | UserName | “” | 无 | 是 | 用户名 | Neo4j |
| password | Password | “” | 无 | 是 | 密码 | 123456 |
| cql | Cql | “” | 无 | 是 | Cql语句 | `match(n:user) where n.userid ='11' set n.userclass =null` |
# 12.InternetWorm
## 12.1 Spider
爬取网络数据
### 12.1.1port
inport：
outport：默认端口
### 12.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | -------------------------- |
| rootUrl | rootUrl | “” | 无 | 是 | 网站域名地址 |
| fistUrl | fistUrl | “” | 无 | 是 | 爬取开始的页面 |
| makeupField | makeupField | “” | 无 | 是 | 数据标记字段名称（key） |
| jumpDependence | jumpDependence | “” | 无 | 是 | 页面跳转的依赖标签 |
| fileMap | fileMap | “” | 无 | 是 | 字段名称，及对应的标签路径 |
| downPath | downPath | “” | 无 | 否 | 文件下载路径 |
# 13.JDBC
## 13.1 MysqlRead
Jdbc读取mysql数据
### 13.1.1port
inport：默认端口
outport：默认端口
### 13.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ------------------- | ----------------------------------------- |
| url | Url | “” | 无 | 是 | 连接mysql的Url地址 | `jdbc:mysql://192.168.3.141:3306/test_db` |
| user | User | “” | 无 | 是 | 连接mysql的用户 | root |
| password | Password | “” | 无 | 是 | 连接mysql的用户密码 | 123456 |
| sql | Sql | “” | 无 | 是 | 查询的sql语句 | Select * from user |
## 13.2 MysqlReadIncremental
Jdbc读取mysql数据
### 13.2.1port
inport：默认端口
outport：默认端口
### 13.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------------ | ---------------- | ------ | ------ | -------- | ------------------- | --------------------------------------- |
| url | Url | “” | 无 | 是 | 连接mysql的Url地址 | jdbc:mysql://192.168.3.141:3306/test_db |
| user | User | “” | 无 | 是 | 连接mysql的用户 | root |
| password | Password | “” | 无 | 是 | 连接mysql的用户密码 | 123456 |
| sql | Sql | “” | 无 | 是 | 查询的sql语句 | Select * from user |
| `incrementalField` | IncrementalField | “” | 无 | 是 | 增加的列的名字 | update_date |
| `incrementalStart` | IncrementalStart | “” | 无 | 是 | 增加的列起始值 | 2020-04-08 |
## 13.3 jdbcReadFromOracle
读取oracle数据
### 13.3.1port
inport：
outport：默认端口
### 13.3.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ---------------------- | ---- |
| url | url | “” | 无 | 是 | 连接地址 | |
| user | user | “” | 无 | 是 | 用户 | |
| password | password | “” | 无 | 是 | 密码 | |
| sql | sql | “” | 无 | 是 | 查询的sql语句 | |
| schame | schame | “” | 无 | 是 | 查询结果的字段描述信息 | |
## 13.4 MysqlWrite
Jdbc写入mysql数据库
### 13.4.1 port
inport：默认端口
outport：默认端口
### 13.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ------------------- | --------------------------------------- |
| url | Url | “” | 无 | 是 | 连接mysql的Url地址 | jdbc:mysql://192.168.3.141:3306/test_db |
| user | User | “” | 无 | 是 | 连接mysql的用户 | root |
| password | Password | “” | 无 | 是 | 连接mysql的用户密码 | 123456 |
| table | Table | “” | 无 | 是 | 表名 | test |
## 13.5 OracleRead
从oracle中读取数据
### 13.5.1port
inport：默认端口
outport：默认端口
### 13.5.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | -------------------- | ------------------------------------------------------------ |
| url | Url | “” | 无 | 是 | 连接oracle的Url地址 | `jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS_LIST =(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.2.237)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=RACDB_STANDBY)))` |
| user | User | “” | 无 | 是 | 连接oracle的用户 | oracle |
| password | Password | “” | 无 | 是 | 连接oracle的用户密码 | 123456 |
| sql | Sql | “” | 无 | 是 | sql查询语句 | Select * from test |
## 13.6 OracleReadByPartition
从oracle中分区读取数据
### 13.6.1port
inport：默认端口
outport：默认端口
### 13.6.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------------- | --------------- | ------ | ------ | -------- | -------------------- | ------------------------------------------------------------ |
| url | Url | “” | 无 | 是 | 连接oracle的Url地址 | `jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS_LIST =(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.2.237)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=RACDB_STANDBY)))` |
| user | User | “” | 无 | 是 | 连接oracle的用户 | oracle |
| password | Password | “” | 无 | 是 | 连接oracle的用户密码 | 123456 |
| sql | Sql | “” | 无 | 是 | Sql查询语句 | Select * from test |
| partitionColumn | PartitionColumn | “” | 无 | 否 | 分区的列 | id |
| lowerBound | LowerBound | “” | 无 | 否 | 分区列的下限 | 1 |
| upperBound | UpperBound | “” | 无 | 否 | 分区列的上限 | 100 |
| numPartitions | NumPartitions | “” | 无 | 否 | 分区的数量 | 20 |
## 13.7 OracleWrite
写入数据到oracle数据库
### 13.7.1port
inport：默认端口
outport：默认端口
### 13.7.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | -------------------- | ------------------------------------------------------------ |
| url | Url | “” | 无 | 是 | 连接oracle的Url地址 | `jdbc:oracle:thin:@(DESCRIPTION =(ADDRESS_LIST =(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.2.237)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=RACDB_STANDBY)))` |
| user | User | “” | 无 | 是 | 连接oracle的用户 | oracle |
| password | Password | “” | 无 | 是 | 连接oracle的用户密码 | 123456 |
| table | Table | “” | 无 | 是 | 表名 | test |
## 13.8 SelectImpala
查询impala数据
### 13.8.1port
inport：
outport：默认端口
### 13.8.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------ | ------------ | ------ | ------ | -------- | ---------------------- | ---- |
| url | Url | “” | 无 | 是 | Impala连接路径 | |
| user | User | “” | 无 | 否 | Impala用户 | |
| password | Password | “” | 无 | 否 | 用户密码 | |
| sql | Sql | “” | 无 | 是 | 查询的sql语句 | |
| schameString | SchameString | “” | 无 | 是 | 查询结果的字段描述信息 | |
# 14.Json
## 14.1 jsonParser
Json文件解析
### 14.1.1 port
inport：默认端口
outport：默认端口
### 14.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------- | -------- | ------ | ------ | -------- | ------------------------------ | ------------------------------------------------ |
| jsonPath | JsonPath | “” | 无 | 是 | Json文件地址 | `hdfs://master:8020/work/json/test/example.json` |
| tag | Tag | “” | 无 | 是 | 需要解析的标签，多个以逗号分隔 | `name,province_name` |
## 14.3 FolderJsonPath
Json文件夹解析
### 14.3.1 port
inport：默认端口
outport：默认端口
### 14.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ---------- | ---------- | ------ | ------ | -------- | -------------- | ------------------------------------------------------------ |
| folderPath | FolderPath | “” | 无 | 是 | 文件夹地址 | hdfs://master:8020/work/json/test/ |
| tag | Tag | “” | 无 | 是 | 需要解析的标签 | name,province_name，如果要打开数组字段，必须这样写：links_name（MasterField_ChildField） |
## 14.4 JsonStringParser
Json字符串解析
### 14.4.1 port
inport：默认端口
outport：默认端口
### 14.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ---------- | ---------- | ------ | ------ | -------- | ---------- | ------------------------------------------------------------ |
| jsonString | JsonString | “” | 无 | 是 | Json字符串 | `{\"id\":\"13\",\"name\":\"13\",\"score\":\"13\",\"school\":\"13\",\"class\":\"13\"}` |
## 14.5 JsonSave
保存为Json文件
### 14.5.1 port
inport：默认端口
outport：默认端口
### 14.5.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------ | ------------ | ------ | ------ | -------- | ---------------- | ---------------------------------------- |
| jsonSavePath | JsonSavePath | “” | 无 | 是 | Json文件保存地址 | `hdfs://master:8020/work/testJson/test/` |
# 15.Message Queue
## 15.1 ReadFromKafka
从kafka读数据
### 15.1.1 port
Inport：NonePort
outport：默认端口
### 15.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ---------- | --------- | ------ | ------ | -------- | --------------------- |
| kafka_host | KAFKA_STR | “” | 无 | 是 | Kafka地址 |
| topic | TOPIC | | 无 | 是 | 读取主题 |
| schema | SCHEMA | | 无 | 是 | 生成DataFrame的schema |
## 15.2 WriteToKafka
向kafka写数据
### 15.2.1 port
Inport：默认端口
outport：NonePort
### 15.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ---------- | --------- | ------ | ------ | -------- | --------- |
| kafka_host | KAFKA_STR | “” | 无 | 是 | Kafka地址 |
| topic | TOPIC | | 无 | 是 | 写入主题 |
# 16.Memcache
## 16.1 PutMemcache
写入memcache
### 16.1.1port
inport：默认端口
outport：
### 16.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------------- | --------------- | ------ | ------ | -------- | ------------------ |
| servers | servers | “” | 无 | 是 | Memcache的服务地址 |
| keyFile | keyFile | “” | 无 | 是 | 作为key字段的名称 |
| weights | weights | “” | 无 | 否 | |
| maxIdle | maxIdle | “” | 无 | 否 | 最大处理时间 |
| maintSleep | maintSleep | “” | 无 | 否 | 主线程睡眠时间 |
| nagle | nagle | “” | 无 | 否 | TCP参数 |
| socketTO | socketTO | “” | 无 | 否 | 连接超时时间 |
| socketConnectTO | socketConnectTO | “” | 无 | 否 | 连接次数 |
## 16.2 GetMemcache
读取memcache
### 16.2.1port
inport：默认端口
outport：默认端口
### 16.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------------- | --------------- | ------ | ------ | -------- | ------------------ |
| servers | servers | “” | 无 | 是 | Memcache的服务地址 |
| keyFile | keyFile | “” | 无 | 是 | 作为key字段的名称 |
| weights | weights | “” | 无 | 否 | |
| maxIdle | maxIdle | “” | 无 | 否 | 最大处理时间 |
| maintSleep | maintSleep | “” | 无 | 否 | 主线程睡眠时间 |
| nagle | nagle | “” | 无 | 否 | TCP参数 |
| socketTO | socketTO | “” | 无 | 否 | 连接超时时间 |
| socketConnectTO | socketConnectTO | “” | 无 | 否 | 连接次数 |
| schame | schame | “” | 无 | 是 | 字段描述细信息 |
## 16.3 ComplementByMemcache
读取memcache，补充原表
### 16.3.1port
inport：默认端口
outport：默认端口
### 16.3.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------------- | --------------- | ------ | ------ | -------- | ------------------ |
| servers | servers | “” | 无 | 是 | Memcache的服务地址 |
| keyFile | keyFile | “” | 无 | 是 | 作为key字段的名称 |
| weights | weights | “” | 无 | 否 | |
| maxIdle | maxIdle | “” | 无 | 否 | 最大处理时间 |
| maintSleep | maintSleep | “” | 无 | 否 | 主线程睡眠时间 |
| nagle | nagle | “” | 无 | 否 | TCP参数 |
| socketTO | socketTO | “” | 无 | 否 | 连接超时时间 |
| socketConnectTO | socketConnectTO | “” | 无 | 否 | 连接次数 |
| replaceField | replaceField | “” | 无 | 是 | 你希望补充的字段 |
# 17.Microorganism
## 17.1 BioprojectData
解析Bioproject数据
### 17.1.1 Port
inport：默认端口
outport：默认端口
### 17.1.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.2 BioSample
解析biosample数据
### 17.2.1 Port
inport：默认端口
outport：默认端口
### 17.2.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.3 EmblData
解析embl数据
### 17.3.1 Port
inport：默认端口
outport：默认端口
### 17.3.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.4 Ensembl
解析Ensembl_gff3数据
### 17.4.1 Port
inport：默认端口
outport：默认端口
### 17.4.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.5 GenbankData
解析genbank数据
### 17.5.1 Port
inport：默认端口
outport：默认端口
### 17.5.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.6 Gene
解析gene数据
### 17.6.1 Port
inport：默认端口
outport：默认端口
### 17.6.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.7 GoData
解析go数据
### 17.7.1 Port
inport：默认端口
outport：默认端口
### 17.7.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.8 GoldData
解析golddata数据
### 17.8.1 Port
inport：默认端口
outport：默认端口
### 17.8.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.9 InterproData
解析interpro数据
### 17.9.1 Port
inport：默认端口
outport：默认端口
### 17.9.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.10. MicrobeGEnomeData
解析 MicrobeGEnome数据
### 17.10.1 Port
inport：默认端口
outport：默认端口
### 17.10.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.11 PDBData
解析 pdb数据
### 17.11.1 Port
inport：默认端口
outport：默认端口
### 17.11.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.12 PfamData
解析 pfam数据
### 17.12.1 Port
inport：默认端口
outport：默认端口
### 17.12.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.13 RefseqData
解析 refSeq数据
### 17.13.1 Port
inport：默认端口
outport：默认端口
### 17.13.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.14 SwissprotData
解析 swiss数据
### 17.14.1 Port
inport：默认端口
outport：默认端口
### 17.14.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.15 TaxonomyData
解析 TaxonomyParse数据
### 17.15.1 Port
inport：默认端口
outport：默认端口
### 17.15.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.16 Pathway
解析 KeggPathwayParse数据
### 17.16.1 Port
inport：默认端口
outport：默认端口
### 17.16.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
## 17.17 MedlineData
解析 TaxonomyParse数据
### 17.17.1 Port
inport：默认端口
outport：默认端口
### 17.17.2 properties
| **名称** | **展示名称** | **默认值** | **允许值** | **是否必填** | **描述** |
| --------- | ------------ | ---------- | ---------- | ------------ | -------- |
| cachePath | cachePath | “” | | 是 | 缓存路径 |
# 10.MechineLearning Classification
## 18.1DecisionTreeTraining
决策树分类模型训练
### 18.1.1 port
Inport：NonePort
outport：默认端口
### 18.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | --------------------- | ------ | ------ | -------- | -------------------------------- |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxBins | MAX_BINS | | 无 | 是 | 连续属性分裂最大数目 |
| maxDepth | MAX_DEPTH | | 无 | 是 | 树的最大深度 |
| minInfoGain | MIN_INFO_GAIN | | 无 | 是 | 能作为分裂属性的最小信息增益 |
| minInstancePerNode | MIN_INSTANCE_PER_NODE | | 无 | 是 | 每个节点的最小节点数目 |
| impurity | IMPURITY | | 无 | 是 | 分裂准则，如信息增益或者基尼系数 |
## 18.2 DecisionTreePrediction
决策树分类预测
### 18.2.1 port
Inport：默认端口
outport：NonePort
### 18.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 18.3 GBTTraining
GBT模型训练
### 18.3.1 port
Inport：NonePort
outport：默认端口
### 18.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | --------------------- | ------ | ------ | -------- | -------------------------------- |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxBins | MAX_BINS | | 无 | 否 | 连续属性分裂最大数目 |
| maxDepth | MAX_DEPTH | | 无 | 否 | 树的最大深度 |
| minInfoGain | MIN_INFO_GAIN | | 无 | 否 | 能作为分裂属性的最小信息增益 |
| minInstancePerNode | MIN_INSTANCE_PER_NODE | | 无 | 否 | 每个节点的最小节点数目 |
| impurity | IMPURITY | | 无 | 否 | 分裂准则，如信息增益或者基尼系数 |
| subSamplingRate | SUB_SAMPLING_RATE | | 无 | 否 | 每棵子树的数据采样率 |
| lossType | LOSS_TYPE | | 无 | 否 | 损失函数 |
| stepSize | STEP_SIZE | | 无 | 否 | 步长（学习率） |
## 18.4 GBTPrediction
GBT预测
### 18.4.1 port
Inport：默认端口
outport：NonePort
### 18.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 18.5LogisticRegressionTraining
LogisticRegression模型训练
### 18.5.1 port
Inport：NonePort
outport：默认端口
### 18.5.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIter | MAX_ITER | | 无 | 否 | 最大迭代次数 |
| minTol | MIN_TOL | | 无 | 否 | 迭代收敛容差 |
| regParam | REG_PARAM | | 无 | 否 | 正则化 |
| elasticNetParam | ELASTIC_NET_PARAM | | 无 | 否 | |
| threshold | THRESHOLD | | 无 | 否 | 分类 |
| family | FAMILY | | | | |
## 18.6 LogisticRegressionPrediction
LogisticRegression分类预测
### 18.6.1 port
Inport：默认端口
outport：NonePort
### 18.6.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 18.7MultilayerPerceptronTraining
多层神经网络模型训练
### 18.7.1 port
Inport：NonePort
outport：默认端口
### 18.7.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIter | MAX_ITER | | 无 | 否 | 最大迭代次数 |
| minTol | MIN_TOL | | 无 | 否 | 迭代收敛容差 |
| layers | LAYERS | | 无 | 是 | 输出层和输入层层数 |
| threshold | THRESHOLD | | 无 | 是 | 分类概率数组 |
| stepSize | STEP_SIZE | | 无 | 否 | 步长（学习率） |
## 18.8 MultilayerPerceptronPrediction
多层神经网络分类预测
### 18.8.1 port
Inport：默认端口
outport：NonePort
### 18.8.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 18.9NavieBayesTraining
朴素贝叶斯模型训练
### 18.9.1 port
Inport：NonePort
outport：默认端口
### 18.9.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| smooth_value | SMOOTH_VALUE | | 无 | 否 | 平滑因子 |
## 18.10 NavieBayesPrediction
决策树分类预测
### 18.10.1 port
Inport：默认端口
outport：NonePort
### 18.10.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 18.11RandomForestTraining
随机森林分类模型训练
### 18.11.1 port
Inport：NonePort
outport：默认端口
### 18.11.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------------------- | ----------------------- | ------ | ------ | -------- | -------------------------------- |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxBins | MAX_BINS | | 无 | 否 | 连续属性分裂最大数目 |
| maxDepth | MAX_DEPTH | | 无 | 否 | 树的最大深度 |
| minInfoGain | MIN_INFO_GAIN | | 无 | 否 | 能作为分裂属性的最小信息增益 |
| minInstancePerNode | MIN_INSTANCE_PER_NODE | | 无 | 否 | 每个节点的最小节点数目 |
| impurity | IMPURITY | | 无 | 否 | 分裂准则，如信息增益或者基尼系数 |
| subSamplingRate | SUB_SAMPLING_RATE | | 无 | 否 | 每棵子树的数据采样率 |
| featureSubsetStrategy | FEATURE_SUBSET_STRATEGY | | 无 | 否 | 属性选择策略 |
| numTrees | NUM_TREES | | 无 | 否 | 训练子树数目 |
## 18.12 RandomForestPrediction
随机森林分类预测
### 18.12.1 port
Inport：默认端口
outport：NonePort
### 18.12.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
# 11.MechineLearning Clustering
## 19.1BisetingKmeansTraining
BisetingKmeans模型训练
### 19.1.1 port
Inport：NonePort
outport：默认端口
### 19.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIters | MAX_ITERS | | 无 | 否 | 最大迭代次数 |
| k | K | | 无 | 是 | 聚类簇数目 |
## 19.2 BisetingKmeansPrediction
BisetingKmeans预测
### 19.2.1 port
Inport：默认端口
outport：NonePort
### 19.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 19.3GaussianMixtureTraining
混合高斯模型训练
### 19.3.1 port
Inport：NonePort
outport：默认端口
### 19.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIters | MAX_ITERS | | 无 | 否 | 最大迭代次数 |
| k | K | | 无 | 是 | 聚类簇数目 |
| tol | TOL | | 无 | 否 | 迭代收敛误差 |
## 19.4 GaussianMixturePrediction
混合高斯预测
### 19.4.1 port
Inport：默认端口
outport：NonePort
### 19.4.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 19.5KmeansTraining
Kmeans模型训练
### 19.5.1 port
Inport：NonePort
outport：默认端口
### 19.5.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | ------------------ | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIters | MAX_ITERS | | 无 | 否 | 最大迭代次数 |
| k | K | | 无 | 是 | 聚类簇数目 |
| minTol | MIN_TOL | | 无 | 否 | 迭代收敛误差 |
## 19.6 KmeansPrediction
Kmeans聚类预测
### 19.6.1 port
Inport：默认端口
outport：NonePort
### 19.6.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
## 19.7LDATraining
LDA主题模型训练
### 19.7.1 port
Inport：NonePort
outport：默认端口
### 19.7.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------- | -------------------- | ------ | ------ | -------- | ------------ |
| training_data_path | TRAINING_DATA_PATH | “” | 无 | 是 | 训练数据路径 |
| model_save_path | MODEL_SAVE_PATH | | 无 | 是 | 模型保存路径 |
| maxIters | MAX_ITERS | | 无 | 否 | 最大迭代次数 |
| k | K | | 无 | 是 | 聚类簇数目 |
| docConcertration | DOC_CONCERTRATION | | 无 | 否 | |
| topiccConcertration | TOPIC_CCONCERTRATION | | 无 | 否 | |
| checkpointInterval | CHECKPOINT_INTERVAL | | 无 | 是 | |
| optimizer | OPTIMIZER | | 无 | 否 | |
## 19.8 LDAPrediction
LDA聚类预测
### 19.8.1 port
Inport：默认端口
outport：NonePort
### 19.8.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------ |
| test_data_path | TEST_DATA_PATH | “” | 无 | 是 | 测试数据路径 |
| model_path | MODEL_PATH | | 无 | 是 | 模型加载路径 |
# 12.MechineLearning Feature
## 20.1 WordToVec
WordToVec文本向量生成
### 20.1.1 port
Inport：默认
outport：默认端口
### 20.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ----------------- | ------------------- | ------ | ------ | -------- | --------------------------- |
| colName | COL_NAME | “” | 无 | 是 | 要处理的字段名 |
| outputCol | OUTPUT_COL | | 无 | 是 | 输出DataFrame文本向量字段名 |
| maxIter | MAX_ITER | | 无 | 否 | 最大迭代次数 |
| maxSentenceLength | MAX_SENTENCE_LENGTH | | 无 | 否 | 单个句子的最大长度 |
| minCount | MIN_COUNT | | 无 | 否 | 最小词频 |
| numPartitions | NUM_PARTITIONS | | 无 | 否 | |
| stepSize | STEP_SIZE | | 无 | 否 | 步长（学习率） |
| vectorSize | VECTOR_SIZE | | 无 | 否 | 文本向量纬度数目 |
# 13.MongoDB
## 21.1 GetMomgo
读取mongo
### 21.1.1port
inport：
outport：默认端口
### 21.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ----------- | ----------- | ------ | ------ | -------- | ------------- |
| addresses | addresses | “” | 无 | 是 | Mongo地址 |
| credentials | credentials | “” | 无 | 否 | 连接池信息 |
| dataBase | dataBase | “” | 无 | 是 | 数据库 |
| collection | collection | “” | 无 | 是 | 表名 |
| sql | sql | “” | 无 | 否 | 查询的sql语句 |
## 21.2 PutMomgo
写入mongo
### 21.2.1port
inport：默认端口
outport：
### 21.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ----------- | ----------- | ------ | ------ | -------- | ---------- |
| addresses | addresses | “” | 无 | 是 | Mongo地址 |
| credentials | credentials | “” | 无 | 否 | 连接池信息 |
| dataBase | dataBase | “” | 无 | 是 | 数据库 |
| collection | collection | “” | 无 | 是 | 表名 |
# 14.RDF
## 22.1 RDF2DF
将数据分流
### 22.1.1 port
inport：默认端口
outport：任意端口
### 22.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------- | --------------- | -------------------------------- | ------ | -------- | ------------------------------------------------------------ |
| fileName | file name | default | 无 | 否 | File containing all arguments, used as an alternative to supplying all arguments on the command line directly.Each argument can be on a separate line or multiple arguments per line separated by space.Arguments containing spaces needs to be quoted.Supplying other arguments in addition to this file argument is not supported. |
| storeDir | store directory | /data/neo4j-db/database/graph.db | 无 | 是 | Database directory to import into. Must not contain existing database. |
## 22.2 CsvToNeo4J
this stop use linux shell & neo4j-import command to lead CSV file data create/into a database**. T**he neo4j version is 3.0+"
### 22.2.1 port
inport：无端口
outport：无端口
### 22.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------------ | --------------------- | ------------------------------------------------------------ | ---------- | -------- | ------------------------------------------------------------ |
| filePath | inputHDFSFilePath | “” | 无 | 是 | The path of the input rdf file |
| filePath | isFromFront | FALSE | true,false | 是 | identify the file path source(should have same schema) |
| propertyRegex | property regex | <(?<prefix>http:\\/\\/[^>]+\\/)(?<id>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> <(?<pprefix>http:\\/\\/[^>]+\\/)(?<name>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> \"(?<value>.+)\" \\. | 无 | 是 | define the propertyRegex to parse the n3 file's property line "this regex string should be fully named and regula "you need to SPECIFIC five value's name "1.prefix 2.id 3.pprefix 4.name 5.value" + |
| relationshipRegex | relationship regex | <(?<prefix1>http:\\/\\/[^>]+\\/)(?<id1>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> <(?<tprefix>http:\\/\\/[^>]+\\/)(?<type>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)(?<!#type)> <(?<prefix2>http:\\/\\/[^>]+\\/)(?<id2>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> \\. | 无 | 是 | "the form should be like this : "(?<prefix>...?<id>... ?<pprefix>...?<name> ?<value>... "check the default value carefully to knowledge the right structure |
| entityRegex | entity regex | (<(?<prefix>http:\\/\\/[^>]+\\/)(?<id>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> <(?:http:\\/\\/[^>]+\\/)(?:[^\\/][-A-Za-z0-9._#$%^&*!@~]+)(?:#type)> <(?<lprefix>http:\\/\\/[^>]+\\/)(?<label>[^\\/][-A-Za-z0-9._#$%^&*!@~]+)> \\. | 无 | 是 | "the form should be like this : "(?<prefix1>...?<id1>... ?<tprefix>...?<type> ?<prefix2>...?<id2> "check the default value carefully to knowledge the right structure |
| relationshipSchema | relationship's schema | ENTITY_ID:START_ID,role,ENTITY_ID:END_ID,RELATION_TYPE:TYPE | 无 | 是 | "the form should be like this : "(?<prefix>...?<id>... ... ?<lprefix>...?<label> "check the default value carefully to knowledge the right structure |
| entityIdName | entity's id | ENTITY_ID:ID | 无 | 是 | define the id of entity, as a user, "you should ponder the style like \'id\' + :I "make sure your schema looks like the default value |
| entityLabelName | entity's label | ENTITY_TYPE:LABEL | 无 | 是 | define the label of entity, as a user, "you should ponder the style like \'label\' + :LABE "make sure your schema looks like the default value |
# 15.Redis
## 23.1 ReadFromRedis
从Redis读数据
### 23.1.1 port
Inport：默认端口
outport：默认端口
### 23.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | -------------------------- | ------ |
| redis_host | Redis_Host | “” | 无 | 是 | Redis地址 | master |
| Port | Port | | | 是 | 连接redis的端口号 | 7000 |
| password | Password | | 无 | 是 | 连接redis的密码 | 123456 |
| schema | Schema | | 无 | 是 | 要基于key从redis获取的字段 | age |
| Column_name | Column_Name | | | 是 | 此列是从redis获取数据的key | id |
## 23.2 WriteToRedis
向redis写数据
### 23.2.1 port
Inport：默认端口
outport：默认端口
### 23.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ------------------------------- | ------ |
| redis_host | Redis_Host | “” | 无 | 是 | Redis地址 | master |
| port | Port | | | 是 | 连接reids的端口号 | 7000 |
| password | Password | | 无 | 是 | Redis的密码 | 123456 |
| Column_Name | Column_Name | | | 是 | Schema中用作key的字段，必须唯一 | id |
# 16.Script
## 24.1 ExecutorShell
执行shell脚本
### 24.1.1port
inport： 默认端口
outport：默认端口
### 24.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | ---------------------------- | --------------------------------------------- |
| IP | IP | “” | 无 | 是 | 本地文件所在的服务器IP | 127.0.0.1 |
| User | User | “” | 无 | 是 | 本地文件所在的服务器用户 | root |
| PassWord | PassWord | “” | 无 | 是 | 本地文件所在的服务器密码 | 123456 |
| shellString | ShellString | “” | 无 | 是 | Shell脚本，多个脚本以###分隔 | mkdir /work/###cp /opt/1.29.3.tar.gz /work/ |
## 24.2 DataFrameRowParser
根据schema构造DataFrame
### 24.1.1port
inport： 默认端口
outport：默认端口
### 24.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------- | --------- | ------ | ------ | -------- | -------------- |
| Schema | Schema | “” | 无 | 是 | 数据的结构 |
| Separator | Separator | “” | 无 | 是 | Schema的分隔符 |
# 17.Solr
## 25.1 GetSolr
读取solr数据
### 25.1.1 port
inport：默认端口
outport：默认端口
### 25.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------------- | --------------- | ------ | ------ | -------- | ------------------ | --------------------------------------------------- |
| solrURL | solrURL | “” | 无 | 是 | solr地址 | `http://mastet:8886/solr` |
| SolrCollection | SolrCollection | “” | 无 | 是 | Collection名称 | test |
| q | Q | “” | 无 | 否 | 查询字符串 | *:* |
| start | Qtart | “” | 无 | 否 | 结果返回的开始位置 | 1 |
| rows | Rows | “” | 无 | 否 | 返回的结果数 | 10 |
| sortBy | SortBy | “” | 无 | 否 | 排序的字段 | id |
| DescentOrAscend | DescentOrAscend | “” | 无 | 否 | 升序或降序 | Ascend(升序) Descend(降序) |
| fl | FL | “” | 无 | 否 | 指定返回字段 | id,name |
| fq | FQ | “” | 无 | 否 | 过滤条件 | id:[1 To 40] |
| df | DF | “” | 无 | 否 | 默认查询字段 | name |
| indent | Indent | “” | 无 | 否 | 是否缩进 | true\|on(此方式默认数据格式化,不填则显示数据在一行) |
## 25.2 PutSolr
写入Solr
### 25.2.1 port
inport：默认端口
outport：默认端口
### 25.2.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| -------------- | -------------- | ------ | ------ | -------- | -------------- | ------------------------- |
| solrURL | SolrURL | “” | 无 | 是 | solr地址 | `http://mastet:8886/solr` |
| SolrCollection | SolrCollection | “” | 无 | 是 | Collection名称 | test |
# 18.XML
## 26.1 XmlParser
解析xml文件
### 26.1.1 port
inport：默认端口
outport：默认端口
### 26.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------- | -------- | ------ | ------ | -------- | ----------------- | -------------------------------------- |
| xmlpath | Xmlpath | “” | 无 | 是 | Xml文件路径 | `hdfs://master:8020/work/test/xml.xml` |
| rowTag | RowTag | “” | 无 | 是 | 解析的xml文件标签 | name |
## 26.2 XmlParserColumns
解析上游数据中列中的xml数据,写入DateFrame
### 26.2.1port
inport：默认端口
outport：默认端口
### 26.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------------ | ------------ | ------ | ------ | -------- | --------------- | -------- |
| `xmlColumns` | `XmlColumns` | “” | 无 | 是 | 解析包含xml的列 | test_xml |
## 26.3 XmlParserFolder
解析xml文件夹
### 26.3.1 port
inport：默认端口
outport：默认端口
### 26.3.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ------- | -------- | ------ | ------ | -------- | ----------------- | ----------------------------------- |
| xmlpath | Xmlpath | “” | 无 | 是 | Xml文件夹路径 | `hdfs://master:8020/work/test/xml/` |
| rowTag | RowTag | “” | 无 | 是 | 解析xml文件的标签 | id,name |
## 26.4 XmlStringParser
解析xml字符串
### 26.4.1port
inport：默认端口
outport：默认端口
### 26.4.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| --------- | --------- | ------ | ------ | -------- | ------------ | ------------------------------------------------------------ |
| xmlString | XmlString | “” | 无 | 是 | Xml字符串 | `<sites>\n <site>\n <name>菜鸟教程</name>\n <url>www.runoob.com</url>\n </site>\n <site>\n <name>Google</name>\n <url>www.google.com</url>\n </site>\n <site>\n <name>淘宝</name>\n <url>www.taobao.com</url>\n </site>\n</sites>` |
| label | Label | “” | 无 | 是 | 标签路径 | `sites,site` |
| schema | Schema | “” | 无 | 是 | 解析的标签名 | name,url |
## 26.5 XmlSave
保存xml文件
### 26.5.1port
inport：默认端口
outport：默认端口
### 26.5.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 | 例子 |
| ----------- | ----------- | ------ | ------ | -------- | --------------- | -------------------------------------- |
| xmlSavePath | XmlSavePath | “” | 无 | 是 | Xml文件保存路径 | `hdfs://master:8020/work/test/test.xm` |
# 19.Streaming
## 28.1 FlumeStream
获取flume的实时流数据
### 28.1.1port
inport：
outport：默认端口
### 28.1.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------- | ------------- | ------ | ------ | -------- | ------------------ |
| hostname | hostname | “” | 无 | 是 | Avro 主机host名 |
| Port | Port | “” | 无 | 是 | Avro主机端口 |
| batchDuration | batchDuration | “” | 无 | 否 | 获取数据的时间间隔 |
| | | | | | |
## 28.2 KafkaStream
获取kafka的实时流数据
### 28.2.1port
inport：
outport：默认端口
### 28.2.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------- | ------------- | ------ | ------ | -------- | ------------------------- |
| Brokers | Brokers | “” | 无 | 是 | Kafka brokers,以逗号分隔 |
| groupId | Port | “” | 无 | 是 | Kafka consumer group |
| Topics | Topics | “” | 无 | 否 | Kafka topic名，以逗号分割 |
| batchDuration | batchDuration | “” | 无 | 否 | 获取数据的时间间隔 |
## 28.3 SocketTextStream
获取sokcet的实时流数据
### 28.3.1port
inport：
outport：默认端口
### 28.3.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------- | ------------- | ------ | ------ | -------- | ------------------ |
| hostname | hostname | “” | 无 | 是 | socket 主机host名 |
| Port | Port | “” | 无 | 是 | socket主机端口 |
| batchDuration | batchDuration | “” | 无 | 否 | 获取数据的时间间隔 |
| | | | | | |
## 28.4 SocketTextStreamByWindow
获取sokcet的实时窗口流数据
### 28.3.1port
inport：
outport：默认端口
### 28.3.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------------- | -------------- | ------ | ------ | -------- | ------------------ |
| hostname | hostname | “” | 无 | 是 | socket 主机host名 |
| Port | Port | “” | 无 | 是 | socket主机端口 |
| batchDuration | batchDuration | “” | 无 | 否 | 获取数据的时间间隔 |
| windowDuration | windowDuration | “” | 无 | 是 | 窗口时间 |
| SlideDuration | SlideDuration | “” | 无 | 是 | 滑动窗口 |
## 28.5 TextFileStream
获取text file的实时流数据
### 28.5.1port
inport：
outport：默认端口
### 28.5.2properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------------- | ------------- | ------ | ------ | -------- | ------------------ |
| Directory | Directory | “” | 无 | 是 | 文件夹路径 |
| batchDuration | batchDuration | “” | 无 | 否 | 获取数据的时间间隔 |
| | | | | | |
| | | | | | |
# 28 Excel
## 28.1 excelParse
解析excel （xls ，xlsx）数据
### 28.1.1 port
inport：默认端口
outport：默认端口
### 28.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| --------- | --------- | ------ | ------ | -------- | ------------- |
| CachePath | CachePath | | 无 | 是 | Json 保存路径 |
# 28 graphx
## 28.1 LabelPropagation
计算子图
### 28.1.1 port
inport：默认端口
outport：默认端口
### 28.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| ------- | -------- | ------ | ------ | -------- | ---- |
| maxIter | maxIter | | 无 | 是 | |
## 28.2 LoadGraph
构建图
### 28.1.1 port
inport：默认端口
outport：默认端口
### 28.1.2 properties
| 名称 | 展示名称 | 默认值 | 允许值 | 是否必填 | 描述 |
| -------- | -------- | ------ | ------ | -------- | ---- |
| dataPath | dataPath | | 无 | 是 | |
Reference in New Issue View Git Blame Copy Permalink