Windows server使用winscp软件 自动化对接市平台非结构化数据—by罗群
1.需求来源
区水务局向市平台申请了“智能网格”非结构化数据,大数据中心作为中转站,需要实现从市平台归集非结构化数据,同时向区水务局共享数据。
2.实现思路
实现思路分为2步骤:
1、实现自动化每天从市平台获取结构化数据;
2、配置ftp服务端,让水务局可以访问到我们从市平台拿到的数据。
3.非结构化归集实现配置
3.1.安装winscp软件
经过多次测试,直接使用Windows ftp功能,无法直接下载数据。使用winscp软件作为中间件,下载文件。
安装winscp软件(下载链接:https://pc.qq.com/search.html#!keyword=winscp)
3.2.配置服务脚本
winscp.exe /console /command "option batch continue" "option confirm off" "open ftp://用户名:密码@xx.xx.xxx.xxx:端口" "option transfer binary" "get /2024 D:\ftp_server\ftp_swj\znwg\2024" "exit"
3.3.设置定时任务
1、在任务计划程序中新建任务,依次选择 "创建基本任务",填写新任务的名称和描述
2、选择任务的触发器(Trigger),即定时执行的时间间隔。在 "触发器" 页面点击 "新建",选择 "每小时" 并设置具体的时间点或时间间隔。完成之后点击下一步
3、选择任务的操作(Action),即需要执行的批处理脚本。在 "操作" 页面点击 "新建",选择 "启动程序" 并指定批处理脚本的完整路径
4、完成任务计划的设置,单击 "完成" 提交更改
至此已经配置了每天中午去自动下载市平台相应文件夹内容,此脚本可以进一步优化,例如添加日期参数,实现只传输新增内容。
4.非结构化共享实现配置
**4.1.安装服务
4.2.安装iss服务**
1、添加IIS角色 > 选择 “左下角开始” > 服务器管理器”, 单击“添加角色和功能”
2、选择下一步
3、继续下一步

4、选择“Web服务器(IIS)”,点击“添加功能”,然后点击下一步;

5、选择ftp服务
6、选择安装,安装完成后,点击关闭,至此IIS安装完毕
4.3.配置ftp服务
1、添加FTP站点,选择“开始 > Windows管理工具”,打开IIS管理器,选择“网站”,右击“添加FTP站点”
2、设置站点名称和站点目录;
3、绑定IP地址保持默认即可,SSL选择:“无SSL”,端口可以修改成4位数字,防止使用默认端口带来的高风险
4、身份验证和授权配置,至此FTP站点添加完毕。
身份验证这里选择了“基本”意思是需要用户提供有效用户名和密码才能访问内容。
如果选择匿名,则是允许任何仅提供用户名 “anonymous” 或 “FTP” 的用户访问内容。
授权这里选择了指定用户,仅指定的用户才能访问相应内容,这个指定用户见第二步中添加的用户;
5、添加用于登录FTP站点的用户,如果你的FTP站点是完全对外开放的,可以不创建用户,匿名登录即可;
选择“开始 > Windows管理工具”,打开“计算机管理”;选择“系统用户 > 本地用户和组 > 用户”,在右侧空白处右击,选择“新用户”,设置用户名、密码,点击创建即可,至此FTP登录用户添加完毕。
6、设置FTP站点根目录访问权限,打开FTP文件夹属性,选择“安全”,点击“编辑”;
7、点击“添加”>选择指定用户 >点击“高级”>点击“立即查找”,选择FTP用户,点击“确定”
8、设置FTPuser对FTP目录的权限为完全控制或者(给读取相关权限即可,防止ftp用户删除数据),至此FTP站点根目录访问权限设置完毕