金融行业数据文件推送架构的选择?

金融业务中推数和拉数的场景很多,尤其是跨业务,跨平台等情况,请教一下要如何设计一个数据中转平台,既能保证数据传输的效率,又要保证中转平台的健壮性?如果选用ftp集群,采用什么样的存储架构更优? 是NAS 还是 主机集群?或者其他架构?...显示全部

金融业务中推数和拉数的场景很多,尤其是跨业务,跨平台等情况,请教一下要如何设计一个数据中转平台,既能保证数据传输的效率,又要保证中转平台的健壮性?
如果选用ftp集群,采用什么样的存储架构更优? 是NAS 还是 主机集群?或者其他架构?

收起
参与12

查看其它 2 个回答jeko的回答

jekojeko系统工程师某省农信

数据文件跨平台的推送也是数据中心里面一个典型的文件共享存储场景。通常是数据中心会有一个数仓平台,负责采集各个业务平台的供述然后进行批处理,处理结束之后把数据存储在共享存储介质上,由其他需要的业务平台来读取。
对于我行,数仓平台经历过数整系统、ODS 系统到现在的大数据平台,它们每日处理的数据结果提供到其他业务平台使用,采用的是NAS作为共享存储平台。
采用NAS方案有几个优点,第一,批处理结果直接存储到NAS文件系统目录中,其他业务系统直接到对应目录下读取,应用程序无需特殊改造。第二,大量文件存储是比较适合NAS方案的。第三,NAS的双活等高可用架构可以使用存储架构的稳定和安全。
当然也有几个地方需要注意:第一是NAS文件系统多个系统访问,需要设计好文件目录宿主和权限;第二,对于NAS服务端的带宽设计需要足够大,建议采用4-8个10Ge端口绑定。

银行 · 2022-11-09
浏览770

回答者

jeko
jeko3825
系统工程师某省农信
擅长领域: 存储灾备服务器

jeko 最近回答过的问题

回答状态

  • 发布时间:2022-11-09
  • 关注会员:4 人
  • 回答浏览:770
  • X社区推广