【分享吧】日本交易所集团考虑增设Data Lakes数据库

Data lake是大数据时代发展起来的一种数据存储架构，它的核心思想是把不同结构的数据统一存储，使不同数据有一致的存储方式，在使用时方便连接，真正解决数据集成问题。
随着日本交易所收集和发布的数据量日见增多，包含越来越多的新数据类型，这些数据类型与“传统”的市场数据结构不相符合，因此很多交易所重新考虑发挥出Data Lakes的潜力，Data Lakes能以最为有效的方式来存储和展现大量的结构化和非结构化数据。日本交易所集团目前正在研究Data Lakes的作用，以期借助Data Lakes来提高其专有数据的价值。
DataLakes是集中式的数据库，可以非格式化存储数据，且无需人员监管。通过运用DataLakes，公司可以同时进行不同的分析，并运行机器学习的应用程序。若使用得当，DataLakes可以在很大程度上帮助公司存储和管理数据库，尤其是在测试或研发新产品时，DataLakes将发挥出很大的作用。这一点对于日本交易所集团来说很有吸引力，交易所目前正在考虑运用DataLakes来提高存储和管理数据库的效率。交易所目前只设有数据库，尚未具备可以输入所有数据的Data Lakes或数据池，正在考虑建立但还未实现这一目标。
目前数据库以不同于Data Lakes的方式存储结构化数据，在处理业务时对数据进行重组，并确定数据源的分析方式。在明确数据类型、数据作用之后，才能将数据传输至数据库中。
德勤咨询公司将Data Lakes分为三个区域，即数据加载区域、用户访问和安全限定区域、良好的用户使用环境创设区域。第一区域是由原始的、未经过转化的数据源构成的。第二区域是数据沙盒，数据可以进行粗略加工、筛选、组合，可以用于进一步研究和分析。第三区域是由经过精细加工的数据构成的，这类数据可以直接存储在数据库中或是经过完善以供分析。
日本交易所集团目前正在替换其内部系统，数据汇总系统是其中的一项。交易所表示：“我们正在设立一个能够为数据应用提供便利的系统，希望新建系统能够与其他的系统实现完美对接。与其他机构一样，日本交易所集团正尝试着从已有数据中获得更多的价值，以期更好地满足客户和市场参与者的需求。与此同时，人工智能和机器学习技术变得日益复杂。面对目前的状况，我们相信在未来数据的利用率会有所提高，日本交易所集团拥有不同类型的数据，因此我觉得我们现在需要考虑的问题是将何种类型的数据增添至原始数据中。”
虽然日本交易所集团看到数据带来的机会并在考虑扩展其数据业务的方式，但具体的实施步骤还尚未确定。
同时交易所表示：“人们都在抢占数据业务，在我看来，日本交易所集团未来会扩展其数据业务，开发数据潜力。我们现阶段在做的是提供简单的原始数据，比如股票价格和交易量。我们需要进一步思考的问题是如何令数据更具价值、如何把握客户的数据需求，将我们的数据售卖给客户。这也意味着日本交易所集团需要将一部分精力投入到人工智能技术研发中，以便过滤和筛选出必要数据。”