南京線網指揮中心,是首個採用MPP+HADOOP混搭架構搭建的線網大數據指揮中心。藉助圣淘沙名胜世界大數據應用平台以及大數據技術、物聯網及數據挖掘技術,建設的大數據平台,旨在提升南京地鐵線網的安全性、可靠性及服務水平,實現多線路之間的互相配合。並作為南京地鐵各線路的協調、應急指揮中心,負責協調不同線路的控制中心,與控制中心系統互聯、互通,實現對各線路的綜合監視和協調,為乘客提供更優質的服務。此大數據平台建設依託南京市軌道交通網絡運營控制中心各線路OCC(含信號、綜合監控、視頻監控等系統)、ACC等業務平台系統及其他業務系統,結合網絡化運營管理和分析決策需要,對軌道交通全線網的客流、行車、設備等數據進行分析、挖掘,滿足NCC對於線網運營監控及協調管理、運營生產評估、指標分析、應急處置、客流預測、信息服務、運輸計劃優化評估等多種需求。
該平台使用KAFKA進行實時數據採集與分發,離線數據通過DATASTAGE進行採集, ETL任務通過SEQUENCE序列作業調度加載數據到MPP。HADOOP主要對實時數據、歷史數據、非結構化數據存儲,MPP存儲即時性和指標以及報表數據。MPP與Hadoop是通過ETL工具組件File Connector / Big Data File或者CDC進行數據互通的。
應用系統截圖: