铁路十八点统计系统依据铁路旅客运输统计范围,以乘车日期来进行速报统计,在铁路运输组织管理中发挥着重要的基础性作用。报表查询主要针对18点旅客票款收入数据,传统方式通过数据库进行计算,采用 Excel 表分别制作总表、车站表、车次表、城际表,并于每天 18 点进行汇报,查询过程根据实际需求人工制定查询条件,存在数据计算较慢、报表响应时间较长、操作较为繁琐等问题。
客票收入速报查询分析系统运用HIVE+Spark大数据技术,结合类 SQL 开发、可扩展、可离线处理等 HIVE 优点,以及Spark内存计算。 提升了旅客票款当日数据计算速率,实现了加快计算存根数据、自动生成每日报表,前端展现报表结果,灵活查询报表数据等目的。
采用了 snappydata 替换 hdfs 以及 hive 进行数据存储和处理。
应用效果
数据存储与计算直接下压到 snappydata/spark 集群,进一步利用了 spark内存计算的优势;
历史数据导出到 Hadoop 集群,不占用过多 snappydata 资源;
实时展现报表结果;
地图及图表多形式报表数据展现