数据采集组件

考虑到未来信息化的发展及计算机科学技术的发展，大数据管控平台可以支撑无线数据、有线数据的向后适配性全量、增量采集。目前能够支持设备数据采集、业务系统数据采集、互联网数据采集等。

1)  设备数据采集

高校中网络设备每时每刻都在产生着大量非结构化或半结构化数据，如上网日志、身份认证日志、无线AP的日志和URL日志等,数据采集组件可以对以上数据进行设备数据采集，同时也涵盖无线AP对终端位置探测数据采集。

2)  业务数据采集

学校的一卡通系统、学工系统、门禁系统、教务系统、科研系统和图书馆系统等业务数据分散地存储在各个厂商系统的数据库中。使用数据采集组件，可以对接几乎所有主流的关系型数据库，如MySQL、MS SQL Server、Oracle、IBM DB2等。

3) 互联网数据采集

互联网中存在的大量非结构化数据，本方案中采用分布式的网络爬虫方案，可以快速实时地从互联网爬取URL分类、APP分类等信息，通过爬虫将所需信息如URL分类、APP分类获取下来作为类库集。

大数据基础平台

针对高校信息化的快速发展，随之产生的各种数据暴涨，如无线数据、上网数据、部分业务数据等，要求大数据解决方案必须提供可灵活扩展的存储能力，并为之配套高性能的分析能力。

采用分布式存储架构，集群化部署方式，能够平滑升级，通过增加节点数量实现性能提升，实现结构化数据和非结构化数据差异化处理，整体实现统一的运维管理入口。平台采用B/S架构，支持主流Linux系统上运行；支持R、Python、Scala、Java等主流编程语言；支持Mysql、SqlServer、Oracle、NoSql、MogonDB、Redis、Hbase等数据库。支持节点在线扩展，不中断当前系统的运行，提升性能线性。

提供MapReduce、Spark、Storm等多种计算框架，离线计算、内存计算和流式计算并存，满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。提供机器学习算法库，包含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。通过大数据平台的深度挖掘和关联分析，为全校师生员工及各部门、各学院提供数据服务以及综合数据分析服务。支持R 语言进行数据分析,支持传统SQL 、Hive 、Spark 进行数据分析。

平台提供WEB图形化界面实现集群的管理和监控，集群节点的运行状态都能在界面上显示，能够监控节点CPU利用率均值及峰值、内存容量及其利用率、物理机磁盘使用情况等；提供集群管理界面：能够支持新增集群，集群启动、停止等操作；集群配置、扩展主机、集群检查。

通过集群HA切换、数据冗余备份、应用及采集组件互备支撑稳定性。集群主节点任意一台宕机，集群切换后均不影响数据的存储及分析任务的运行（通过CM是否正常访问和任务是否正常运行验收）；集群存储计算节点任意一台宕机，均不影响数据的存储及分析任务的提交运行。以保证整个方案的稳定。

控制外部用户或者第三方服务对集群的访问过程中的身份鉴别，以实施大数据平台安全架构的基??；用户在访问启用了安全认证的集群时，能通过服务所需要的安全认证方式访问，保障平台的安全性。

大数据平台集群支持通过网络平面隔离的方式保证网络安全，严格控制试用端口。

大数据平台使用多种手段保证数据在传输过程中的安全性，包括采用安全接口设计及高安全的数据传输协议，保证在通过接口访问、处理、传输数据时的安全性，避免数据被非法访问、窃听或旁路嗅探等。

无线大数据分析应用

●校园人身安全分析应用

学生综合行为数据分析服务是利用大数据分析，对学生各种行为进行关联分析和深度挖掘，从而实现对学生行为的分析判断、综合展示以及预警提示等方面的服务。

首先，对学生行为相关的全部主题数据进行采集和整理；其次，与学生工作部门共同划定学生异常行为特征属性；然后，利用大数据平台上的分析工具和手段，对所有数据进行关联分析，从海量数据中判读异常行为并将其抓取出来，展示给相关使用者，必要时还进行主动提醒；最后，还可深度剖析和规划预警模型及机制，并不断迭代和完善，使之更加合理和实用。

采集学生在校行为的全部相关数据，包括业务系统数据（学工、人事、教务、一卡通、图书管理系统、图书馆门禁、公寓门禁等所有学生相关的业务系统）、无线网上网日志数据、URL日志数据等，挖掘行为异常学生并及时告警，使学校及时掌握学生动态，为学生精准化管理与服务提供有效工具支撑。至少包括但不限于如下行为的分析、预警及展示。

（1）RG-iData-失联分析预警

为校管理层提供整个学校、各学院、年级的学生疑似失联、确认失联情况，并展示疑似失联和确认失联学生最后在校内出现的位置；同时提供疑似失联学生详细信息及其朋友圈信息供负责人确认核对功能；为学校提供学生管理智能化工具，提升管理效率。

（2）RG-iData-高校轨迹跟踪

基于高校建设的Wi-Fi网络，感知移动终端的轨迹情况，结合学校的校务信息，能够提供对学生手机号，MAC，学号进行轨迹跟踪及查询，根据终端真实移动轨?；嬷瞥鲋斩嗽谛Ｇ诟鞲鼋ㄖ涞恼媸倒旒?，支持异常人员的轨迹追踪，同时支持历史六个月内任意一天的轨迹查询跟踪，并能够自动找出失联人员提供失联前的轨迹情况。

（3）RG-iData-高校迁徙路径

支持对学校的学生终端位置定位，可以根据手机号，MAC,姓名，学号查询最新出现位置；能够对整个学校的学生群体迁徙变化情况进行呈现，并支持对不同学院人群的迁徙路径跟踪。

（4）RG-iData-高校区域分布观察

可以查看整个学校的学生热力分布情况，并支持动态观察，支持六个月内热力分布情况回放；能够洞察整个学校的接入终端数量、公共资源平均使用率分析，监控校园区域的密集情况及对应的院系、年级、班级分布情况，通过数据接口提供实时数据提供第三方落地区域预警。

●校园安全事件监控

通过大数据平台的分析和挖掘，将综合数据以全景式的方式展现出来，给学校各职能部门或相关领导使用，为相关决策提供数据支撑。以学校现有数据为基础，利用大数据从不同场景、不同维度进行校园安全数据综合统计分析、关联分析及深度挖掘。

（1） RG-iData-陌生访客识别监控

实现整个学校的访客和异常访客情况及对应的趋势分析，分类整个校园的较常出现，频繁出现的访客和异常驻留访客情况；反馈校园的异常访客比；同时获取各区域正常访客和异常驻留访客情况；辅助支持校园安全管理决策，更好的为学校安全提供服务。

●校园无线上网行为分析

通过对上网行为数据分析学生上网习惯、上网偏好、上网时长、关注内容等，提炼异常上网行为进行分类整理分析,如Wi-Fi使用分析、上网沉迷分析、上网过度分析、网贷分析、非法访问信息分析等。

（1） RG-iData-Wi-Fi使用分析

呈现整个校园Wi-Fi的师生使用人数及趋势；展示师生使用Wi-Fi访问的内容，对应的人数及占比情况；同时地图方式呈现各个区域的Wi-Fi服务人数、服务人次、使用率、覆盖率和使用占比等信息。

（2） RG-iData-上网沉迷分析

提供整个学校处于上网沉迷状态人员概况及对应的趋势分析，同时提供学院沉迷情况、各年级沉迷情况以及上网沉迷内容对应学生人数，辅助学校更好的规范学校学生上网行为。

（3） RG-iData-网络借贷分析

支持整个校园的关注学生、涉及学生的人数分析及对应的趋势；支持学院的学生借贷情况及各个年级的学生借贷关注及涉及情况分析；反馈各类借贷产品在学校师生的覆盖情况，从学校、学院、年级角度反映总体情况给管理层判断决策，及时介入，从源头上做控制。

●教学管理辅助

（1）RG-iData-教学考勤辅助

基于学校建设的Wi-Fi网络，感知学校学生终端实时分布，能够根据学校校务数据的课程安排信息，自动统计整个学校到课率情况及趋势，同时支持统计各个学院、班级及课程的课程学生到课率情况；可以分析查看学院到课排行情况，各年级的到课排行情况及优秀top10课程情况；支持教学管理调整安排数据支撑。

部署方案

图  RG-iData部署拓扑图