大數據實驗平台是彩神V大數據為高校開設大數據相關專業而研發的實驗實訓平台，它融合了代表性的大數據平台、大數據編程語言、數據挖掘與大數據分析方向相關課程、實訓、案例實戰等內容,培養學生的實戰動手能力，從而適應大數據分析、大數據治理、大數據運維、大數據開發、大數據建模、大數據可視化等工作崗位需求。
產品介紹
產品特性
平台通過雲計算技術對計算、存儲、網絡等資源進行統一的管理和調度， 支持容器虛擬化技術，支持私有化部署，支持課程、實驗、用戶、資源等管理功能。通過平台，老師可以一鍵搭建實驗環境，在線跟蹤學生實驗進展，並進行在線學習診斷.學生可以直接通過瀏覽器訪問平台，根據指南在線做實驗、寫報告，無需配置繁瑣的本地環境。結合大數據就業環境、崗位模型、企業人才需求，設置了本科應用型、本科研究型、高職三大課程體係，並全麵支撐計算機、大數據、金融、應用數學、統計以及電子商務等專業建設。
產品架構
大數據實驗平台包括底層的分布式軟硬件環境和支撐教學和實驗資源。硬件通過高速網絡連接多台x86服務器構建集群計算環境;底層軟件采用容器技術，將有限的物理服務器虛擬出大量的虛擬服務器，從而提供充足的實驗計算資源;平台集成多種主流大數據平台、分析框架和挖掘算法。平台可以快速批量搭建開展大數據實驗所需的運行環境以及應用環境，實現大數據實驗要求的分布式計算實驗環境，並可以實現實驗環境的隔離;提供多個行業的實戰案例資源包，內含項目數據、代碼以及配套實驗手冊，並提供真實應用案例的實踐，實現理論教學與企業需求無縫銜接。
產品優勢
完善的平台支撐
平台底層采用分布式架構，安全穩定、方便擴展。可以靈活配置實驗環境資源，直觀清晰地管理虛擬環境，支持負載均衡多用戶並發，在實驗人數較多情況下保證平台運行流暢，高效開展實驗教學。
豐富的軟件框架
覆蓋主流的大數據挖掘、分析框架一- Hadoop. Spark、 Kafka、 Storm、Hive、 HBase、Zookeeper等
個性化的實驗環境
用戶可自行創建個性化的實驗環境。在物理資源允許的情況下，可對其進行資源配置,動態調整CPU數量、節點個數及內存大小。
多樣化的開發環境
平台提供多種在線編程環境，如基於命令行的WebSSH和基於界麵操作的JupyterLab、VSCode，同時提供“-鍵搭建”功能，可快速部署實驗需要的組件,提高實驗教學效率。
完整的課程體係
以新工科要求為導向，以行業崗位要求為目標，麵向大數據管理與應用、數據科學與大數據技術、環保、金融、交通等相關交叉學科，應用於教學實踐、項目實訓，覆蓋數據采集、數據管理、數據挖掘多個技術路徑。
配套大數據教材
由南京彩神V大數據總裁劉鵬教授主編，聯合全國高校老師和彩神V大數據工程師共同編寫，形成完整的大數據高級人才和應用人才教材體係，分別在電子工業出版社和清華大學出版社出版，配套實驗體係建立了完整的理論教學體係，被國內數百所高校采用。其中，《雲計算》 在中國知網高被引圖書排行榜上被引用次數比第二名高出一倍以上。
豐富的實驗內容
基於企業級項目案例編製的實驗，涵蓋幾十種典型分析場景，讓學生了解行業最新技術與應用場景，通過實戰演練提升學生解決實際問題的能力。
每個實驗包含詳細的實驗目的、要求、原理、步驟等內容，配套相應的實驗數據，用戶參照實驗手冊即可輕鬆完成實驗。重要實驗提供實驗操作講解視頻，可進一步 降低用戶學習大數據的門檻。
- Linux係統實驗:包括常用基本命令、文件操作、sed. awk、 文本編輯器vi、grep等。
- Python語 言編程實驗:包括流程控製、列表和元組、文件操作、正則表達式、字符串、字典等。
- R語言編程實驗:包括流程控製、文件操作、數據幀、因子操作、函數、線性回歸等。
- 大數據處理技術實驗:包括HDFS實驗、YARN實驗、MapReduce實驗、Hive實驗、Spark實驗、Zookeeper實驗、HBase實驗、Storm實驗等 。
- 數據采集實驗:包括網絡爬蟲原理、爬蟲之協程異步、爬取豆瓣電影信息、爬取豆瓣圖書Top250、爬取雙色球開獎信息等。
- 數據清洗實驗:包括Excel數據清洗常用函數、Excel數據分裂、Excel|快速定 位和填充、住房數據清洗、客戶簽到數據的清洗轉換、數據脫敏等。
- 數據標注實驗:包括標注工具的安裝與基礎操作、車牌夜晚環境標框標注、車牌日常環境標框標注、不完整車牌標框標注、行人標框標注、物品分類標注等。
- 數據分析及可視化實驗:包括Jupyter Lab、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。
- 數據挖掘實驗: 包括決策樹分類、樸素貝葉斯分類、K最近鄰分類、支持向量機分類、K- -means聚類等。
- 金融大數據實驗: 包括時間序列分析、金融風險管理、預測股票走勢、中美實時貨幣轉換、航空公司客戶價值分析等。
- 電商大數據實驗:包括基於基站定位數據的商圈分析、員工離職預測、數據分析、電商產品評論數據情感分 析、電商打折套路解析等。
- 數理統計實驗:包括高級數據管理、基本統計分析、回歸、方差分析、功效分析、中級繪圖等。
- 科研環境數據:包括提供多種多樣的科研環境，包括科研所需要的人臉數據、交通數據、環保數據、傳感器 數據、圖片數據等。
教學支撐
平台提供實驗數據、實驗管理、課程管理、項目實戰、考試等功能模塊，支撐備課、授課、作業等場景，覆蓋課前、課中和課後各環節，通過動態化過程數據分析，實現學生學習質量的全麵掌控。
課程編排
平台提供了多個技術方向的推薦課程供用戶直接使用，也提供用戶自主進行編排課程。幫助老師快速備課教學的同時，也能兼顧其個性化、差異化的教學需求。
測評模塊
- 支持學生在線實驗與實驗報告在線編寫，支持報告在線比對查重;
- 支持實驗完成情況自動統計並生成報告，支持在線批閱自動留痕。
考試模塊
- 支持按題型、知識點等多種方式自動組卷;
- 提供選擇、填空、判斷、簡答、編程等上千道試題，試題內容緊扣實驗;
- 實時監控考試情況，多種反作弊技術;
- 支持在線批閱試卷，多種題型可自動判分。
項目實訓
項目實訓包含了物聯網、車聯網以及金融等多個行業的真實案例，平台提供標準企業開發環境以及完整的實訓指導，學生在項目環境中進行實踐，感受項目開發全過程,培養學生麵對實際問題的處理能力與項目責任感，提升學生實踐能力以及對企業項目的初步認識。
賽事支撐
支持大數據省賽專業服務，已成功多次支撐山西、山東等省級大數據技術與應用技術大賽。與國賽大數據比賽無縫對接，提供多套競賽環境、比賽試題和數據集供學生使用。
