運維中的數據運營“數據的認識和應用

2017-12-19 20:25:54 運維網咖社　點擊量：評論 (0)

基于一線工作中的積累和認識，早就想寫一篇數據題材的文章了，因為各種事情一直拖了又拖，其實就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個字，悔透了上學時沒好好背書沒

基于一線工作中的積累和認識，早就想寫一篇數據題材的文章了，因為各種事情一直拖了又拖，其實就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個字，悔透了上學時沒好好背書沒好好看文學巨著，各位朋友一定要以我為鑒，好了轉入正題。
  隨著行業的發展，運維職能在發生微妙的變化，現在談何為運維，其實運維在我看來更像是技術運營，通過運營的方式技術的手段牽頭協同各部門來保證產品的SLA（服務質量），控制產品的成本和可管理性。作為技術運營來說，最重要的是拿到各種信息來描述產品的各種指標，也就是通過數據將產品的形態畫出來，然后通過這些指標形成合理的產品決策和戰略方案建議，那么這么信息從哪里來呢，不錯，就是從數據中來，所以產品中數據的應用是運維工作中最重要的一環。
  一個產品在運行中會產生各種數據，而產品的健康情況、業務指標就藏在這些海量的數據里，數據通過匯聚整理形成有組織的信息，這些信息服務于運維就是監控告警、異常檢測、apm等，服務于業務部門就是DAU、PV、UV等各種運營指標，服務于老板就用于公司決策，繼續對這些信息進行歸納總結形成知識，對處理方式進行歸納總結形成經驗，對經驗抽象總結形成方法論也就是規律。現在是概念橫飛的時代，為了展現技術的先進，什么熱炒什么，但作為一個一線的從業者還是要剖開表象看本質，對于事物的認識必將經歷知道、不知道、再知道和簡單、復雜再簡單的過程，到了第三個階段可以說是真正知道了，PS現在熱炒的機器學習等說到底其實就是改變在某一個點的數據處理操作，不要把它神化了。
  回歸到“運維中的數據應用”的主題，我認為數據應用中最重要的有三個環節：采數據、管數據、用數據，其中偏技術能力的是采數據、管數據，比如說從海量數據里實時匯聚計算出有用的數據按照特定條件發送給相關人，1G、2G的數據好處理，但是1T、2T數據的實時處理就是個技術工作了，這也是考驗運維人員技術能力的一個點，而用數據更多的是業務能力，業務場景的建模。在運維工作中，我們將服務器的CPU、內存、IO、網絡等基礎指標進行采集，對業務日志進行采集，對依賴資源的健康情況進行采集，形成一個龐大的基礎數據源，對這些數據進行實時收斂畫成曲線就形成了監控，對監控繼續收斂將一些能反應業務健康指標的項提煉出來并加上觸發器就形成了告警，這些監控和告警都是需要管理的，因此就誕生了監控告警管理系統，但是有了監控告警并不能根本解決問題，你還需要看到一些詳細的信息，就有了日志分析系統........自然而然的一環扣一環的發展。
  現在再看運維中的數據應用是什么？采集服務器上的數據，通過不同維度的收斂聚合做成實時監控圖像，再針對不同的指標添加觸發器形成告警，告警的同時附上數據分析報告形成告警分析，為了提前預防故障，將還沒有形成故障的產品薄弱點做成異常檢測分析報告定期發送預警，為了根因排查必須做到可以隨時查詢詳細日志，還需要通過SDK等將代碼內部執行層面數據收集起來進行性能分析，通過采集數據中各種指標的計算又形成了容量評估，這些對有故障時流量的調度也提供依據，總而言之產品運行的數據為一切的問題定位和實際操作提供了數據支撐，這些都是運維中數據應用。那么問題來了，怎么做？這就是運維層面的技術方案了，每個環節都對應有不同的工具，工具可能會變，但其中的道理是不會變化的，所謂道法自然而術變萬千。例如說我現在使用的一個運維數據方案，如下：

數據的采管用.png