Apache NiFi是很多的編程的人員都是經常的使用到的一款數據處理和分發系統,專業的處理大量的數據問題的,可以提供指示圖的數據路由、轉換和系統中介邏輯。
apache nifi使用教程
組件一般來說分為service 和processor 咱們先來說以下新建一個processor
總的來說分兩步 1.組件功能開發,2組件聲明(向外暴露)
組件功能開發,在xxx--xxx-processors 新建工程類xxxx.Java
功能組件總的來說 也分為三個部分
a. 外界參數聲明 2,輸出關系聲明 3,數據流觸發操作
a.外界參數說明
如果我們的組件需要和外界做交互,需要外部傳入參數那么就需要做參數聲明
通過這種方式聲明一個參數,nifi 自身提供了比較多的驗證器 可以對參數做約束驗證 大家自己看著玩
參數定義之后需要向外部暴露,需要重寫getSupportedPropertyDescriptors 方法
nifi 還支持動態增加屬性
Apache NiFi版本更新內容
核心框架的改進
集群管理邏輯已經穩定和改進,以更好地支持zero-master集群。例如,恢復時間快現在我們不用總是等一些人工的時間長度是否將加入新的節點,因此我們應該重新考慮流是金色的副本。
表達式語言能力現在支持小數,base64和十六進制編碼值,和數學函數。
flowfile、起源和內容存儲庫支持回滾已經修改了。我們一直小心以確保升級將工作做好,現有流動狀態會尊敬但困難的是支持回滾狀態在哪里寫的能力通過一個新版本的NiFi但是用戶決定回滾到一個舊版本。這是現在支持。這個強大的功能也為未來的工作奠定了基礎使滾動升級和自動回滾!
啟動時間的流動,有大量積壓應該更快的交換文件已經修改了提供完整總結,避免需要掃描。
對于開發人員來說,他們現在可以說明他們的處理器應該給孤立的類加載器實例。一些庫,比如Hadoop客戶機和腳本引擎作為一個例子,使用靜態變量上的處理器可以污染實例圖。該特性允許這種情況下很容易克服,使隔離每一個處理器的實例。這也使得它很容易讓用戶自定義類加載器擴展jar。
對于開發人員來說,現在的能力動態過程會話狀態遷移到另一個進程。這將產生更高的效率,使得更容易編程模型見MergeContent聚合類型模式,例如。
用戶體驗改進
我們現在提供的視覺指示隊列增長相對于背壓背壓時設置和參與。這將使交通堵塞和背壓的概念更直觀和坦率地說這只是有趣的看到在UI中。看看這個。
1.0.0版本后,社區的一些成員表示,他們有多愛新外觀和感覺,但希望我們保持一些顏色。更好、更直觀的色彩對比又回來了。
驗證組件現在有限的發生只有組件不計劃執行。這將導致更快的用戶體驗行為盡可能多的操作可以通過UI和REST API將導致不必要的昂貴的驗證操作。
用戶現在可以出口的圖像來源圖表。
用戶現在可以使用cron調度組件甚至只在主節點上的任務。
更新版本的依賴關系
我們現在利用Azure事件中心0.9.0客戶端庫。
我們現在使用2.0.1庫與Apache火花。
我們現在與使用Apache Hadoop的HDFS 2.7.3庫。
新的或改進的處理器
新拿,把處理器與ElasticSearch 5.0和新的處理器對ElasticSearch執行查詢和滾動操作。
新的處理器解析歐共體語言教學大綱的格式的日志
提取電子郵件現在處理器支持TNEF格式的附件。
新的處理器驗證CSV文件。
Apache Solr處理器已經更新,以支持SSL和Kerberos。
新的處理器為尚作為客戶機和服務器。
新工具
在升級從0。x 1。x我們提供很多的簡易化和自動功能。然而,我們沒有考慮從動物園管理員的嵌入式使用遷移到一個外部實例。我們已經提供了一個實用工具可以幫助您遷移NiFi從一個集群管理員到另一個狀態。
以前很難改變敏感屬性密鑰用于加密所有敏感屬性包含在一個實際的流配置。一個實用程序現在存在容易從舊鍵轉換為一個新的密鑰是一塊寶貴的一個總體安全的過程。
安全改進
NiFi現在支持限制組件的概念。這些處理器、控制器服務報告的任務,允許授權用戶執行unsanitized代碼或訪問和修改文件訪問NiFi NiFi用戶系統正在運行。因此,這些組件是由開發人員標記為受限制,當運行在安全模式下NiFi只有管理員必須給予每個用戶訪問策略允許訪問限制組件。
站點現在提高很有幫助,即使使用端口轉發。非常有用的情況下,管理員可能運行NiFi權限較低但希望外部交互使用眾所周知的特權端口。
策略管理的用戶體驗已經改進,使之更直觀的在某些情況下發生了什么。
加密的配置功能現在已經擴展到覆蓋登錄身份提供商的能力。這真的很有用,例如你可以只有LDAP密碼以加密形式存儲在登錄提供者配置文件。額外的工作計劃在這些加密的配置提供與硬件安全模塊交互。
- PC官方版
- 安卓官方手機版
- IOS官方手機版