IBM Watson的基本原理和大數據分析

作為IT業界的頂級公司，IBM通過其認證確定了產品專家的標準，可以説IBM在業界的聲望和IBM產品的市場佔有率提升了其認證工程師的含金量。下面是小編收集的關於IBM Watson的基本原理和大數據分析，希望大家認真閲讀!

第一個服務器是演示服務器。這裏是你需要編寫Java程序來支持提問和回答的邏輯與思考過程的地方，我們可以稱其為查詢面板。你會在查詢面板部署GUI，用來輸入你的問題、處理問題以及尋找答案。這也是你安裝OpenNLP的地方。OpenNLP是能“理解”寫入查詢面板的問題的應用。問題的“答案”現在就能從NFS驅動器裏搜索。查詢面板是一個圖形用户界面，用來輸入問題和顯示答案。在這個界面之下它所做的是通過將問題傳遞給一個安裝在此計算機上的叫做OpenNLP的應用來嘗試“理解”這個問題。一旦問題被理解了，它就會檢索答案。在輸入一個問題之前，你需要告訴查詢面板從哪裏來尋找答案。我們將會引導查詢面板從一個網絡文件系統驅動器中尋找答案。這個驅動器包含了來自其它服務器的從非結構化數據到結構化數據的轉換結果。在我們的這個原型體系中，所有被處理的數據都會被存儲在共享的NFS驅動器裏。

這是演示服務器的基本組件： Linux 64位; 最小8GB內存; 兼容64位CPU; 50GB硬盤空間; Java SDK; 查詢面板; OpenNLP; 可以訪問NFS驅動器; 已聯網，可以訪問內網和互聯網。

業務邏輯服務器就是你的“思考”或者説分析計算機。對這個服務器裏，你需要安裝Java SDK、Eclipse和UIMA SDK。創建UIMA應用可以將非結構化數據轉換為結構化數據，這些應用例如：類型描述;註釋器;分析引擎描述符;通用分析結構(CAS);一些Java類;CAS數據處理控件。(這個服務器裏還有)UIMA將要處理的以非結構化數據形式存在的內容。它的基本工作方式是——我們會用UIMA組件來從一個非結構化數據池中獲得數據，這是通過編寫基於Java-UIMA的應用來設定我們需要的關鍵詞。這些UIMA組件會採集關鍵詞並將其放入CAS或者説通用分析結構。這些採集完的項就是我們希望找到的基於某種條件的東西。一旦到了CAS，我們編寫好的CAS處理控件就會將數據寫為一個結構化的形式，例如數據庫、CSV平面文件或者是XML。你也將在此處創建你的UIMA應用，以建立你的採集處理引擎。這些應用是：類型描述;註釋器;分析引擎描述符;通用分析結構(CAS);一些Java類;CAS數據處理控件。

這些是業務邏輯服務器的組件：Linux 64位;最小8GB內存;兼容64位CPU;50GB硬盤空間;Java SDK;UIMA SDK;使用了UIMA的一些Java程序;聯網的共享的NFS驅動器;網絡連接，可訪問內網和英特網。

第三台機器是文件和數據庫服務器。在這個地方你將存儲被其它系統需要的.文件，這裏也是輸出的文件被存放的地方。你需要在這裏安裝一個能被其它系統讀取和寫入的NFS驅動器。

這是一個包含Hadoop的文件與數據庫服務器的典型配置：Linux 64位;最小16GB內存;兼容64位CPU;120GB硬盤空間;Java SDK;IBM InfoSphere BigInsights快速入門版;DB2數據庫(或其它任何數據庫);Wget Utility;安裝好的NFS驅動器;已聯網，可以訪問內網和互聯網。

總結：最終的服務器配置，包括了演示服務器、業務邏輯服務器以及數據庫(文件)服務器(Hadoop系統)的組件。在雲環境中，也許可以只創建兩個服務器，而將業務邏輯和數據庫服務器組合到一個裏。查詢面板是你要輸入你的問題的地方，這裏也是得到答案的地方。它所做的事情是，接收問題並將問題的處理交接給一個人工智能應用，例如OpenNLP或OpenCyc，來理解這個問題。 在這個原型中，我們使用了OpenNLP。OpenNLP中有內建的程序，它們可以分析問題的語法，對問題分塊以及對問題中的詞語進行其它形式的處理和分類。一旦理解了問題，它就會調用一個程序來尋找答案。一個將非結構化數據轉換為結構化數據的應用(UIMA)已經事先將答案所在的數據進行了處理。然後查詢面板基於OpenNLP對問題的理解來從這些數據集中尋找答案。一旦問題被讀取後，答案會被顯示回查詢面板。