2016計算機三級網絡技術輔導：網絡搜索技術

來源：文萃谷 2.95W

　　1.搜索引擎的原理和組成

　　(1)搜索引擎的原理

搜索引擎的原理起源於傳統的信息全文檢索理論，即計算機程序通過掃描一篇文章中的所有詞，建立以詞為單位的排序文件，檢索程序根據檢索詞在每篇文章中出現的頻率和概率，對包含這些檢索詞的文章排序，最後輸出排序結果。

　　(2)全文搜索引擎功能模塊的組成

現在的全文搜索引擎一般由搜索器、索引器、檢索器和用户接口4個部分組成。

①搜索器。搜索器也稱為“蜘蛛”、“機器人”或“爬蟲”，實際上是一種基於Web的程序。搜索器在Internet上逐個訪問服務器來收集信息，它通過請求Web站點上的HTML網頁來採集該 HTML網頁，並建立一個網站的關鍵字列表。搜索器建立關鍵字列表的過程稱為網絡爬行。

②索引器。索引器的功能是理解搜索器所搜索的.信息，從中抽取出索引項，用於表示文檔以及生成文檔庫的索引表。索引器可使用集中式索引算法或分佈式索引算法。索引算法對索引器的性能有很大的影響。一個搜索引擎的有效性在很大程度上取決於索引的質量。

③檢索器。檢索器的功能是根據用户查詢在索引庫中快速地檢索出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序，並實現某種用户相關性的反饋機制。網頁檢索器是一個在Web服務器上運行的CGI(公共網關接口)程序。

④用户接口。用户接口的作用是輸入用户查詢，顯示查詢結果，提供用户相關性反饋機制。用户接口可以分為簡單接口和複雜接口兩種。

　　(3)目錄導航式搜索引擎和網頁搜索引擎的組成

目錄導航式搜索引擎的信息蒐集系統主要由人工完成，搜索引擎的標引專家依靠手工來搜尋不斷出現的新網站，給每個網站一個標題和大概描述，將其放入相應的類目體系中。在頁面上體現為每個類目路徑下排列着的相關網站，所以也稱為目錄導航。目錄導航式搜索引擎提供兩種查詢接口形式：一種是直接單擊目錄樹，另一種是關鍵字檢索。

　　le和百度搜索引擎

Google是目前世界上使用率和搜索精度最高的全文搜索引擎，百度則是全球最大的中文搜索引擎，兩者分別是國外、國內搜索引擎的領頭羊。

　　(l)Google的主要技術

Google成立於1998年，創始人為美國斯坦福大學計算機科學系的兩位博士。Google一詞由英文單詞googol變化而來，表示1後面有100個零的數字，顯示了Google搜索能力的強大。

Google的主要技術有以下幾點：

①網頁採集技術——分佈式爬行系統。該系統通常由一個URL服務器將URL列表提供給網絡爬行器(Google同時運行3個爬行器)。每個爬行器同時保持大約300個網絡連接。

②頁面等級技術(Page Rank)。Google是以Open Directory Project為類目基礎，開發了獨樹一幟的Page Rank技術。

③超文本匹配分析技術。超文本匹配分析技術是目前搜索引擎中最先進的檢索技術。

　　(2)百度的主要技術

百度()於1999年底在美國硅谷成立，創始人是北京大學的兩位畢業生李彥宏和徐勇。“百度”一詞來源於辛棄疾的名句“眾人尋他千百度”。

①智能性、可擴展搜索技術。

②智能化中文語言處理技術。