|
搜索引擎之存储设计(google方式)
早期google计算下载24000000个网页共需要147GB,现在每天都有成千上万个网页被更新,因此google在使用蜘蛛程序下载到本地服务器时必然要采用压缩的方式存储,google使用zlib压缩方式存储下载的网页,zlib的压缩比率是3:1,可以使用Level 6去平衡压缩比率和速度,文档在连续空间被存储是按如下规定docID,长度,URL-内容存贮到知识库中,这里docID是被压缩的网页的ID,我这里为了方便使用的是文本,我们在扫描得到所有文件的同时在数据库建立索引记录,对每个文件进行zlib压缩,文件名为docID,这个工作可以参考我在文件目录扫描的代码,当我们做文件分析时打开每一个压缩的文件对其进行处理.
for example:
一个网页中包含两个连接, <a href= "a.html"> 和 <a href="b.html">我们去解析时会得到两个文档一个是a.html,另一个是b.html,我们为这两个文档分配两个docID,如果假设源文档的docID是1的话,那么a.html的docID为2,b.html的docID为3,依此类推,建立一个索引器来索引docID
我在这里使用INI文件来作DocID与真实文件名的映射,文件名交docid.pair,另一个文件存储当前的DocID分配号,DocID也是一直在增长,每次加一.
DOCID与真实文件映射结构如下:
[maptable]
96=c:/vs/docid.pair
97=c:/vs/output2.txt
98=c:/vs/sybdir/wm.log
99=c:/vs/sybdir/_error_.txt
100=c:/vs/wm.log
101=c:/vs/_error_.txt
// two.cpp : Defines the entry point for the console application.
//
//All right revsered by yoki2009
//mailto:imj040144@tom.com
//Welcome to my blog: http://blog.csdn.net/yoki2009
#include "stdafx.h"
#include "two.h"
#include <time.h>
#include <string>
#include <vector>
#include <iostream>
#include <fstream>
#include "DirSearcher.h"
using namespace std;
#ifdef _DEBUG
#define new DEBUG_NEW
#endif
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
time_t stop,start;
start = time(NULL);
int docID;
//get the current docid
ifstream indocID("docID.dat");
indocID>>docID;
indocID.close();
docID++;
//save current directory before search special dir.
char * m_currdir = new char[256];
GetCurrentDirectory(256,m_currdir);
DirSearcher * pDirSearch = DirSearcher::getInstance();
pDirSearch->setDirPath("c://vs");
pDirSearch->DoDirSearch();
//restore old dir
SetCurrentDirectory(m_currdir);
vector<CString>::iterator pos;
for (pos = pDirSearch->_filepath.begin();pos != pDirSearch->_filepath.end();++pos)
{
//read orignal file
FILE * oriFile = fopen((*pos),"r");
CString tmp;
tmp.Format("%d",docID);
//create defalte file
FILE * destFile = fopen(tmp,"w");
//deflate file
int ret = def(oriFile,destFile,Z_DEFAULT_COMPRESSION);
if (ret != Z_OK)
zerr(ret);
fclose(oriFile);
fclose(destFile);
//Create docid and file path mapping.
//notice:you should set lpFileName parameter, or WritePrivateProfileString
//will searches the windows directory for the file.
WritePrivateProfileString("maptable",tmp,(*pos),"./docid.pair");
docID++;
}
//save current docID
ofstream outdocID("docID.dat",ios_base::out);
outdocID<<docID;
outdocID.close();
stop = time(NULL);
cout<<"/nElapsed run time:"<<showpoint<<difftime(stop,start)<<endl;
system("PAUSE");
return 0;
}
其中目录遍历的部分可以参见我写的文件目录遍历的那篇文章,压缩和解压缩的部分可以参见我写的zlib实现压缩与解压缩的那篇.
| 
转播
