C++ 搜索引擎 课程笔记

1
static bool ReadFile(const std::string &file_path, std::string *out);

1
static void Split(const std::string &target, std::vector<std::string> *out, const std::string &sep) {
2
    boost::split(*out, target, boost::is_any_of(sep), boost::token_compress_on);
3
}

1
class JiebaUtil {
2
private:
3
    JiebaUtil() : jieba(五个词典路径) {}           // private 构造函数
4
    JiebaUtil(const JiebaUtil &) = delete;          // 禁止拷贝
5
    static JiebaUtil *instance;                     // 静态成员

1
static JiebaUtil *get_instance() {
2
    static std::mutex mtx;
3
    if (nullptr == instance) {      // 第一次检查（快车道，避免每次加锁）
4
        mtx.lock();
5
        if (nullptr == instance) {  // 第二次检查（正确性，防止等锁期间别人已创建）
6
            instance = new JiebaUtil();
7
            instance->InitJiebaUtil();
8
        }
9
        mtx.unlock();
10
    }
11
    return instance;
12
}

1
void CutStringHelper(const std::string &src, std::vector<std::string> *out) {
2
    jieba.CutForSearch(src, *out);       // 搜索模式分词（最大粒度）
3
    for (auto iter = out->begin(); iter != out->end();) {
4
        if (stop_words 里有 *iter)
5
            iter = out->erase(iter);     // 删除停用词
6
        else
7
            iter++;
8
    }
9
}

1
struct DocInfo {
2
    std::string title;
3
    std::string content;
4
    std::string url;
5
    uint64_t doc_id;
6
};

1
struct InvertedElem {
2
    uint64_t doc_id;
3
    std::string word;
4
    int weight;
5
};

1
"vector"    → [{doc_id:3, weight:15}, {doc_id:7, weight:8}]
2
"algorithm" → [{doc_id:7, weight:12}, {doc_id:3, weight:5}]

1
bool BuildIndex(const std::string &input) {
2
    while (std::getline(in, line)) {
3
        DocInfo *doc = BuildForwardIndex(line);
4
        if (nullptr == doc) continue;          // 格式错误跳过
5
        BuildInvertedIndex(*doc);
6
    }
7
}

1
ns_util::StringUtil::Split(line, &results, "\3");   // 按分隔符切三段
2
doc.doc_id = forward_index.size();                   // 当前 size 即新 ID
3
forward_index.push_back(std::move(doc));             // move 避免拷贝

1
weight = 10 × 标题中出现次数 + 1 × 正文中出现次数

1
struct InvertedElemPrint {
2
    uint64_t doc_id;
3
    int weight;
4
    std::vector<std::string> words;  // 记录被哪些搜索词命中
5
};

1
① JiebaUtil::CutString  →  ["vector", "algorithm"]
2
② 遍历每个词：
3
     Index::GetInvertedList(word) → 倒排拉链
4
     tokens_map[doc_id] 合并去重，权重累加
5
     item.words.push_back(elem.word)  记录命中词
6
③ 从 map 倒进 vector，std::sort 按 weight 降序
7
④ 遍历排序结果：
8
     Index::GetForwardIndex(doc_id) → DocInfo
9
     GetDesc(content, words[0]) → 摘要
10
     打包成 JSON: {"title","desc","url","id","weight"}
11
⑤ Json::FastWriter 序列化输出

1
auto iter = std::search(content.begin(), content.end(),
2
    word.begin(), word.end(),
3
    [](int x, int y) { return std::tolower(x) == std::tolower(y); });
4
// 找到关键词 → 前后截取 50/100 字节

1
raw.txt一行 → DocInfo → 分词 → InvertedElem × N → 插入 inverted_index
2
                                                ↓
3
query → 分词 → GetInvertedList → InvertedElemPrint → 排序
4
    → GetForwardIndex → DocInfo → JSON → 浏览器

1
初始 s = LABLE
2
LABLE 状态:     读到 '>' → 切换 CONTENT
3
                其他字符 → 丢弃
4
CONTENT 状态:   读到 '<' → 切换 LABLE
5
                其他字符 → 保留（\n \r 换空格，连续空格合并）

1
parser.cc（离线，跑一次）          index.hpp（在线，启动时跑）
2
─────────────────────            ──────────────────────
3
HTML 文件 → raw.txt              raw.txt → 正排 + 倒排
4
格式: title\3content\3url        Split(\3) 切三段

1
Searcher search;
2
search.InitSearcher("data/raw_html/raw.txt");
3
httplib::Server svr;
4
svr.set_base_dir("./wwwroot");              // 托管 index.html
5
svr.Get("/s", [&search](req, rsp) {         // 搜索 API
6
    string word = req.get_param_value("word");
7
    search.Search(word, &json_string);
8
    rsp.set_content(json_string, "application/json");
9
});
10
svr.listen("0.0.0.0", 8081);

1
while (true) {
2
    fgets(buffer, ..., stdin);
3
    search->Search(query, &json_string);
4
    cout << json_string << endl;
5
}