写一个全文搜索引擎(Python)

[
    {
        "name": "《Young and dream》原创吉他弹唱demo",
        "singer": "郑冰冰",
        "lyric": [
            "《少年与梦》G调",
            "作曲 郑冰冰",
            "演唱 郑冰冰",
            "",
            ....]
    }
    ....

import json
from glob import glob

files = glob("ChineseLyrics/*json")

docs = []
for file in files:
    with open(file, encoding="utf8") as rf:
        data = json.load(rf)
        for doc in data:
            # 将歌词的文本列表转换成一个字符串
            doc["lyric2"] = "\n".join(doc["lyric"])
        docs.extend(data)

print(len(docs)) # 102198  

# 

from  typing import List

def search(keyword: str, docs: List[dict]) -> List[dict]:
    ret = []

    for index, doc in enumerate(docs):
        lyric = doc["lyric2"]
        # 统计歌词中关键词出现的次数
        count = lyric.count(keyword)
        if count > 1:
            ret.append({
                "doc": doc,
                "index": index,
                "count": count
            })
    return ret

ret = search("梦想", docs)

# 搜索结果
print(len(ret)) # 2235

# 通过歌词中关键字出现的次数排序
ret2 = sorted(ret, key=lambda x:x["count"], reverse=True)

print(ret2[0])
# {'doc': {'name': '你是我的梦想',
#  'singer': '蛋堡',
#   'lyric': ['',
#     '你是我的梦想 ending之后的掌声',
#     '省略...'
#    ''],
#   'lyric2': '\n你是我的梦想 ending之后的掌声\n你是我的梦想 帅气灌篮的男人\n你是我的梦想 那只想要牵的手\n还有 喔还有你 七十二色彩色笔\n你们是曾经 我究竟得到或放弃\n我是否曾经 曾经接受或抗议\n后来都忘记 成为模糊的色块\n现实把我们带离情感的热带\n因为一首喜欢下雨的歌 喜欢上跳舞\n因为大片的气垫觊觎篮框的高度\n爱上她长发 在某个没睡的中午\n开始拿起笔画图 是因为七龙珠\n已重复整个下午  我耗着转书转笔\n外表一入神 我的心里在想你\n磨平的鞋底 布满涂鸦的讲义\n第一次一起出去 我带了即可拍相机\n最初在追逐的 退出前飞舞的\n飞舞的梦想 你是我的梦想\n追逐后退出的 飞舞在最初的\n最初的梦想 你是我的梦想\n退出前飞舞着 最初在追逐着\n追逐着梦想 你是我的梦想\n飞舞着最初的 追逐着退出的\n退出的梦想 你是我的梦想\n第一个正确的动作 第一次上篮得分\n第一次拿笔上了色 第一次畅谈人生\n第 一次 了解 实现 定义是 成为现实\n虽然说 终于 也是另一个开始\n开始了追逐 开始了飞舞\n开始无条件付出 开始没有退路\n追得太快 有时候太超过\n突然之间回头 初衷已飞走\n\n当终于跳起来能摸到了篮框\n离开了南方 爱情又绽放\n褪色的涂鸦被淡忘\n门口的球鞋塞进鞋柜 没带走\n只带着新的责任 开始新的人生\n期待着新的可能 绣上新的纹身\n那个图案 是用来纪念浪漫的抗战\n最怕自己忘了同党分离的傍晚\n最初在 追逐的 退出前飞舞的\n飞舞的梦想 你是我的梦想\n追逐后退出的 飞舞在最初的\n最初的梦想 你是我的梦想\n退出前飞舞着 最初在追逐着\n追逐着梦想 你是我的梦想\n飞舞着最初的 追逐着退出的\n退出的梦想 你是我的梦想\n叙旧的夜晚我问自己\n\n安静的夜晚我问自己\n酗酒的夜晚我问自己\n清醒的夜晚我问自己\n想问自己这问题 但是又\n问自己 怕自己又内疚\n困着自己 逆了还是顺了自己\n我问自己 到底还认不认识你\n为什么 长越大梦想却越小\n说什么 越被揣测分享或炫耀\n做什么 人的惰性很难去戒掉\n我干了什么 究竟拿了时间换了什么\n要怎么定义什么才是成功\n又要怎么失败才算沉重\n我不很懂 有时决定下得太慎重\n 却让后悔成为偶尔的阵痛\n最初在追逐的 退出前飞舞的\n飞舞的梦想 你是我的梦想\n追逐后退出的 飞舞在最初的\n最初的梦想 你是我的梦想\n退出前飞舞着 最初在追逐着\n追逐着梦想 你是我的梦想\n退出的梦想 你是我的梦想\n退出的梦想 你是我的梦想\n'},
#  'index': 70990,
#  'count': 30}

from pprint import pprint
from collections import defaultdict

index = defaultdict(list)
for k, v in data.items():
    for idx, w in enumerate(v):
        index[w] = {"doc_ref": k, "doc_offset": idx}

pprint(dict(index))
# {'一': [{'doc_offset': 1, 'doc_ref': 'doc2'},
#        {'doc_offset': 15, 'doc_ref': 'doc2'},
#        {'doc_offset': 18, 'doc_ref': 'doc3'}],
#  '下': [{'doc_offset': 11, 'doc_ref': 'doc2'}],
#  '不': [{'doc_offset': 13, 'doc_ref': 'doc3'}],
#  '之': [{'doc_offset': 6, 'doc_ref': 'doc1'}],
#  '人': [{'doc_offset': 23, 'doc_ref': 'doc1'}],
#  '从': [{'doc_offset': 4, 'doc_ref': 'doc2'}],
#  '以': [{'doc_offset': 4, 'doc_ref': 'doc3'}],
#  '会': [{'doc_offset': 6, 'doc_ref': 'doc3'}],
#  '位': [{'doc_offset': 6, 'doc_ref': 'doc2'}],
#  '你': [{'doc_offset': 0, 'doc_ref': 'doc1'},
#        {'doc_offset': 11, 'doc_ref': 'doc1'},
#        {'doc_offset': 7, 'doc_ref': 'doc3'},
#        {'doc_offset': 22, 'doc_ref': 'doc3'}],
#  '入': [{'doc_offset': 17, 'doc_ref': 'doc2'}],
#  '去': [{'doc_offset': 12, 'doc_ref': 'doc2'}],
#  '口': [{'doc_offset': 9, 'doc_ref': 'doc2'}],
#  '可': [{'doc_offset': 3, 'doc_ref': 'doc3'}],
#  '同': [{'doc_offset': 21, 'doc_ref': 'doc2'}],
#  '名': [{'doc_offset': 27, 'doc_ref': 'doc3'}],
#  '后': [{'doc_offset': 7, 'doc_ref': 'doc1'}],
#  '地': [{'doc_offset': 11, 'doc_ref': 'doc3'}],
#  '声': [{'doc_offset': 10, 'doc_ref': 'doc1'}],
#  '天': [{'doc_offset': 2, 'doc_ref': 'doc2'},
#        {'doc_offset': 9, 'doc_ref': 'doc3'}],
#  '如': [{'doc_offset': 0, 'doc_ref': 'doc3'}],
#  '姓': [{'doc_offset': 24, 'doc_ref': 'doc3'}],
#  '学': [{'doc_offset': 22, 'doc_ref': 'doc2'}],
#  '帅': [{'doc_offset': 17, 'doc_ref': 'doc1'}],
# ....省略...

doc4 = '《少年与梦》G调\n作曲 郑冰冰\n演唱 郑冰冰\n\n主歌1\n有一天我从座位的窗口望下去，\n看见一群入职的新同学，\n他们的笑脸天真又充满期许，\n一瞬间想起了那时候的自己。\n\n主歌2\n在创业大 厦戴上工牌的那一天起，\n我的人生好像改变了轨迹，\n那些尘世中的苟且与卑离，\n已经慢慢离我远去。\n\n过渡\n虽然还是会有不开心的故事，\n虽然迷惘也会偶尔的来袭，\n但这是一个真实的地方，\n还有一群人让你无所畏惧。\n\n副歌1\n梦想你好吗 不知不觉十八年\n梦想你还记得吗 那群小小的少年\n曾经我们在湖畔许下的誓言，\n到今天，到永远，也不会改变\n\n副歌2\n梦想你好吗 也许再过很多年\n梦想你还记得 呀 这群追梦的少年\n曾经我们在湖畔许下的誓言，\n到今天，到永远，也不会改变\n\n间奏\n\n主歌3\n第一次在阿里大声哭泣，\n你们递过来纸巾和双臂，\n你们说怕什么有我们在一起，\n就像候鸟成群翱翔在天际。\n\n主歌4\n百阿的片段像电影一样想起，\n内网的标签又被贴满了一地，\n我也羡慕我那从不加班的弟弟，\n但我更爱五年陈的时候有我也有你。\n\n过渡2\n生命就像是一个一个誓言\n既要用力嘶吼也要温柔兑现\n别人看来我们已经站在了山巅\n但我们却更加向往彩虹和云间\n\n\n副歌 啦啦啦大合唱\n\n结尾\n我爱你 阿里巴巴（爸爸）\n'

print("".join(filter(str.isalnum, doc4)))
# 少年与梦G调作曲郑冰冰演唱郑冰冰主歌1有一天我从座位的窗口望下去看见一群入职的新同学他们的笑脸天真又充满期许一瞬间想起了那时候的自己主歌2在创业大厦戴上工牌的那一天起我的人生好像改变了轨迹那些 尘世中的苟且与卑离已经慢慢离我远去过渡虽然还是会有不开心的故事虽然迷惘也会偶尔的来袭但这是一个真实的地方还有一群人让你无所畏惧副歌1梦想你好吗不知不觉十八年梦想你还记得吗那群小小的少年曾经我 们在湖畔许下的誓言到今天到永远也不会改变副歌2梦想你好吗也许再过很多年梦想你还记得呀这群追梦的少年曾经我们在湖畔许下的誓言到今天到永远也不会改变间奏主歌3第一次在阿里大声哭泣你们递过来纸巾和双臂你们说怕什么有我们在一起就像候鸟成群翱翔在天际主歌4百阿的片段像电影一样想起内网的标签又被贴满了一地我也羡慕我那从不加班的弟弟但我更爱五年陈的时候有我也有你过渡2生命就像是一个一个誓言既要用力嘶吼也要温柔兑现别人看来我们已经站在了山巅但我们却更加向往彩虹和云间副歌啦啦啦大合唱结尾我爱你阿里巴巴爸爸

pip install jieba

import jieba

doc1 = '你是我的梦想之后的掌声你是我的梦想帅气灌篮的男人'
doc2 = '有一天我从座位的窗口望下去看见一群入职的新同学'
doc3 = '如果我可以教会你飞天遁地能不能跟着我一起逃离你的姓我的名'

print(list(jieba.cut_for_search(doc1)))
# ['你', '是', '我', '的', '梦想', '之后', '的', '掌声', '你', '是', '我', '的', '梦想', '帅气', '灌篮', '的', '男人']

# search2.py

from glob import glob
from typing import List
from collections import defaultdict

import jieba

files = glob("ChineseLyrics/*json")

docs = []
for file in files:
    with open(file, encoding="utf8") as rf:
        data = json.load(rf)
        for doc in data:
            # 将歌词的文本列表转换成一个字符串
            lyric = "".join(doc["lyric"])
            # 去除特殊符号
            lyric = "".join(filter(str.isalnum, lyric))
            # 分词
            lyric2 = list(jieba.cut_for_search(lyric))
            data["lyric2"] = lyric2

        docs.extend(data)

index = defaultdict(list)
for doc_index, doc in enumerate(docs):
    for word in doc["lyric2"]:
        index[word].append({
            "doc_index": doc_index,
        })


def search(keyword: str, index: dict) -> List[dict]:
    return index.get(keyword)

ret = search("梦想", index)

# 这里的结果跟上面不一样，我想是因为有的句子是xxx梦 想xxxx，因为我在分词前把所有特殊符号去掉了，所以有些地方可能有歧义，或者不准确，过建立所以要一两分钟，这里就不细致处理了，有兴趣的可以自己在细致的处理一下
print(len(ret)) #4509

print(ret.most_common(10))
# 结果还是70990
# [(70990, 30), (39809, 21), (41760, 20), (87130, 16), (44325, 15), (338, 14), (83351, 14), (93432, 14), (16683, 12), (69966, 12)]

# 来自歌词索引70990
doc1 =  ['你', '是', '我', '的', '梦想', 'ending', '之后', '的', '掌声', '你', '是', '我', '的', '梦想', '帅气', '灌篮', '的', '男人', '你', '是', '我', '的', '梦想', '那', '只', '想要', '牵', '的', '手', '还有', '喔', '还有', '你', '七十', '十二', '七十二', '色', '彩色', '色笔', '彩色笔', '你们', '是', '曾经', '我', '究竟', '得到', '或', '放弃', '我', '是否', '曾经', '曾经', '接受', '或', '抗议', '后来', '都', '忘记', '成为', '模糊', '的', '色块', '现实', '把', '我们', '带离', '情感', '的', '热带', '因为', '一首', '喜欢', '下雨', '的', '歌', '喜欢', '上', '跳舞', '因为', '大片', '的', '气垫', '觊觎', '篮框', '的', '高度', '爱上', '她', '长发', '在', '某个', '没睡', '的', '中午', '开始', '拿', '起', '笔画', '图', '因为', '是因为', '七龙珠', '已', '重复', '整个', '下午', '我', '耗着', '转书', '转笔', '外表', '一', '入神', '我', '的', '心里', '在', '想', '你', '磨平', '的', '鞋底', '布满', '涂鸦', '的', '讲义', '第一', '一次', '第一次', '一起', '出去', '我', '带', '了', '即可', '拍', '相机', '最初', '在', '追逐', '的', '退出', '前', '飞舞', '的', '飞舞', '的', '梦想', '你', '是', '我', '的', '梦想', '追逐', '后', '退出', '的', '飞舞', '在', '最初', '的', '最初', '的', '梦想', '你', '是', '我', '的', '梦想', '退出', '前', '飞舞', '着', '最初', '在', '追逐', '着', '追逐', '着', '梦想', '你', '是', '我', '的', '梦想', '飞舞', '着', '最初', '的', '追逐', '着', '退出', '的', '退出', '的', '梦想', '你', '是', '我', '的', '梦想', '第一', '一个', '第一个', '正确', '的', '动作', '第一', '一次', '第一次', '上篮', '得分', '上篮得分', '第一', '一次', '第一次', '拿笔', '上', '了', '色', '第一', '一次', '第一次', '畅谈', '人生', '第一', '一次', '第一次', '了解', '实现', '定义', '是', '成为', '现实', '虽然', '说', '终于', '也', '是', '另', '一个', '开始', '开始', '了', '追逐', '开始', '了', '飞舞', '开始', '条件', '无条件', '付出', '开始', '没有', '退路', '追得', '太快', '有时', '时候', '有时候', '太', '超过', '突然', '之间', '回头', '初衷', '已飞', '走', '当', '终于', '跳', '起来', '能', '摸', '到', '了', '篮框', '离开', '了', '南方', '爱情', '又', '绽放', '褪色', '的', '涂鸦', '被', '淡忘', '门口', '的', '球鞋', '塞进', '鞋柜', '没', '带走', '只带', '着', '新', '的', '责任', '开始', '新', '的', '人生', '期待', '着', '新', '的', '可能', '绣', '上', '新', '的', '纹身', '那个', '图案', '是', '用来', '纪念', '浪漫', '的', '抗战', '最', '怕', '自己', '忘', '了', '同党', '分离', '的', '傍晚', '最初', '在', '追逐', '的', '退出', '前', '飞舞', '的', '飞舞', '的', '梦想', '你', '是', '我', '的', '梦想', '追逐', '后', '退出', '的', '飞舞', '在', '最初', '的', '最初', '的', '梦想', '你', '是', '我', '的', '梦想', '退出', '前', '飞舞', '着', '最初', '在', '追逐', '着', '追逐', '着', '梦想', '你', '是', '我', '的', '梦想', '飞舞', '着', '最初', '的', '追逐', '着', '退出', '的', '退出', '的', '梦想', '你', '是', '我', '的', '梦想', '叙旧', '的', '夜晚', '我', '问', '自己', '安静', '的', '夜晚', '我', '问', '自己', '酗酒', '的', '夜晚', '我', '问', '自己', '清醒', '的', '夜晚', '我', '问', '自己', '想', '问', '自己', '这', '问题', '但是', '又', '问', '自己', '怕', '自己', '又', '内疚', '困着', '自己', '逆', '了', '还是', '顺', '了', '自己', '我', '问', '自己', '到底', '还认', '不', '认识', '你', '什么', '为什么', '长越', '大', '梦想', '却', '越', '小说', '什么', '越', '被', '揣测', '分享', '或', '炫耀', '做', '什么', '人', '的', '惰性', '很难', '去', '戒掉', '我', '干', '了', '什么', '究竟', '拿', '了', '时间', '换', '了', '什么', '要', '怎么', '定义', '什么', '才', '是', '成功', '又', '要', '怎么', '失败', '才', '算', '沉重', '我', '不', '很', '懂', '有时', '决定', '下得', '太', '慎重', '却', '让', '后悔', '成为', '偶尔', '的', '阵痛', '最初', '在', '追逐', '的', '退出', '前', '飞舞', '的', '飞舞', '的', '梦想', '你', '是', '我', '的', '梦想', '追逐', '后', '退出', '的', '飞舞', '在', '最初', '的', '最初', '的', '梦想', '你', '是', '我', '的', '梦想', '退出', '前', '飞舞', '着', '最初', '在', '追逐', '着', '追逐', '着', '梦想', '你', '是', '我', '的', '梦想', '退出', '的', '梦想', '你', '是', '我', '的', '梦想', '退出', '的', '梦想', '你', '是', '我', '的', '梦想']
# 来自歌词索引39809
doc2 = ['梦想', '你', '站', '在', '我', '的', '前方', '挡住', '我', '的', '去向', '梦想', '听', '起来', '多么', '迷惘', '我', '却', '不', '彷徨', '每当', '我', '走进', '梦想', '停', '在', ' 我', '身旁', '每当', '我', '走出', '梦想', '已', '不知', '去向', '不知去向', '梦想', '我', '分秒', '都', '在', '等待', '今夜', '走入', '梦想', '梦想', '因为', '那', '里面', '有', '你', '所以', '我', '才', '向往', '梦想', '你', '站', '在', '我', '的', '前方', '挡住', '我', '的', '去向', '梦想', '听', '起来', '多么', '迷惘', '我', '却', '不', '彷徨', '每当', '我', '走进', '梦想', '停', '在', '我', '身旁', '每当', '我', '走出', '梦想', '已', '不知', '去向', '不知去向', '梦想', '我', '分秒', '都', '在', '等待', '今夜', '走入', '梦想', '梦想', '因为', '那', '里面', '有', '你', '所以', '我', '才', '向往', '梦想', '你', '站', '在', '我', '的', '前方', '挡住', '我', '的', '去向', '梦想', '听', '起来', '多么', '迷惘', '我', '却', '不', '彷徨', '每当', '我', '走进', '梦想', '停', '在', '我', '身旁', '每当', '我', '走出', '梦想', '已', '不知', '去向', '不知去向', '梦想', '我', '分秒', '都', '在', '等待', '今夜', '走入', '梦想', '梦想', '因为', '那', '里面', '有', '你', '所以', '我', '才', '向往']
# 来自歌词索引1
doc3 =  ['风雨', '里', '作词', '白以', '白', '作曲', '郑', '冰冰', '编曲', '彭扬', '演唱', '郑', '冰冰', '和', '声', '郑', '冰冰', '后期', '郑', '冰冰', '主歌', '1', '如果', '我', '可以', '教会', ' 你', '飞天', '遁', '地能', '不能', '跟着', '我', '一起', '逃离', '你', '的', '姓', '我', '的', '名', '写', '在手', '心里', '太', '任性', '不', '哭泣', '不', '认命', '主歌', '2', '如果', '我', '拥有', '超能', '能力', '超能力', '重塑', '世纪', '新世纪', '这', '世界', '一定', '会', '变得', '更', '美丽', '暴风', '风雨', '暴风雨', '只当', '为', '下', '一个', '黎明', '洗礼', '过渡', '1', '天气', '预报', '天气预报', '静悄', '是', '暴风', '风雨', '暴风雨', '前兆', '天气', '欲', '爆往', '哪里', '可以', '逃', 'yeahyeah', '过渡', '2', '听', '天气', '预报', '天气预报', '喧嚣', '世界', '全世界', '陷入', '狂躁', '当', '天气', '欲', '爆', '别逃', '把', '心握', '牢', '副歌', '1', '我', '做', '我', '自己', '的', '明星', '在', '风雨', '里', '砥砺', '前行', '下', '一秒', '天明', '副', '2', '我', '相信', '自己', '一定', '赢', '丹田', '赌', '一口', '口气', '一口气', '越是', '糟心', '越', '平静', '攒足', '了', '勇气', '下', '一秒', '翻转', '剧情', '翻转', ' 过渡', '3', '或许', '从', '你', '的', '眼睛', '只能', '看', '得到', '恐惧', '所以', '我', '更', '坚信', '更', '笃定', '用', '倔强', '在', '黑夜', '创造', '出', '奇迹', '让', '顽强', '石破天', '石破天惊']

import math

def tf(word: str, doc: List[str]) -> float:
    return doc.count(word) / len(doc)

def idf(word: str, docs: List[List[str]]) -> float:
    # 多少文档包含word
    doc_included = len([d for d in docs if d.count(word)])
    return math.log(len(docs) / doc_included)

def tf_idf(word: str, doc: List[str], docs: List[List[str]]) -> float:
    return tf(word, doc) * idf(word, docs)

def tf(word: str, doc_index: List[str], docs: List[dict]) -> float:
    return docs[doc_index]["lyric2"].count(word) / len(docs[doc_index]["lyric2"])

@lru_cache()
# 因为参数需要哈希缓存，所以docs, index不放在参数中传递了
def idf(word: str) -> float:
    # 多少文档包含word
    doc_included = len(index.get(word, []))
    return math.log(doc_included / len(docs))

def tf_idf(word: str, doc_index: List[str], docs: List[List[str]], index: List[dict]) -> float:
    return tf(word, doc_index, docs) * idf(word)

# search3.py
import json
import math
from glob import glob
from typing import List, Tuple
from collections import defaultdict
from functools import lru_cache

import jieba

files = glob("ChineseLyrics/*json")

docs = []
for file in files:
    with open(file, encoding="utf8") as rf:
        data = json.load(rf)
        for doc in data:
            # 将歌词的文本列表转换成一个字符串
            lyric = "".join(doc["lyric"])
            # 去除特殊符号
            lyric = "".join(filter(str.isalnum, lyric))
            # 分词
            lyric2 = list(jieba.cut_for_search(lyric))
            doc["lyric2"] = lyric2

        docs.extend(data)

# 注意: 这里我改了index的数据结构
index = defaultdict(set)
for doc_index, doc in enumerate(docs):
    for word in doc["lyric2"]:
        index[word].add(doc_index)


def tf(word: str, doc_index: List[str], docs: List[dict]) -> float:
    return docs[doc_index]["lyric2"].count(word) / len(docs[doc_index]["lyric2"])

@lru_cache()
# 因为参数需要哈希缓存，所以docs, index不放在参数中传递了
def idf(word: str) -> float:
    # 多少文档包含word
    doc_included = len(index.get(word, []))
    return math.log(doc_included / len(docs))

def tf_idf(word: str, doc_index: List[str], docs: List[List[str]], index: List[dict]) -> float:
    return tf(word, doc_index, docs) * idf(word)


def search(keywords: str, docs: List[dict], index: dict) -> List[Tuple]:
    doc_indexs = list()
    for keyword in keywords:
        doc_indexs.extend(index.get(keyword, []))

    if not doc_indexs:
        return []

    # 所有包含关键字的doc_index去重
    doc_indexs = set(doc_indexs)

    scores = []
    for doc_index in doc_indexs:
        keywords_scores = []

        for keyword in keywords:
            score = tf_idf(keyword, doc_index, docs, index)
            keywords_scores.append(score)

        scores.append((doc_index, sum(keywords_scores)))

    return sorted(scores, key=lambda x:x[1], reverse=True)


ret = search(["梦想", "美丽"], docs, index)
print(ret)
# [(98681, -0.001023203909718683), (98554, -0.0011754563874454042), (98555, -0.0011754563874454042), (74995, -0.0012518398350050332), (97457, -0.0013457683090416334), (76533, -0.0013949602277144233), (97032, -0.001496086629274951), (23045, -0.0014963654000406399), (100827, -0.0015260815201308302), (76546, -0.0016037187608774655)]

# backend/app.py
from fastapi import FastAPI, HTTPException, Body
from fastapi.responses import JSONResponse
from pydantic import BaseModel, Field


LOG_LEVEL = logging.DEBUG
logger = logging.getLogger(__name__)
fmt = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
console_handler = logging.StreamHandler()
console_handler.setFormatter(fmt)
logger.addHandler(console_handler)

logger.setLevel(LOG_LEVEL)
console_handler.setLevel(LOG_LEVEL)


app = FastAPI(
    title="Simple Full-text search engine",
    version="1.0.0",
)


# 请求数据结构
class SearchPayload(BaseModel):
    query: List[str]
    size: int = Field(10, le=100, gt=0, description="The query size must be greater than zero")


exmaples = {
    "one keyword": {
        "summary": "A normal example",
        "description": "search one keyword",
        "value": {
            "query": ["梦想"]
        },
    },
    "two keyword": {
        "summary": "A normal example",
        "description": "search one keyword",
        "value": {
            "query": ["梦想", "美丽"]
        },
    },
    "invalid data type": {
        "summary": "Invalid data is rejected with an error",
        "value": {
             "query": "梦想"
        },
    },
    "invalid data size": {
        "summary": "Invalid data is rejected with an error",
        "value": {
             "query": ["梦想"],
             "size": -1
        },
    },
}

# 响应数据结构
class ResponseModel(BaseModel):
    data: list

class SuccessResponseModel(ResponseModel):
    status: str = "ok"

class ErrorResponseModel(BaseModel):
    status: str = "error"
    msg: str


@app.post("/search",
    status_code=200,
    response_model=SuccessResponseModel,
    response_model_exclude_none=True,
    responses={501: {"model": ErrorResponseModel}})
async def search(payload: SearchPayload = Body(
    ..., examples=exmaples
)):
    query = payload.query
    size = payload.size
    # 仅返回指定数量结果
    try:
        ret = full_text_search(query, docs, index)[:size]
    except Exception:
        msg = "unexpected search error"
        logger.exception(msg)
        return JSONResponse(status_code=501, content={"status": "error", "msg": msg})

    data = []
    for doc_index, score in ret:
        value = {}
        value["doc"] = docs[doc_index]
        value["score"] = score
        data.append(value)
    # logger.debug(data)

    return SuccessResponseModel(data=data)

cd frontend
# 创建项目
yarn create @umijs/umi-app
# 安装依赖
yarn
# 启动开发服务器
yarn start

//  index.tsx
import React from 'react';
import { useState } from 'react';
import { Tag, Row, Col, Input, Typography } from 'antd';
import { MessageOutlined, LikeOutlined, StarOutlined } from '@ant-design/icons';
import { PageContainer } from '@ant-design/pro-layout';
import ProList from '@ant-design/pro-list';
import request from 'umi-request';

const { Paragraph, Text } = Typography;
const { Search } = Input;

const IconText = ({ icon, text }: { icon: any; text: string }) => (
  <span>
    {React.createElement(icon, { style: { marginRight: 8 } })}
    {text}
  </span>
);


const styles = {
  marginBottom: "30px"
}

export default () => {
  const [data, setData] = useState([]);

  const onSearch = value => {  
    console.log(value);

    request
    .post("/api/search", {
      data: {
        query: value.split()
      }
    })
    .then(function(response) {
      setData(response.data)
    })
    .catch(function(error) {
      setData([])
    });
  };


  return (
    <PageContainer
      header={{title: "全文歌词搜索引擎 - 歌词搜索"}}
    >
      <Row>
        <Col span={18} offset={3}>
          <Search placeholder="搜索关键词" allowClear onSearch={onSearch} enterButton size="large" style={styles} />
        </Col>
      </Row>
      <ProList<{ title: string }>
            itemLayout="vertical"
            rowKey="id"
            headerTitle="搜索结果"
            dataSource={data}
            metas={{
              title: {},
              subTitle: {},
              description: {
                render: (_, entity) => {
                  // console.log(entity)
                  return (
                  <>
                    <Tag>{entity.score}</Tag>
                  </>
                )},
              },
              actions: {
                render: () => [
                  <IconText icon={StarOutlined} text="156" key="list-vertical-star-o" />,
                  <IconText icon={LikeOutlined} text="156" key="list-vertical-like-o" />,
                  <IconText icon={MessageOutlined} text="2" key="list-vertical-message" />,
                ],
              },
              content: {
                render: (_, entity) => {
                  return (
                    <div>
                     <Paragraph ellipsis={{ rows: 4, expandable: true, symbol: 'more' }}>
                        {entity.doc.lyric.map((item) => {
                          return item? item: <br/>
                        })}
                      </Paragraph>,
                      
                    </div>
                  );
                },
              },
            }}
          />
    </PageContainer>  
  );
};

sh scripts/start_backend.sh

deta new search_engine --python