本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2024-11(2)

2021-05-29:最常使用的K个单词II。在实时数据流中找到最常使用的k个单词,实现TopK类中的三个方法: Top

发布于2021-06-06 17:45     阅读(821)     评论(0)     点赞(20)     收藏(0)


2021-05-29:最常使用的K个单词II。在实时数据流中找到最常使用的k个单词,实现TopK类中的三个方法: TopK(k), 构造方法。add(word),增加一个新单词。topk(),得到当前最常使用的k个单词。如果两个单词有相同的使用频率,按字典序排名。

福大大 答案2021-05-30:

方法一:
redis的sorted set。hash+跳表实现计数和查找。无代码。
方法二:
节点结构体:有字符串和词频。
词频表:key是字符串,value是节点。
堆:节点数组。刚开始,我以为是大根堆。采用小根堆,如果比堆顶还小,是进不了小根堆的。
反向表:key是节点,value是在堆中的索引。
有代码。

代码用golang编写。代码如下:

package main

import (
    "fmt"
    "sort"
)

func main() {

    a := NewTopK(2)
    a.add("fdd")
    a.add("moon")
    a.add("moonfdd")
    a.add("moonfdd")
    ret := a.topk()
    for i := 0; i < len(ret); i++ {
        fmt.Println(ret[i])
    }

}

type TopK struct {
    //堆
    heap     []*Node
    heapSize int
    //字,次数
    wordNodeMap map[string]*Node
    //反向表
    nodeIndexMap map[*Node]int
}

func NewTopK(k int) *TopK {
    ret := &TopK{}
    ret.heap = make([]*Node, k)
    ret.wordNodeMap = make(map[string]*Node)
    ret.nodeIndexMap = make(map[*Node]int)
    return ret
}

func (this *TopK) add(word string) {
    if len(this.heap) == 0 {
        return
    }
    var curNode *Node
    preIndex := -1
    curNode = this.wordNodeMap[word]

    //词频表 反向表
    if curNode == nil {
        curNode = &Node{word, 1}
        this.wordNodeMap[word] = curNode
        this.nodeIndexMap[curNode] = -1
    } else {
        curNode.Times++
        preIndex = this.nodeIndexMap[curNode]
    }

    //小根堆
    if preIndex == -1 {
        if this.heapSize == len(this.heap) {
            if this.compare(curNode, this.heap[0]) {
                //不用管了
                return
            }
            curNode, this.heap[0] = this.heap[0], curNode
            this.nodeIndexMap[curNode] = -1
            this.nodeIndexMap[this.heap[0]] = 0
            this.HeapDown(0)

        } else {
            this.Push(curNode)
        }
    } else {
        this.HeapDown(preIndex)
    }
}

func (this *TopK) topk() []string {
    heapCopy := make([]*Node, this.heapSize)
    copy(heapCopy, this.heap)
    sort.Slice(heapCopy, func(i, j int) bool {
        return !this.compare(heapCopy[i], heapCopy[j])
    })
    ans := make([]string, this.heapSize)
    for i := 0; i < this.heapSize; i++ {
        ans[i] = heapCopy[i].Str
    }
    return ans
}

type Node struct {
    Str   string
    Times int
}

//索引上移,小根堆
func (this *TopK) HeapUp(index int) {
    for (index-1)/2 != index && !this.compare(this.heap[(index-1)/2], this.heap[index]) { //父节点小于当前节点,当前节点必须上移
        this.heap[index], this.heap[(index-1)/2] = this.heap[(index-1)/2], this.heap[index]
        //加强堆
        this.nodeIndexMap[this.heap[index]], this.nodeIndexMap[this.heap[(index-1)/2]] = (index-1)/2, index
        index = (index - 1) / 2
    }
}

//索引下沉,小根堆
func (this *TopK) HeapDown(index int) {
    left := 2*index + 1
    for left <= this.heapSize-1 { //左孩子存在
        //获取小孩子
        largest := left
        if left+1 <= this.heapSize-1 && this.compare(this.heap[left+1], this.heap[left]) {
            largest++
        }

        //比较
        if !this.compare(this.heap[index], this.heap[largest]) { //当前大于最小孩子,必须下沉
            this.heap[index], this.heap[largest] = this.heap[largest], this.heap[index]
            //加强堆
            this.nodeIndexMap[this.heap[index]], this.nodeIndexMap[this.heap[largest]] = largest, index
        } else {
            break
        }

        //下一次遍历
        index = largest
        left = 2*index + 1
    }
}

func (this *TopK) Push(node *Node) {
    this.heap[this.heapSize] = node
    //加强堆
    this.nodeIndexMap[node] = this.heapSize
    //索引上移
    this.HeapUp(this.heapSize)
    this.heapSize++
}

func (this *TopK) Pop() *Node {
    ans := this.heap[0]
    this.heap[0], this.heap[this.heapSize-1] = this.heap[this.heapSize-1], this.heap[0]
    //加强堆
    this.nodeIndexMap[this.heap[0]] = 0
    this.nodeIndexMap[this.heap[this.heapSize-1]] = -1

    this.heapSize--
    //索引下沉
    this.HeapDown(0)
    return ans
}

func (this *TopK) compare(node1 *Node, node2 *Node) bool {
    if node1.Times == node2.Times {
        return node1.Str > node2.Str
    }
    return node1.Times < node2.Times
}

执行结果如下:
在这里插入图片描述

福大大 答案2021-05-29:

方法一:
redis的sorted set。hash+跳表实现计数和查找。无代码。
方法二:
节点结构体:有字符串和词频。
词频表:key是字符串,value是节点。
堆:节点数组。
反向表:key是节点,value是在堆中的索引。
有代码,但不完整,因为时间紧。

代码用golang编写。代码如下:

package main

import "fmt"

func main() {
    a := NewTopK(2)
    a.add("lint")
    a.add("code")
    a.add("code")
    fmt.Println(a.topk())
}

type TopK struct {
    //堆
    heap     []*Node
    heapSize int
    //字,次数
    wordNodeMap map[string]*Node
    //反向表
    nodeIndexMap map[*Node]int
}

func NewTopK(k int) *TopK {
    ret := &TopK{}
    ret.heap = make([]*Node, k)

    return ret
}

func (this *TopK) add(word string) {
    if len(this.heap) == 0 {
        return
    }
    var curNode *Node
    preIndex := -1
    curNode = this.wordNodeMap[word]
    if curNode == nil {
        curNode = &Node{word, 1}
        this.wordNodeMap[word] = curNode
        this.nodeIndexMap[curNode] = -1
    } else {
        //tree set
        curNode.Times++
        preIndex = this.nodeIndexMap[curNode]
    }
    if preIndex == -1 {
        if this.heapSize == len(this.heap) {
            //treeset

        } else {
            //tree add
            this.nodeIndexMap[curNode] = this.heapSize
            this.heap[this.heapSize] = curNode
            this.HeapUp(preIndex)
        }
    } else {
        //tree add
        this.HeapDown(preIndex)
    }
}

func (this *TopK) topk() []string {
    ans := make([]string, len(this.heap))
    return ans
}

type Node struct {
    Str   string
    Times int
}

//索引上移,大根堆
func (this *TopK) HeapUp(index int) {
    for this.heap[(index-1)/2].Times < this.heap[index].Times { //父节点小于当前节点,当前节点必须上移
        this.heap[index], this.heap[(index-1)/2] = this.heap[(index-1)/2], this.heap[index]
        //加强堆
        this.nodeIndexMap[this.heap[index]], this.nodeIndexMap[this.heap[(index-1)/2]] = (index-1)/2, index
        index = (index - 1) / 2
    }
}

//索引下沉,大根堆
func (this *TopK) HeapDown(index int) {
    left := 2*index + 1
    for left <= this.heapSize-1 { //左孩子存在
        //获取大孩子
        largest := left
        if left+1 <= this.heapSize-1 && this.heap[left+1].Times > this.heap[left].Times {
            largest++
        }

        //比较
        if this.heap[index].Times < this.heap[largest].Times { //当前小于最大孩子,必须下沉
            this.heap[index], this.heap[largest] = this.heap[largest], this.heap[index]
            //加强堆
            this.nodeIndexMap[this.heap[index]], this.nodeIndexMap[this.heap[largest]] = largest, index
        } else {
            break
        }

        //下一次遍历
        index = largest
        left = 2*index + 1
    }
}

func (this *TopK) Push(node *Node) {
    this.heap[this.heapSize] = node
    //加强堆
    this.nodeIndexMap[node] = this.heapSize
    this.heapSize++
    //索引上移
    this.HeapUp(this.heapSize)
}

func (this *TopK) Pop() *Node {
    ans := this.heap[0]
    this.heap[0], this.heap[this.heapSize-1] = this.heap[this.heapSize-1], this.heap[0]
    //加强堆
    this.nodeIndexMap[this.heap[0]] = 0
    this.nodeIndexMap[this.heap[this.heapSize-1]] = -1
    this.heapSize--
    //索引下沉
    this.HeapDown(0)
    return ans
}

执行结果如下:
图片


左神java代码

原文链接:https://blog.csdn.net/weixin_48502062/article/details/117392957



所属网站分类: 技术文章 > 博客

作者:狗蛋你别跑

链接:http://www.phpheidong.com/blog/article/88210/514bbec2b2b99b24bc1d/

来源:php黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

20 0
收藏该文
已收藏

评论内容:(最多支持255个字符)