文章采集器(文章采集器和知识图谱,最重要的当然是语义理解)

优采云 发布时间: 2021-08-29 17:03

  文章采集器(文章采集器和知识图谱,最重要的当然是语义理解)

  文章采集和知识图谱图谱,最重要的当然是语义理解,图谱是把连接人与人,人与信息,信息与信息之间的关系用可视化形式表现出来。知识图谱主要就是把各个人和人之间的关系转化为数据,例如:医生怎么划分,老师怎么划分,企业怎么划分,每个人都可以有一份知识图谱表。就像把人放到大街上,而不是某个物体,更不是某个企业。

  图谱在微软、阿里都有实验室,阿里的知识图谱实验室专门做阿里自己的知识图谱。今天重点介绍一下深度学习方向的一些主要工作。1、deeplearning深度学习在图谱方面主要就是,图神经网络(gnn)把连接人与人,人与信息,信息与信息之间的关系抽象出来,并且去训练一个相对高效的网络。这个网络可以用数据实现,也可以在很多现有网络上借鉴一些思想和性能。

  最典型的就是,用递归神经网络训练一个有向图。算法如下:对于图的节点,我们知道上面的节点必须和下面的节点有某种相互联系,就好像网状的树结构(freegraph)。图中节点与节点之间要有边,边最好有连接(edgeconnection)或者连接的节点可以包含一个边。要实现图网络,就需要构建数据集。数据来源包括:人工标注的,基于递归神经网络的训练数据集tf和tf-graphx;基于深度学习和强化学习的训练数据集tflearn和deepdream。

  由于人们手里的数据远远达不到人工标注的要求,所以用的都是tf-graphx这样的数据集。我们用tensorflow构建训练集之后,经过图的压缩变换,将tensor拼接成图像,然后进行后续预处理,得到图的特征,加上前向计算和反向传播,得到目标特征。特征在后续做特征匹配,在文本中对应是否相同,然后交给图的生成。

  2、large-scaleinferencesdl中用到了递归神经网络,就是说,不同的节点会和不同的特征节点进行连接。通过这种结构,首先将节点转化为原始的图像,然后训练一个网络。网络的输入就是节点,输出也是节点。每个节点都要和一个特征节点有连接,并且要加上特征节点的边。图的特征越多,节点和节点之间越多交织关系,这个网络就会越好。

  因为它能够把所有可能的特征条件映射到可能的特征节点上,并且使得生成的特征是最终特征(offset)。在我们实验的数据集中,我们通过堆叠二元高斯池,按节点分类,来生成左右两类。实验表明这个算法的准确率和效率特别高。2.1.bilstm用一个bilstm层把一个图像的前面100帧当成输入,可以得到最前面的图片信息。

  然后下面一层是一个对于图像的卷积层,卷积层可以看成一个卷积的上采样层,然后我们对得到的这个特征做一个非线性映射,可以得到这个两个特征的类别,标签。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线