第一篇 了解

什么是Quepy

quepy是一个Python框架改造自然语言问题在数据库查询语言查询。它可以很容易地定制不同类型的问题,在自然语言和数据库查询。因此,用很少的代码,你可以建立自己的系统,自然语言访问您的数据库。

目前quepy 支持SPARQL言和MQL数据库查询语言。我们计划将它扩展到其他数据库查询语言。

说明:

你需要安装docopt和NumPy。除此之外,您可以只键入:

pip install quepy

你可以在这里得到更多的安装细节:

http://quepy.readthedocs.org/en/latest/installation.html

了解更多,你可以在这里找到教程:

http://quepy.readthedocs.org/en/latest/tutorial.html

这里有完整的文档:

http://quepy.readthedocs.org/

第二篇 学习

一个例子

为了说明你可以做什么与quepy,我们包括一个示例应用程序通过他们的sparql端点访问DBpedia内容。

您可以在这里尝试在线示例在线演示

或者,您可以通过以下方式尝试此示例:

python examples/dbpedia/main.py "Who is Tom Cruise?"

它会输出这样的东西:
SELECT DISTINCT?x1 WHERE {
?x0 rdf:type foaf:Person。
?x0 rdfs:label“Tom Cruise”@en。
?x0 rdfs:comment?x1。
}
#输出
Thomas Cruise Mapother IV, widely known as Tom Cruise, is an...

从自然语言到sparql的转换是通过首先使用特殊形式的正则表达式来完成的:

person_name = Group(Plus(Pos("NNP")), "person_name")
regex = Lemma("who") + Lemma("be") + person_name + Question(Pos("."))

然后使用和方便的方式来表达语义关系:

person  =  IsPerson () +  HasKeyword (person_name )
definition = DefinitionOf (person )

转换的其余部分由框架自动处理,最终生成这个sparql:

SELECT  DISTINCT  ?x1  WHERE  {
?x0 rdf :type foaf :Person 。
?x0 rdfs :label “Tom Cruise” @ en 。
?x0 rdfs :comment ?x1 。
}

使用非常相似的过程,您可以生成和MQL查询相同的问题获取:

[{
"/common/topic/description": [{}],
"/type/object/name": "Tom Cruise",
"/type/object/type": "/people/person"
}]

为了说明如何使用quepy作为数据库的自然语言界面的框架,我们将构建(逐步)一个访问DBpedia的示例应用程序 。

完成的示例应用程序可以在线尝试: 在线演示

完成的示例代码可以在这里找到: 代码

第一步是选择我们希望用dbpedia数据库回答的问题,然后我们将开发一个可以将它们转换成SPARQL查询的机构。

所选问题

在我们的示例应用程序中,我们将寻求回答以下问题:

谁是<someone>,例如:

  • 汤姆克鲁斯是谁?
  • 谁是奥巴马总统?

什么是<something>,例如:

  • 什么是汽车?
  • 什么是Python编程语言?

列出<brand> <something>,例如:

  • 列出Microsoft软件
  • 列出菲亚特汽车

开始一个quepy项目

要启动一个quepy项目,您必须创建一个quepy应用程序。在我们的例子,我们的应用程序被称为DBpedia中,我们通过运行应用程序:

$ quepy.py startapp dbpedia

你会发现一个文件夹和一些创建的文件。它应该是这样的:
$ cd dbpedia
$ tree . .
├── dbpedia
│ ├── __init__.py
│ ├── parsing.py
│ ├── dsl.py
│ └── settings.py
└── main.py 1 directory, 4 files

这是每个项目的基本结构。

  • dbpedia / parsing.py:您将定义与自然语言问题匹配并将其转换为抽象语义表示的正则表达式的文件。
  • dbpedia / dsl.py:您将在其中定义数据库模式的域特定语言的文件。在SPARQL的情况下,您将在这里指定通常存在于本体中的东西:关系名称等。
  • dbpedia / settings.py:安装的某些方面的配置文件。
  • main.py:该文件是一个可选的kickstart点,您可以在其中拥有与应用程序交互所需的所有代码。如果需要,您可以安全地删除此文件。

配置应用程序

首先确保您已经下载了nltk标记器的必要数据。如果不检查 安装部分。

现在编辑dbpedia / settings.py并将nltk数据的路径添加到 NLTK_DATA变量。这个文件有一些其他配置选项,但我们不需要这个例子。

还要配置LANGUAGE,在这个例子中我们将使用sparql

定义正则表达式

为了处理正则表达式,quepy使用refo,一个真棒库来使用正则表达式作为对象。您可以在这里阅读更多关于refo的信息

我们需要定义与自然语言问题相匹配并将其转换为抽象语义表示的正则表达式。这将定义具体哪些问题系统将能够处理和如何处理。

在我们的示例中,我们将编辑dbpedia / parsing.py文件。我们来看一下正则表达式的例子来处理“What is ...”的 问题。整个定义将如下所示:

from refo import Group, Question
from quepy.dsl import HasKeyword
from quepy.parsing import Lemma, Pos, QuestionTemplate from dsl import IsDefinedIn class WhatIs(QuestionTemplate):
"""
Regex for questions like "What is ..."
Ex: "What is a car"
""" target = Question(Pos("DT")) + Group(Pos("NN"), "target")
regex = Lemma("what") + Lemma("be") + target + Question(Pos(".")) def interpret(self, match):
thing = match.target.tokens
target = HasKeyword(thing)
definition = IsDefinedIn(target)
return definition

现在让我们一步一步地讨论这个过程。

首先,请注意正则表达式处理程序需要是一个子类 quepy.parsing.QuestionTemplate。他们还需要定义一个regex使用refo regex 调用的类属性。

然后,我们将输入问题的结构描述为正则表达式,并将其存储在正则表达式属性中。在我们的例子中,这是在第14行中完成的:

未完!

【人工智能系列】python的Quepy库的学习的更多相关文章

  1. python 协程库gevent学习--gevent数据结构及实战(三)

    gevent学习系列第三章,前面两章分析了大量常用几个函数的源码以及实现原理.这一章重点偏向实战了,按照官方给出的gevent学习指南,我将依次分析官方给出的7个数据结构.以及给出几个相应使用他们的例 ...

  2. Python关于PIL库的学习总结与成果展示

    一.关于PIL库的学习总结 PIL(Python Image Library)库是Python语言的第三方库,需要通过pip工具安装.安装PIL库的方法如下,需要注意,安装库的名字是pillow. : ...

  3. python calendar标准库基础学习

    # -*- coding: utf-8 -*-# 作者:新手__author__ = 'Administrator'#标准库:日期时间基础学习:calendar:处理日期#例1import calen ...

  4. python linecache标准库基础学习

    #python标准库基础之:linecacge:高效读取文本文件#说明与作用"""可以从文件或者导入python模块获取文件,维护一个结果缓存,从而可以更高效地从相同文件 ...

  5. python StringIO标准库基础学习

    #标准库:StringIO提供类文件API文本缓冲区#作用:可以处理内存中的文本,有2种不同的实现:cStringIP版本用c编写提高速度,StringIO用python来提供可移植性,与其他字符串连 ...

  6. [python]-数据科学库Numpy学习

    一.Numpy简介: Python中用列表(list)保存一组值,可以用来当作数组使用,不过由于列表的元素可以是任何对象,因此列表中所保存的是对象的指针.这样为了保存一个简单的[1,2,3],需要有3 ...

  7. python 协程库gevent学习--gevent数据结构及实战(四)

    一不留神已经到第四部分了,这一部分继续总结数据结构和常用的gevent类,废话不多说继续. 1.Timeout错误类 晚上在调试调用第三方接口的时候,发现有些接口耗时非常多,觉得应该有个超时接口来限制 ...

  8. python 协程库gevent学习--gevent源码学习(二)

    在进行gevent源码学习一分析之后,我还对两个比较核心的问题抱有疑问: 1. gevent.Greenlet.join()以及他的list版本joinall()的原理和使用. 2. 关于在使用mon ...

  9. python 协程库gevent学习--源码学习(一)

    总算还是要来梳理一下这几天深入研究之后学习到的东西了. 这几天一直在看以前跟jd对接的项目写的那个gevent代码.为了查错,基本上深入浅出了一次gevent几个重要部件的实现和其工作的原理. 这里用 ...

随机推荐

  1. maven实战(4)-- maven构建自己的jar到本地仓库中

    在平时的开发中,经常需要用到自己以前开发的一个jar包,那么如何使用将自己开发的jar提交到本地仓库中,供其他的项目依赖呢?主要有三种方法: (1)使用mvn的构建命令:mvn clean insta ...

  2. I.MX6 sdio 设备注册及识别

    /************************************************************************* * I.MX6 sdio 设备注册及识别 * 说明 ...

  3. AJAX路径问题

    如果发AJAX请求,看发送请求消息的路径,如果看到报404的错,而这个 时候看下发送头部的路径,如果看到%20,这个时候有可能就是写路劲的时候,不小心按了一个空格

  4. How to study Watir?

    我在群空间,总是看到很多Watir新手,反复的问:我对元素的定位怎么又出错?我该从哪里着手啊?我给一个我认为最简单方便的学习方法.1. Ruby语法基础要入门,网上有一个不到2M的帮助文档,从头到尾仔 ...

  5. vue+webpack 引入jquery

    1 首先 cnpm install jquery:这时jquery已经安装成功,可以使用jquery,但是jquery不是全局的,需要在使用的组件中引入jquery,jquery的路径是jquery/ ...

  6. HTML 新属性

    accesskey 属性 -- 代表链接的快捷键访问方式 定义了accesskey的链接可以使用快捷键(ALT+字母)访问. 主菜单与导航菜单使用accesskey,通常是不错的选择. 取值: 字母 ...

  7. 洛谷 - P1361 - 小M的作物 - 最小割 - 最大权闭合子图

    第一次做最小割,不是很理解. https://www.luogu.org/problemnew/show/P1361 要把东西分进两类里,好像可以应用最小割的模板,其中一类A作为源点,另一类B作为汇点 ...

  8. 关于国债的一些计算: 理论TF价格1(缴款日前无付息)

    计算 ExpectedTFPrice 是一个比较复杂的计算,我们这里讨论简单的一种情况. 给定一只可交割国债bond(一般为CTD),一个国债期货tf,一个日期t(表示tf的一个交易日期,我们通过t日 ...

  9. bzoj 1874: [BeiJing2009 WinterCamp]取石子游戏【博弈论】

    先预处理出来sg值,然后先手必败状态就是sg[a[i]]的xor和为0(nim) 如果xor和不为0,那么一定有办法通过一步让xor和为0,具体就是选一个最大的sg[a[i]],把它去成其他sg值的x ...

  10. 黑客攻防技术宝典web实战篇:攻击应用程序架构习题

    猫宁!!! 参考链接:http://www.ituring.com.cn/book/885 随书答案. 1. 假设受攻击的应用程序使用两台不同的服务器:一台应用程序服务器和一台数据库服务器.已经发现一 ...