Completeness of Queries over SQL Databases Werner Nutt and Simon - - PowerPoint PPT Presentation

▶
completeness of queries over sql databases
SMART_READER_LITE
LIVE PREVIEW

Completeness of Queries over SQL Databases Werner Nutt and Simon - - PowerPoint PPT Presentation

Dec 20, 2022 578 likes •895 views

Completeness of Queries over SQL Databases Werner Nutt and Simon Razniewski Introduction } Data Quality research investigates how good data is } Dimensions of Data Quality are: } Correctness } Timeliness } Completeness 2

slide-1
SLIDE 1

Completeness of Queries over SQL Databases

Werner Nutt and Simon Razniewski

slide-2
SLIDE 2

Introduction

} Data Quality research investigates how good data is } Dimensions of Data Quality are:

} Correctness } Timeliness } Completeness

Completeness of Queries over SQL Databases 31.10.2012 2

slide-3
SLIDE 3

Completeness

} Query answering over incomplete data: extensively studied

} Codd: NULL values [1975] } Imielinski/Lipski: Representation systems [1984]

} Query completeness: Little attention

} Razniewski/Nutt: Only on missing records [VLDB 2011]

Completeness of Queries over SQL Databases 31.10.2012 3

slide-4
SLIDE 4

Bolzano is in the Province of South Tyrol

} Trilingual province in the north of Italy } Has its own school administration

Bolzano

Completeness of Queries over SQL Databases 31.10.2012 4

slide-5
SLIDE 5

Incompleteness in the school data

result(Paul, ¡Music, ¡A) result(Giulia, ¡Music, ¡A) result(Paul, ¡Music, ¡NULL) Facts in real world Facts in school database Missing information in the school database:

  • no grade for Paul (missing value)
  • no entry for Giulia (missing record)

Ideal database Available database

Completeness of Queries over SQL Databases 31.10.2012 5

slide-6
SLIDE 6

Consequence: Query answers are incorrect

Query Q: ”How many pupils have grade A in Music?” According to ideal database: Q( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡2 According to available database: Q( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡0 à If data is incomplete, query answers become incorrect.

result(Paul, ¡Music, ¡A) result(Giulia, ¡Music, ¡A) result(Paul, ¡Music, ¡NULL) Completeness of Queries over SQL Databases 31.10.2012 6

slide-7
SLIDE 7

Use Metadata to guarantee completeness!

Completeness cannot be checked by inspecting a database:

} One cannot see what is missing!

However, we may know whether parts of a db are complete, e.g.,

} “The grades from vocational schools are complete” } “The Music grades from primary schools are complete”

è Idea: Assess completeness of a query using completeness assertions for (parts of) tables

Completeness of Queries over SQL Databases 31.10.2012 7

... vocational schools use the information system of the province to manage grades ... primary schools took part in a survey

  • f music education
slide-8
SLIDE 8

Reasoning about query completeness

You cannot, because information about pupils from high schools could be missing

Space of possible information Assertions about partial completeness

Biology grades from high schools are complete I want to know “How many pupils have grade A in Music?“ Can I trust the query answer? Grades from vocational schools are complete All Music grades from primary schools are complete

Completeness of Queries over SQL Databases 31.10.2012 8

slide-9
SLIDE 9

Reasoning about query completeness (2)

You can, because all needed information is complete in the database Space of possible information Assertions about partial completeness

Biology grades from high schools are complete I want to know “How many pupils at vocational schools have grade A in Music?“ Can I trust the query answer? Grades from vocational schools are complete All Music grades from primary schools are complete

  • 1. Formalization:
  • incomplete dbs
  • assertions about

db completeness

  • 2. Reasoning

methods

Completeness of Queries over SQL Databases 31.10.2012 9

  • 3. Implementation

techniques [Demo today]

slide-10
SLIDE 10

Running example: Schema

result(name, ¡subject, ¡grade) pupil(name, ¡schoolName, ¡schoolType)

Completeness of Queries over SQL Databases 31.10.2012 10

slide-11
SLIDE 11

Formalization: Incomplete database

When talking about incompleteness, we need a complete reference An incomplete database D is a pair of an ideal database Di ¡ and an available database Da D = ¡(Di, ¡Da) such that each record in Da is less informative than some record in Di ¡

Completeness of Queries over SQL Databases 31.10.2012 11

slide-12
SLIDE 12

Example: Incomplete database

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Di Da

less informative than

result(Paul, ¡Music, ¡A) result(Giulia, ¡Music, ¡A) pupil(Paul, ¡Verdi, ¡Voc) result(Paul, ¡Music, ¡NULL)

Completeness of Queries over SQL Databases 31.10.2012 12

slide-13
SLIDE 13

Formalization: Query completeness

Query Q “The answer to Q is complete“ Notation: Compl(Q) ¡ Semantics:

(Di, ¡Da) ¡⊨ ¡Compl(Q) ¡ ¡ ¡ ¡ ¡ ¡iff ¡ ¡ ¡ ¡ ¡ ¡ ¡Q(Di) ¡= ¡Q(Da)

Completeness of Queries over SQL Databases 31.10.2012 13

[Motro1989]

slide-14
SLIDE 14

Formalization: DB completeness

Table completeness statement assert partial completeness of a db table. E.g.,

“The available database contains

all subjects taken by pupils at vocational schools“ Formally:

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡resulti(n,s,g), ¡pupili ¡(n,sn, ¡Voc) ¡ ¡ ¡à ¡ ¡ ¡ ¡ ¡∃g‘ ¡ ¡resulta ¡(n,s,g‘) Every result of a pupil from a vocational school

according to the ideal db is also in the available db (but the grade may be missing)

This is a tuple- generating dependency (TGD)

Completeness of Queries over SQL Databases 31.10.2012 14

slide-15
SLIDE 15

Example: DB completeness

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡resulti(n,s,g), ¡pupili ¡(n,sn, ¡Voc) ¡ ¡ ¡à ¡∃g‘ ¡ ¡resulta ¡(n,s,g‘) holds over the incomplete database ¡(Di,Da) ¡ because ¡result(Paul, ¡Music, ¡NULL) ¡is in ¡ ¡Da

Completeness of Queries over SQL Databases 31.10.2012 15

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Di

Da

result(Paul, ¡Music, ¡A) result(Giulia, ¡Music, ¡A) pupil(Paul, ¡Verdi, ¡Voc) result(Paul, ¡Music, ¡NULL)

slide-16
SLIDE 16

The reasoning problem

Space of possible information Assertions about partial completeness

Biology grades from high schools are complete I want to know “How many pupils at vocational schools have taken Music?“ Can I trust the query answer? Grades from vocational schools are complete All Music grades from primary schools are complete

Table completeness statements C C Query Q Q

Does C imply Comp mpl(Q (Q)?

Completeness of Queries over SQL Databases 31.10.2012 16

slide-17
SLIDE 17

Reasoning: The principle

Query: “Pupils at vocational schools that took Music“ ¡ Qpupils(x):-­‑result(x, ¡Music, ¡g), ¡pupil(x, ¡sn, ¡Voc)

  • 1. Assume Qpupils ¡returns x‘ over Di
  • 2. See which facts must be in Di

… result(x‘, ¡Music, ¡g‘) ¡ pupil(x‘, ¡sn‘, ¡Voc) ¡ …

Completeness of Queries over SQL Databases 31.10.2012 17

slide-18
SLIDE 18

Reasoning: The principle (2)

  • 3. Use table completeness to derive facts in Da

“All subjects taken by pupils at vocational schools there“ resulti(n, ¡s, ¡g), ¡pupili ¡(n, ¡sn, ¡Voc) ¡à ¡∃g‘ ¡resulta ¡(n, ¡s, ¡g‘) “All pupils there“ pupili ¡(n, ¡sn, ¡st) ¡à ¡pupila ¡(n, ¡sn, ¡st)

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Di

… result(x‘, ¡Music, ¡g‘) ¡ pupil(x‘, ¡sn‘, ¡Voc) ¡ …

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Da

… result(x‘, ¡Music, ¡NULL) pupil ¡(x‘, ¡sn‘, ¡Voc) …

Completeness of Queries over SQL Databases 31.10.2012 18

slide-19
SLIDE 19

Reasoning: The principle (3)

  • 4. Query the available database

“Pupils at vocational schools that took Music“ Q(Da) ¡= ¡{x'} ¡ ¡ ¡ ¡à ¡ ¡ ¡x' ¡is also in Q(Da) Conclusion: Query Q is complete given the table completeness statements

… result(x‘, ¡Music, ¡g‘) pupil ¡(x‘, ¡sn‘, ¡Voc) … Da

Completeness of Queries over SQL Databases 31.10.2012 19

slide-20
SLIDE 20

Reasoning summary

1.

Assume, Q returns a generic answer x‘ over Di

2.

See which facts must be in Di

3.

Use table completeness to derive facts in Da

4.

Evaluate Q(Da)

5.

If x‘ is returned, the query is complete Reasoning is NP-complete for DBs without NULLs [Razniewski/Nutt

VLDB 2011]

Completeness of Queries over SQL Databases 31.10.2012 20

Is that unique? How to evaluate

  • ver databases

with NULLs?

slide-21
SLIDE 21

What is the Meaning of NULL?

} No grades were given in the Pottery course?

Non-existing value

} Paul received a grade, but the grade was not recorded?

Unknown value

} It is unknown, which of the two is the case?

Ambiguous NULL à NULLs may indicate incomplete information, but need not à Usage of NULLs is ambiguous

result(Paul, ¡Pottery, ¡NULL)

Completeness of Queries over SQL Databases 31.10.2012 21

slide-22
SLIDE 22

Reasoning over databases w/ NULLs

¡ ¡ ¡ ¡ ¡Qpupils(x):-­‑result(x, ¡Music, ¡A), ¡pupil(x, ¡sn, ¡Voc)

  • 1. Assume Qpupils ¡returns x‘ over Di
  • 2. See which facts must be in Di

result(x‘, ¡Music, ¡A) ¡ pupil(x‘, ¡??, ¡Voc) ¡ result(x‘, ¡Music, ¡A) ¡ pupil(x‘, ¡sn‘ ¡,Voc) ¡ result(x‘, ¡Music, ¡A) ¡ pupil(x‘, ¡NULL, ¡Voc) ¡

Completeness of Queries over SQL Databases 31.10.2012 22

“Pupils at vocational schools with A in Music“

slide-23
SLIDE 23

Challenge 1: How can we adapt the reasoning to NULLs?

} In general, the reasoning has to be done for both cases

à Reasoning is in ΠP

2

} If NULLs stand only for unknown values, then no NULLs

can appear in Di and therefore the second case cannot apply à Reasoning is NP-complete

Completeness of Queries over SQL Databases 31.10.2012 23

slide-24
SLIDE 24

Reasoning with NULLs: Complexity

31.10.2012 Completeness of Queries over SQL Databases 24

NULLs mean unknown values NULLs mean inapplicable values Queries w/o selfjoins PTIME PTIME Queries w/ selfjoins NP-complete In ΠP

2

slide-25
SLIDE 25

Challenge 2: How to compute answers of complete queries?

Q(g) ¡:-­‑ ¡result(Paul, ¡s, ¡g) ”All grades of Paul”

Q(Da) ¡=

result(Paul, ¡Pottery, ¡NULL) result(Paul, ¡Pottery, ¡A) result(Paul, ¡Music, ¡B)

Da

Q is complete

  • ver (Di,Da)

if NULL stands for a non-existing value if NULL stands for an unknown value

Completeness of Queries over SQL Databases 31.10.2012 25

{NULL, ¡ ¡A, ¡ ¡B} {A, ¡ ¡B}

{

slide-26
SLIDE 26

Reasoning with both kinds of NULLs

31.10.2012 Completeness of Queries over SQL Databases 26

Result: Reasoning has the same complexity as reasoning with NULLs standing for inapplicable values (in ΠP

2)

Result: If a query is complete, tuples that contain unknown NULLs can be forgotten in the query answer

slide-27
SLIDE 27

Make different NULLs explicit

Ambiguity can be resolved by boolean guards Allows to count how many pupils received a grade (2-3) In practice, boolean guards possibly already used where needed result name subject wasGraded grade Paul … yes B Giulia … yes NULL Maria … no NULL Andrea … NULL NULL Unknown Not applicable Unknown whether applicable result name subject grade Paul … B Giulia … NULL Maria … NULL Andrea … NULL

Completeness of Queries over SQL Databases 31.10.2012 27

slide-28
SLIDE 28

Outcome

} Extended framework

} Partial databases with NULLs } TC statements with projections } Reasoning for different meanings of NULL

} Complete queries can be evaluated by

standard SQL database engines

} Complexities between PTIME and ΠP

2

Completeness of Queries over SQL Databases 31.10.2012 28

slide-29
SLIDE 29

Conclusion

} Query completeness assessment is practically relevant } Reasoning over SQL databases is possible } Demo at http://magik-demo.inf.unibz.it/

Completeness of Queries over SQL Databases 31.10.2012 29

slide-30
SLIDE 30

Questions?

Completeness of Queries over SQL Databases 31.10.2012 30