Use ServerAlias, not ServerName, for second hostname
[mkws-moved-to-github.git] / tools / htdocs / whitepaper.markdown
1 % Embedded metasearching with the MasterKey Widget Set
2 % Mike Taylor
3 % July-September 2013
4
5
6 Introduction
7 ------------
8
9 There are lots of practical problems in building resource discovery
10 solutions. One of the biggest, and most ubiquitous is incorporating
11 metasearching functionality into existing web-sites -- for example,
12 content-management systems, library catalogues or intranets. In
13 general, even when access to core metasearching functionality is
14 provided by simple web-services such as
15 [Pazpar2](http://www.indexdata.com/pazpar2), integration work is seen
16 as a major part of most projects.
17
18 Index Data provides several different toolkits for communicating with
19 its metasearching middleware, trading off varying degrees of
20 flexibility against convenience:
21
22 * libpz2.js -- a low-level JavaScript library for interrogating the
23   Service Proxy and Pazpar2. It allows the HTML/JavaScript programmer
24   to create JavaScript applications display facets, records, etc. that
25   are fetched from the metasearching middleware.
26
27 * masterkey-ui-core -- a higher-level, complex JavaScript library that
28   uses libpz2.js to provide the pieces needed for building a
29   full-featured JavaScript application.
30
31 * MasterKey Demo UI -- an example of a searching application built on
32   top of masterkey-ui-core. Available as a public demo at
33   http://mk2.indexdata.com/
34
35 * MKDru -- a toolkit for embedding MasterKey-like searching into
36   Drupal sites.
37
38 All of these approaches require programming to a greater or lesser
39 extent. Against this backdrop, we introduced MKWS (the MasterKey
40 Widget Set) -- a set of simple, very high-level HTML+CSS+JavaScript
41 components that can be incorporated into any web-site to provide
42 MasterKey searching facilities. By placing `<div>`s with well-known
43 identifiers in any HTML page, the various components of an application
44 can be embedded: search-boxes, results areas, target information, etc.
45
46
47 Simple Example
48 --------------
49
50 The following is a complete MKWS-based searching application:
51
52     <html>
53       <head>
54         <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
55         <title>MKWS demo client</title>
56         <script type="text/javascript" src="http://mkws.indexdata.com/mkws-complete.js"></script>
57         <link rel="stylesheet" href="http://mkws.indexdata.com/mkws.css" />
58       </head>
59       <body>
60         <div id="mkwsSearch"></div>
61         <div id="mkwsResults"></div>
62       </body>
63     </html>
64
65 Go ahead, try it! You don't even need a web-server. Just copy and
66 paste this HTML into a file on your computer -- `/tmp/magic.html`,
67 say -- and point your web-browser at it:
68 `file:///tmp/magic.html`. Just like that, you have working
69 metasearching.
70
71
72 How the example works
73 ---------------------
74
75 If you know any HTML, the structure of the file will be familar to
76 you: the `<html>` element at the top level contains a `<head>` and a
77 `<body>`. In addition to whatever else you might want to put on your
78 page, you can add MKWS elements.
79
80 These fall into two categories. First, the prerequisites in the HTML
81 header, which are loaded from the tool site mkws.indexdata.com:
82
83 * `mkws-complete.js`
84   contains all the JavaScript needed by the widget-set.
85
86 * `mkws.css`
87   provides the default CSS styling 
88
89 Second, within the HTML body, `<div>` elements with special IDs that
90 begin `mkws` can be provided. These are filled in by the MKWS code,
91 and provide the components of the searching UI. The very simple
92 application above has only two such components: a search box and a
93 results area. But more are supported. The main `<div>`s are:
94
95 * `mkwsSearch` -- provides the search box and button.
96
97 * `mkwsResults` -- provides the results area, including a list of
98    brief records (which open out into full versions when clicked),
99    paging for large results sets, facets for refining a search,
100    sorting facilities, etc.
101
102 * `mkwsLang` -- provides links to switch between one of several
103    different UI languages. By default, English, Danish and German are
104    provided.
105
106 * `mkwsSwitch` -- provides links to switch between a view of the
107    result records and of the targets that provide them. Only
108    meaningful when `mkwsTargets` is also provided.
109
110 * `mkwsTargets` -- the area where per-target information will appear
111    when selected by the link in the `mkwsSwitch` area. Of interest
112    mostly for fault diagnosis rather than for end-users.
113
114 * `mkwsStat` --provides a status line summarising the statistics of
115    the various targets.
116
117 To see all of these working together, just put them all into the HTML
118 `<body>` like so:
119
120         <div id="mkwsSwitch"></div>
121         <div id="mkwsLang"></div>
122         <div id="mkwsSearch"></div>
123         <div id="mkwsResults"></div>
124         <div id="mkwsTargets"></div>
125         <div id="mkwsStat"></div>
126
127 Configuration
128 -------------
129
130 Many aspects of the behaviour of MKWS can be modified by setting
131 parameters into the `mkws_config` object. **This must be done *before*
132 including the MKWS JavaScript** so that when that code is executed it
133 can refer to the configuration values. So the HTML header looks like
134 this:
135
136         <script type="text/javascript">
137           var mkws_config = {
138             lang: "da",
139             sort_default: "title",
140             query_width: 60
141           };
142         </script>
143         <script type="text/javascript" src="http://mkws.indexdata.com/mkws-complete.js"></script>
144
145 This configuration sets the UI language to Danish (rather than the
146 default of English), initially sorts search results by title rather
147 than relevance (though as always this can be changed in the UI) and
148 makes the search box a bit wider than the default.
149
150 The full set of supported configuration items is described in the
151 reference guide below.
152
153
154 Control over HTML and CSS
155 -------------------------
156
157 More sophisticated applications will not simply place the `<div>`s
158 together, but position them carefully within an existing page
159 framework -- such as a Drupal template, an OPAC or a SharePoint page.
160
161 While it's convenient for simple applications to use a monolithic
162 `mkwsResults` area which contains record, facets, sorting options,
163 etc., customised layouts may wish to treat each of these components
164 separately. In this case, `mkwsResults` can be omitted, and the
165 following lower-level components provided instead:
166
167 * `mkwsTermlists` -- provides the facets
168
169 * `mkwsRanking` -- provides the options for how records are sorted and
170    how many are included on each page of results.
171
172 * `mkwsPager` -- provides the links for navigating back and forth
173    through the pages of records.
174
175 * `mkwsNavi` -- when a search result has been narrowed by one or more
176    facets, this area shows the names of those facets, and allows the
177    selected values to be clicked in order to remove them.
178
179 * `mkwsRecords` -- lists the actual result records.
180
181 Customisation of MKWS searching widgets can also be achieved by
182 overriding the styles set in the toolkit's CSS stylesheet. The default
183 styles can be inspected in `mkws.css` and overridden in any
184 styles that appears later in the HTML than that file. At the simplest
185 level, this might just mean changing fonts, sizes and colours, but
186 more fundamental changes are also possible.
187
188 To properly apply styles, it's necessary to understand how the HTML is
189 structured, e.g. which elements are nested within which
190 containers. The structures used by the widget-set are described in the
191 reference guide below.
192
193
194 Refinements
195 -----------
196
197
198 ### Message of the day
199
200 Some applications might like to open with content in the area that
201 will subsequently be filled with result-records -- a message of the
202 day, a welcome message or a help page. This can be done by placing an
203 `mkwsMOTDContainer` division on the page next to `mkwsResults` or
204 `mkwsRecords`. The contents of this element are initially displayed,
205 but will be hidden when a search is made.
206
207
208 ### Responsive design
209
210 Metasearching applications may need to appear differently on
211 small-screened mobile devices, or change their appearance when
212 screen-width changes (as when a small device is rotated). To achieve
213 this, MKWS supports responsive design which will move the termlists to
214 the bottom on narrow screens and to the sidebar on wide screens.
215
216 To turn on this behaviour, set the `responsive_design_width` to the desired
217 threshhold width in pixels. For example:
218
219         <script type="text/javascript">
220             var mkws_config = {
221                 responsive_design_width: 990
222             };
223         </script>
224
225 If individual result-related components are in use in place of the
226 all-in-one mkwsResults, then the redesigned application needs to
227 specify the locations where the termlists should appear in both
228 cases. In this case, wrap the wide-screen `mkwsTermlists` element in a
229 `mkwsTermlistContainer1` element; and provide an
230 `mkwsTermlistContainer2` element in the place where the narrow-screen
231 termlists should appear.
232
233
234 ### Popup results with jQuery UI
235
236 The [jQuery UI library](http://en.wikipedia.org/wiki/JQuery_UI)
237 can be used to construct MKWS applications in which the only component
238 generally visible on the page is a search box, and the results appear
239 in a popup. The key part of such an application is this invocation of
240 the MKWS jQuery plugin:
241
242         <script type="text/javascript">
243           jQuery.pazpar2({ "layout":"popup", width:800, height:500 });
244         </script>
245
246 The necessary scaffolding can be seen in an example application,
247 http://example.indexdata.com/index-popup.html
248
249
250 ### Authentication and target configuration
251
252 By default, MKWS configures itself to use a demo account on a service
253 hosted by mkws.indexdata.com. This demo account provides access to
254 about a dozen free data sources. Authentication onto this service is
255 via an authentication URL on the same server, which MKWS uses by
256 default so no configuration is needed.
257
258 Access to a customised set of resources (including resources that
259 require authentication) can be provided. In this case, a
260 customer-specific authentication URL is used to gain access to these
261 rather than the default set. Contact Index Data on info@indexdata.com
262 for details.
263
264
265 Reference Guide
266 ---------------
267
268 ### Configuration object
269
270 The configuration object `mkws_config` may be created before including
271 the MKWS JavaScript code to modify default behaviour. This structure
272 is a key-value lookup table, whose entries are described in the table
273 below. All entries are options, but if specified must be given values
274 of the specified type. If ommitted, each setting takes the indicated
275 default value; long default values are in footnotes to keep the table
276 reasonably narrow.
277
278 ---
279 Element                  Type    Default   Description
280 --------                 -----   --------- ------------
281 debug_level              int     1         Level of debugging output to emit. 0 = none, 1 = messages, 2 = messages with
282                                            datestamps, 3 = messages with datestamps and stack-traces.
283
284 facets                   array   *Note 1*  Ordered list of names of facets to display. Supported facet names are 
285                                            `sources`, `subjects` and `authors`.
286
287 lang                     string  en        Code of the default language to display the UI in. Supported language codes are `en` =
288                                            English, `de` = German, `da` = Danish, and whatever additional languages are configured
289                                            using `language_*` entries (see below).
290
291 lang_options             array   []        A list of the languages to offer as options. If empty (the default), then all
292                                            configured languages are listed.
293
294 language_*               hash              Support for any number of languages can be added by providing entries whose name is
295                                            `language_` followed by the code of the language. See the separate section below for
296                                            details.
297
298 pazpar2_url              string  *Note 2*  The URL used to access the metasearch middleware. This service must be configured to
299                                            provide search results, facets, etc. It may be either unmediated or Pazpar2 the
300                                            MasterKey Service Proxy, which mediates access to an underlying Pazpar2 instance. In
301                                            the latter case, `service_proxy_auth` must be provided.
302
303 perpage_default          string  20        The initial value for the number of records to show on each page.
304
305 perpage_options          array   *Note 3*  A list of candidate page sizes. Users can choose between these to determine how many
306                                            records are displayed on each page of results.
307
308 query_width              int     50        The width of the query box, in characters.
309
310 responsive_design_width  int               If defined, then the facets display moves between two locations as the screen-width
311                                            varies, as described above. The specified number is the threshhold width, in pixels,
312                                            at which the facets move between their two locations.
313
314 service_proxy_auth       url     *Note 4*  A URL which, when `use_service_proxy` is true, is fetched once at the beginning of each
315                                            session to authenticate the user and establish a session that encompasses a defined set
316                                            of targets to search in.
317
318 show_lang                bool    true      Indicates whether or not to display the language menu.
319
320 show_perpage             bool    true      Indicates whether or not to display the perpage menu.
321
322 show_sort                bool    true      Indicates whether or not to display the sort menu.
323
324 sort_default             string  relevance The label of the default sort criterion to use. Must be one of those in the `sort`
325                                            array.
326
327 sort_options             array   *Note 6*  List of supported sort criteria. Each element of the list is itself a two-element list:
328                                            the first element of each sublist is a pazpar2 sort-expression such as `data:0` and
329                                            the second is a human-readable label such as `newest`.
330
331 use_service_proxy        bool    true      If true, then a Service Proxy is used to deliver searching services rather than raw
332                                            Pazpar2.
333 ---
334
335 Perhaps we should get rid of the `show_lang`, `show_perpage` and
336 `show_sort` configuration items, and simply display the relevant menus
337 only when their containers are provided -- e.g. an `mkwsLang` element
338 for the language menu. But for now we retain these, as an easier route
339 to lightly customise the display than my changing providing a full HTML
340 structure.
341
342 #### Notes
343
344 1. ["sources", "subjects", "authors"]
345
346 2. /pazpar2/search.pz2
347
348 3. [10, 20, 30, 50]
349
350 4. http://mkws.indexdata.com/service-proxy-auth
351
352 5. http://mkws.indexdata.com/service-proxy/
353
354 6. [["relevance"], ["title:1", "title"], ["date:0", "newest"], ["date:1", "oldest"]]
355
356
357 ### Language specification
358
359 Support for another UI language can be added by providing an entry in
360 the `mkws_config` object whose name is `language_` followed by the
361 name of the language: for example, `language_Arabic` to support
362 Arabic. Then value of this entry must be a key-value lookup table,
363 mapping the English-language strings of the UI into their equivalents
364 in the specified language. For example:
365
366             var mkws_config = {
367               language_Arabic: {
368                 "Authors": "الكتاب",
369                 "Subjects": "المواضيع",
370                 // ... and others ...
371               }
372             }
373
374 The following strings occurring in the UI can be translated:
375 `Displaying`,
376 `Next`,
377 `Prev`,
378 `Records`,
379 `Search`,
380 `Sort by`,
381 `Targets`,
382 `Termlists`,
383 `and show`,
384 `found`,
385 `of`,
386 `per page`
387 and
388 `to`.
389
390 In addition, facet names can be translated:
391 `Authors`,
392 `Sources`
393 and
394 `Subjects`.
395
396 Finally, the names of fields in the full-record display can be
397 translated. These include, but may not be limited to:
398 `Author`,
399 `Date`,
400 `Location`,
401 `Subject`
402 and
403 `Title`.
404
405
406
407 ### jQuery plugin invocation
408
409 The MasterKey Widget Set can be invoked as a jQuery plugin rather than
410 by providing an HTML skeleton explicitly. When this approach is used,
411 the invocation is a single line of JavaScript:
412
413         <script>jQuery.pazpar2();</script>
414
415 This code should be inserted in the page at the position where the
416 metasearch should occur.
417
418 When invoking this plugin, a key-value lookup table of named options
419 may be passed in to modify the default behaviour, as in the exaple
420 above. The available options are as follows:
421
422 ---
423 Element    Type    Default           Description
424 --------   -----   ---------         ------------
425 layout     string  popup             Specifies how the user interface should
426                                      appear. Options are `table` (the default,
427                                      with facets at the bottom), `div` (with
428                                      facets at the side) and `popup` (to
429                                      obtain a popup window).
430
431 width      int     880               Width of the popup window (if used), in
432                                      pixels.
433
434 height     int     760               Height of the popup window (if used), in
435                                      pixels.
436
437 id_button  string  input#mkwsButton  (Never change this.)
438
439 id_popup   string  #mkwsPopup        (Never change this.)
440 ---
441
442 Note that when using the `popup` layout, facilities from the jQuery UI
443 toolkit are used, so it's necessary to include both CSS and JavaScript
444 from that toolkit. The relevant lines are:
445
446     <script src="http://code.jquery.com/ui/1.10.3/jquery-ui.min.js"></script>
447     <link rel="stylesheet" type="text/css" href="http://code.jquery.com/ui/1.10.3/themes/smoothness/jquery-ui.css" />
448
449
450 ### The structure of the HTML generated by the MKWS widgets
451
452 In order to override the default CSS styles provided by the MasterKey Widget
453 Set, it's necessary to understand that structure of the HTML elements that are
454 generated within the components. This knowledge make it possible, for example,
455 to style each `<div>` with class `term` but only when it occurs inside an
456 element with ID `#mkwsTermlists`, so as to avoid inadvertently styling other
457 elements using the same class in the non-MKWS parts of the page.
458
459 The HTML structure is as follows. As in CSS, #ID indicates a unique identifier
460 and .CLASS indicates an instance of a class.
461
462     #mkwsSwitch
463       a*
464
465     #mkwsLang
466       ( a | span )*
467
468     #mkwsSearch
469       form
470         input#mkwsQuery type=text
471         input#mkwsButton type=submit
472
473     #mkwsBlanket
474       (no contents -- used only for masking)
475
476     #mkwsResults
477       table
478         tbody
479           tr
480             td
481               #mkwsTermlists
482                 div.title
483                 div.facet*
484                   div.termtitle
485                   ( a span br )*
486             td
487               div#mkwsRanking
488                 form#mkwsSelect
489                   select#mkwsSort
490                   select#mkwsPerpage
491               #mkwsPager
492               #mkwsNavi
493               #mkwsRecords
494                 div.record*
495                   span (for sequence number)
496                   a (for title)
497                   span (for other information such as author)
498                   div.details (sometimes)
499                     table
500                       tbody
501                         tr*
502                           th
503                           td
504     #mkwsTargets
505       #mkwsBytarget
506         table
507           thead
508             tr*
509               td*
510           tbody
511             tr*
512               td*
513
514     #mkwsStat
515       span.head
516       span.clients
517       span.records
518
519 - - -
520
521 Copyright (C) 2013 by IndexData ApS, <http://www.indexdata.com>