Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : *
3 : : * streamutil.c - utility functions for pg_basebackup, pg_receivewal and
4 : : * pg_recvlogical
5 : : *
6 : : * Author: Magnus Hagander <magnus@hagander.net>
7 : : *
8 : : * Portions Copyright (c) 1996-2024, PostgreSQL Global Development Group
9 : : *
10 : : * IDENTIFICATION
11 : : * src/bin/pg_basebackup/streamutil.c
12 : : *-------------------------------------------------------------------------
13 : : */
14 : :
15 : : #include "postgres_fe.h"
16 : :
17 : : #include <sys/time.h>
18 : : #include <unistd.h>
19 : :
20 : : #include "access/xlog_internal.h"
21 : : #include "common/connect.h"
22 : : #include "common/fe_memutils.h"
23 : : #include "common/file_perm.h"
24 : : #include "common/logging.h"
25 : : #include "common/string.h"
26 : : #include "datatype/timestamp.h"
27 : : #include "port/pg_bswap.h"
28 : : #include "pqexpbuffer.h"
29 : : #include "receivelog.h"
30 : : #include "streamutil.h"
31 : :
32 : : #define ERRCODE_DUPLICATE_OBJECT "42710"
33 : :
34 : : int WalSegSz;
35 : :
36 : : static bool RetrieveDataDirCreatePerm(PGconn *conn);
37 : : static char *FindDbnameInConnParams(PQconninfoOption *conn_opts);
38 : :
39 : : /* SHOW command for replication connection was introduced in version 10 */
40 : : #define MINIMUM_VERSION_FOR_SHOW_CMD 100000
41 : :
42 : : /*
43 : : * Group access is supported from version 11.
44 : : */
45 : : #define MINIMUM_VERSION_FOR_GROUP_ACCESS 110000
46 : :
47 : : const char *progname;
48 : : char *connection_string = NULL;
49 : : char *dbhost = NULL;
50 : : char *dbuser = NULL;
51 : : char *dbport = NULL;
52 : : char *dbname = NULL;
53 : : int dbgetpassword = 0; /* 0=auto, -1=never, 1=always */
54 : : static char *password = NULL;
55 : : PGconn *conn = NULL;
56 : :
57 : : /*
58 : : * Connect to the server. Returns a valid PGconn pointer if connected,
59 : : * or NULL on non-permanent error. On permanent error, the function will
60 : : * call exit(1) directly.
61 : : */
62 : : PGconn *
4554 magnus@hagander.net 63 :CBC 349 : GetConnection(void)
64 : : {
65 : : PGconn *tmpconn;
4066 heikki.linnakangas@i 66 : 349 : int argcount = 7; /* dbname, replication, fallback_app_name,
67 : : * host, user, port, password */
68 : : int i;
69 : : const char **keywords;
70 : : const char **values;
71 : : const char *tmpparam;
72 : : bool need_password;
73 : 349 : PQconninfoOption *conn_opts = NULL;
74 : : PQconninfoOption *conn_opt;
75 : 349 : char *err_msg = NULL;
76 : :
77 : : /* pg_recvlogical uses dbname only; others use connection_string only. */
2806 noah@leadboat.com 78 [ + + - + ]: 349 : Assert(dbname == NULL || connection_string == NULL);
79 : :
80 : : /*
81 : : * Merge the connection info inputs given in form of connection string,
82 : : * options and default values (dbname=replication, replication=true, etc.)
83 : : */
4066 heikki.linnakangas@i 84 : 349 : i = 0;
85 [ + + ]: 349 : if (connection_string)
86 : : {
87 : 4 : conn_opts = PQconninfoParse(connection_string, &err_msg);
88 [ - + ]: 4 : if (conn_opts == NULL)
737 tgl@sss.pgh.pa.us 89 :UBC 0 : pg_fatal("%s", err_msg);
90 : :
4066 heikki.linnakangas@i 91 [ + + ]:CBC 168 : for (conn_opt = conn_opts; conn_opt->keyword != NULL; conn_opt++)
92 : : {
206 dgustafsson@postgres 93 [ + + + - ]:GNC 164 : if (conn_opt->val != NULL && conn_opt->val[0] != '\0')
4066 heikki.linnakangas@i 94 :CBC 8 : argcount++;
95 : : }
96 : :
97 : 4 : keywords = pg_malloc0((argcount + 1) * sizeof(*keywords));
98 : 4 : values = pg_malloc0((argcount + 1) * sizeof(*values));
99 : :
100 : : /*
101 : : * Set dbname here already, so it can be overridden by a dbname in the
102 : : * connection string.
103 : : */
206 dgustafsson@postgres 104 :GNC 4 : keywords[i] = "dbname";
105 : 4 : values[i] = "replication";
106 : 4 : i++;
107 : :
4066 heikki.linnakangas@i 108 [ + + ]:CBC 168 : for (conn_opt = conn_opts; conn_opt->keyword != NULL; conn_opt++)
109 : : {
206 dgustafsson@postgres 110 [ + + + - ]:GNC 164 : if (conn_opt->val != NULL && conn_opt->val[0] != '\0')
111 : : {
4066 heikki.linnakangas@i 112 :CBC 8 : keywords[i] = conn_opt->keyword;
113 : 8 : values[i] = conn_opt->val;
114 : 8 : i++;
115 : : }
116 : : }
117 : : }
118 : : else
119 : : {
120 : 345 : keywords = pg_malloc0((argcount + 1) * sizeof(*keywords));
121 : 345 : values = pg_malloc0((argcount + 1) * sizeof(*values));
206 dgustafsson@postgres 122 :GNC 345 : keywords[i] = "dbname";
123 : 345 : values[i] = dbname;
124 : 345 : i++;
125 : : }
126 : :
4066 heikki.linnakangas@i 127 :CBC 349 : keywords[i] = "replication";
3680 rhaas@postgresql.org 128 [ + + ]: 349 : values[i] = dbname == NULL ? "true" : "database";
4066 heikki.linnakangas@i 129 : 349 : i++;
130 : 349 : keywords[i] = "fallback_application_name";
131 : 349 : values[i] = progname;
132 : 349 : i++;
133 : :
4554 magnus@hagander.net 134 [ + + ]: 349 : if (dbhost)
135 : : {
136 : 125 : keywords[i] = "host";
137 : 125 : values[i] = dbhost;
138 : 125 : i++;
139 : : }
140 [ + + ]: 349 : if (dbuser)
141 : : {
142 : 7 : keywords[i] = "user";
143 : 7 : values[i] = dbuser;
144 : 7 : i++;
145 : : }
146 [ + + ]: 349 : if (dbport)
147 : : {
148 : 125 : keywords[i] = "port";
149 : 125 : values[i] = dbport;
150 : 125 : i++;
151 : : }
152 : :
153 : : /* If -W was given, force prompt for password, but only the first time */
1319 tgl@sss.pgh.pa.us 154 [ - + - - ]: 349 : need_password = (dbgetpassword == 1 && !password);
155 : :
156 : : do
157 : : {
158 : : /* Get a new password if appropriate */
3803 159 [ - + ]: 349 : if (need_password)
160 : : {
668 peter@eisentraut.org 161 :UBC 0 : free(password);
1319 tgl@sss.pgh.pa.us 162 : 0 : password = simple_prompt("Password: ", false);
3803 163 : 0 : need_password = false;
164 : : }
165 : :
166 : : /* Use (or reuse, on a subsequent connection) password if we have it */
1319 tgl@sss.pgh.pa.us 167 [ - + ]:CBC 349 : if (password)
168 : : {
4066 heikki.linnakangas@i 169 :UBC 0 : keywords[i] = "password";
2784 tgl@sss.pgh.pa.us 170 : 0 : values[i] = password;
171 : : }
172 : : else
173 : : {
3803 tgl@sss.pgh.pa.us 174 :CBC 349 : keywords[i] = NULL;
175 : 349 : values[i] = NULL;
176 : : }
177 : :
178 : : /*
179 : : * Only expand dbname when we did not already parse the argument as a
180 : : * connection string ourselves.
181 : : */
206 dgustafsson@postgres 182 :GNC 349 : tmpconn = PQconnectdbParams(keywords, values, !connection_string);
183 : :
184 : : /*
185 : : * If there is too little memory even to allocate the PGconn object
186 : : * and PQconnectdbParams returns NULL, we call exit(1) directly.
187 : : */
4294 magnus@hagander.net 188 [ - + ]:CBC 349 : if (!tmpconn)
737 tgl@sss.pgh.pa.us 189 :UBC 0 : pg_fatal("could not connect to server");
190 : :
191 : : /* If we need a password and -w wasn't given, loop back and get one */
4554 magnus@hagander.net 192 [ + + - + ]:CBC 351 : if (PQstatus(tmpconn) == CONNECTION_BAD &&
4554 magnus@hagander.net 193 :UBC 0 : PQconnectionNeedsPassword(tmpconn) &&
194 [ # # ]: 0 : dbgetpassword != -1)
195 : : {
4294 196 : 0 : PQfinish(tmpconn);
3803 tgl@sss.pgh.pa.us 197 : 0 : need_password = true;
198 : : }
199 : : }
3797 peter_e@gmx.net 200 [ - + ]:CBC 349 : while (need_password);
201 : :
3803 tgl@sss.pgh.pa.us 202 [ + + ]: 349 : if (PQstatus(tmpconn) != CONNECTION_OK)
203 : : {
1254 peter@eisentraut.org 204 : 2 : pg_log_error("%s", PQerrorMessage(tmpconn));
3803 tgl@sss.pgh.pa.us 205 : 2 : PQfinish(tmpconn);
4554 magnus@hagander.net 206 : 2 : free(values);
207 : 2 : free(keywords);
651 peter@eisentraut.org 208 : 2 : PQconninfoFree(conn_opts);
3803 tgl@sss.pgh.pa.us 209 : 2 : return NULL;
210 : : }
211 : :
212 : : /* Connection ok! */
213 : 347 : free(values);
214 : 347 : free(keywords);
651 peter@eisentraut.org 215 : 347 : PQconninfoFree(conn_opts);
216 : :
217 : : /*
218 : : * Set always-secure search path, so malicious users can't get control.
219 : : * The capacity to run normal SQL queries was added in PostgreSQL 10, so
220 : : * the search path cannot be changed (by us or attackers) on earlier
221 : : * versions.
222 : : */
2181 noah@leadboat.com 223 [ + + + - ]: 347 : if (dbname != NULL && PQserverVersion(tmpconn) >= 100000)
224 : : {
225 : : PGresult *res;
226 : :
2239 227 : 47 : res = PQexec(tmpconn, ALWAYS_SECURE_SEARCH_PATH_SQL);
228 [ - + ]: 47 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
229 : : {
1840 peter@eisentraut.org 230 :UBC 0 : pg_log_error("could not clear search_path: %s",
231 : : PQerrorMessage(tmpconn));
2239 noah@leadboat.com 232 : 0 : PQclear(res);
233 : 0 : PQfinish(tmpconn);
234 : 0 : exit(1);
235 : : }
2239 noah@leadboat.com 236 :CBC 47 : PQclear(res);
237 : : }
238 : :
239 : : /*
240 : : * Ensure we have the same value of integer_datetimes (now always "on") as
241 : : * the server we are connecting to.
242 : : */
3803 tgl@sss.pgh.pa.us 243 : 347 : tmpparam = PQparameterStatus(tmpconn, "integer_datetimes");
244 [ - + ]: 347 : if (!tmpparam)
245 : : {
1840 peter@eisentraut.org 246 :UBC 0 : pg_log_error("could not determine server setting for integer_datetimes");
3803 tgl@sss.pgh.pa.us 247 : 0 : PQfinish(tmpconn);
248 : 0 : exit(1);
249 : : }
250 : :
3803 tgl@sss.pgh.pa.us 251 [ - + ]:CBC 347 : if (strcmp(tmpparam, "on") != 0)
252 : : {
1840 peter@eisentraut.org 253 :UBC 0 : pg_log_error("integer_datetimes compile flag does not match server");
3803 tgl@sss.pgh.pa.us 254 : 0 : PQfinish(tmpconn);
255 : 0 : exit(1);
256 : : }
257 : :
258 : : /*
259 : : * Retrieve the source data directory mode and use it to construct a umask
260 : : * for creating directories and files.
261 : : */
2199 sfrost@snowman.net 262 [ - + ]:CBC 347 : if (!RetrieveDataDirCreatePerm(tmpconn))
263 : : {
2199 sfrost@snowman.net 264 :UBC 0 : PQfinish(tmpconn);
265 : 0 : exit(1);
266 : : }
267 : :
3803 tgl@sss.pgh.pa.us 268 :CBC 347 : return tmpconn;
269 : : }
270 : :
271 : : /*
272 : : * FindDbnameInConnParams
273 : : *
274 : : * This is a helper function for GetDbnameFromConnectionOptions(). Extract
275 : : * the value of dbname from PQconninfoOption parameters, if it's present.
276 : : * Returns a strdup'd result or NULL.
277 : : */
278 : : static char *
21 tgl@sss.pgh.pa.us 279 :GNC 3 : FindDbnameInConnParams(PQconninfoOption *conn_opts)
280 : : {
281 : : PQconninfoOption *conn_opt;
282 : :
24 akapila@postgresql.o 283 [ + - ]: 21 : for (conn_opt = conn_opts; conn_opt->keyword != NULL; conn_opt++)
284 : : {
21 tgl@sss.pgh.pa.us 285 [ + + ]: 21 : if (strcmp(conn_opt->keyword, "dbname") == 0 &&
24 akapila@postgresql.o 286 [ + - + - ]: 3 : conn_opt->val != NULL && conn_opt->val[0] != '\0')
21 tgl@sss.pgh.pa.us 287 : 3 : return pg_strdup(conn_opt->val);
288 : : }
21 tgl@sss.pgh.pa.us 289 :UNC 0 : return NULL;
290 : : }
291 : :
292 : : /*
293 : : * GetDbnameFromConnectionOptions
294 : : *
295 : : * This is a special purpose function to retrieve the dbname from either the
296 : : * connection_string specified by the user or from the environment variables.
297 : : *
298 : : * We follow GetConnection() to fetch the dbname from various connection
299 : : * options.
300 : : *
301 : : * Returns NULL, if dbname is not specified by the user in the above
302 : : * mentioned connection options.
303 : : */
304 : : char *
24 akapila@postgresql.o 305 :GNC 3 : GetDbnameFromConnectionOptions(void)
306 : : {
307 : : PQconninfoOption *conn_opts;
308 : 3 : char *err_msg = NULL;
309 : : char *dbname;
310 : :
311 : : /* First try to get the dbname from connection string. */
312 [ + + ]: 3 : if (connection_string)
313 : : {
314 : 1 : conn_opts = PQconninfoParse(connection_string, &err_msg);
315 [ - + ]: 1 : if (conn_opts == NULL)
24 akapila@postgresql.o 316 :UNC 0 : pg_fatal("%s", err_msg);
317 : :
21 tgl@sss.pgh.pa.us 318 :GNC 1 : dbname = FindDbnameInConnParams(conn_opts);
319 : :
320 : 1 : PQconninfoFree(conn_opts);
24 akapila@postgresql.o 321 [ + - ]: 1 : if (dbname)
322 : 1 : return dbname;
323 : : }
324 : :
325 : : /*
326 : : * Next try to get the dbname from default values that are available from
327 : : * the environment.
328 : : */
329 : 2 : conn_opts = PQconndefaults();
330 [ - + ]: 2 : if (conn_opts == NULL)
24 akapila@postgresql.o 331 :UNC 0 : pg_fatal("out of memory");
332 : :
21 tgl@sss.pgh.pa.us 333 :GNC 2 : dbname = FindDbnameInConnParams(conn_opts);
334 : :
24 akapila@postgresql.o 335 : 2 : PQconninfoFree(conn_opts);
336 : 2 : return dbname;
337 : : }
338 : :
339 : : /*
340 : : * From version 10, explicitly set wal segment size using SHOW wal_segment_size
341 : : * since ControlFile is not accessible here.
342 : : */
343 : : bool
2399 andres@anarazel.de 344 :CBC 175 : RetrieveWalSegSize(PGconn *conn)
345 : : {
346 : : PGresult *res;
347 : : char xlog_unit[3];
348 : : int xlog_val,
349 : 175 : multiplier = 1;
350 : :
351 : : /* check connection existence */
352 [ - + ]: 175 : Assert(conn != NULL);
353 : :
354 : : /* for previous versions set the default xlog seg size */
355 [ - + ]: 175 : if (PQserverVersion(conn) < MINIMUM_VERSION_FOR_SHOW_CMD)
356 : : {
2399 andres@anarazel.de 357 :UBC 0 : WalSegSz = DEFAULT_XLOG_SEG_SIZE;
358 : 0 : return true;
359 : : }
360 : :
2399 andres@anarazel.de 361 :CBC 175 : res = PQexec(conn, "SHOW wal_segment_size");
362 [ - + ]: 175 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
363 : : {
1840 peter@eisentraut.org 364 :UBC 0 : pg_log_error("could not send replication command \"%s\": %s",
365 : : "SHOW wal_segment_size", PQerrorMessage(conn));
366 : :
2399 andres@anarazel.de 367 : 0 : PQclear(res);
368 : 0 : return false;
369 : : }
2399 andres@anarazel.de 370 [ + - - + ]:CBC 175 : if (PQntuples(res) != 1 || PQnfields(res) < 1)
371 : : {
1840 peter@eisentraut.org 372 :UBC 0 : pg_log_error("could not fetch WAL segment size: got %d rows and %d fields, expected %d rows and %d or more fields",
373 : : PQntuples(res), PQnfields(res), 1, 1);
374 : :
2399 andres@anarazel.de 375 : 0 : PQclear(res);
376 : 0 : return false;
377 : : }
378 : :
379 : : /* fetch xlog value and unit from the result */
908 dgustafsson@postgres 380 [ - + ]:CBC 175 : if (sscanf(PQgetvalue(res, 0, 0), "%d%2s", &xlog_val, xlog_unit) != 2)
381 : : {
1840 peter@eisentraut.org 382 :UBC 0 : pg_log_error("WAL segment size could not be parsed");
1458 michael@paquier.xyz 383 : 0 : PQclear(res);
2399 andres@anarazel.de 384 : 0 : return false;
385 : : }
386 : :
1458 michael@paquier.xyz 387 :CBC 175 : PQclear(res);
388 : :
389 : : /* set the multiplier based on unit to convert xlog_val to bytes */
2399 andres@anarazel.de 390 [ + - ]: 175 : if (strcmp(xlog_unit, "MB") == 0)
391 : 175 : multiplier = 1024 * 1024;
2399 andres@anarazel.de 392 [ # # ]:UBC 0 : else if (strcmp(xlog_unit, "GB") == 0)
393 : 0 : multiplier = 1024 * 1024 * 1024;
394 : :
395 : : /* convert and set WalSegSz */
2399 andres@anarazel.de 396 :CBC 175 : WalSegSz = xlog_val * multiplier;
397 : :
398 [ + - + - : 175 : if (!IsValidWalSegSize(WalSegSz))
+ - - + ]
399 : : {
230 peter@eisentraut.org 400 :UNC 0 : pg_log_error(ngettext("remote server reported invalid WAL segment size (%d byte)",
401 : : "remote server reported invalid WAL segment size (%d bytes)",
402 : : WalSegSz),
403 : : WalSegSz);
404 : 0 : pg_log_error_detail("The WAL segment size must be a power of two between 1 MB and 1 GB.");
2399 andres@anarazel.de 405 :UBC 0 : return false;
406 : : }
407 : :
2399 andres@anarazel.de 408 :CBC 175 : return true;
409 : : }
410 : :
411 : : /*
412 : : * RetrieveDataDirCreatePerm
413 : : *
414 : : * This function is used to determine the privileges on the server's PG data
415 : : * directory and, based on that, set what the permissions will be for
416 : : * directories and files we create.
417 : : *
418 : : * PG11 added support for (optionally) group read/execute rights to be set on
419 : : * the data directory. Prior to PG11, only the owner was allowed to have rights
420 : : * on the data directory.
421 : : */
422 : : static bool
2199 sfrost@snowman.net 423 : 347 : RetrieveDataDirCreatePerm(PGconn *conn)
424 : : {
425 : : PGresult *res;
426 : : int data_directory_mode;
427 : :
428 : : /* check connection existence */
429 [ - + ]: 347 : Assert(conn != NULL);
430 : :
431 : : /* for previous versions leave the default group access */
432 [ - + ]: 347 : if (PQserverVersion(conn) < MINIMUM_VERSION_FOR_GROUP_ACCESS)
2199 sfrost@snowman.net 433 :UBC 0 : return true;
434 : :
2199 sfrost@snowman.net 435 :CBC 347 : res = PQexec(conn, "SHOW data_directory_mode");
436 [ - + ]: 347 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
437 : : {
1840 peter@eisentraut.org 438 :UBC 0 : pg_log_error("could not send replication command \"%s\": %s",
439 : : "SHOW data_directory_mode", PQerrorMessage(conn));
440 : :
2199 sfrost@snowman.net 441 : 0 : PQclear(res);
442 : 0 : return false;
443 : : }
2199 sfrost@snowman.net 444 [ + - - + ]:CBC 347 : if (PQntuples(res) != 1 || PQnfields(res) < 1)
445 : : {
1840 peter@eisentraut.org 446 :UBC 0 : pg_log_error("could not fetch group access flag: got %d rows and %d fields, expected %d rows and %d or more fields",
447 : : PQntuples(res), PQnfields(res), 1, 1);
448 : :
2199 sfrost@snowman.net 449 : 0 : PQclear(res);
450 : 0 : return false;
451 : : }
452 : :
2199 sfrost@snowman.net 453 [ - + ]:CBC 347 : if (sscanf(PQgetvalue(res, 0, 0), "%o", &data_directory_mode) != 1)
454 : : {
1840 peter@eisentraut.org 455 :UBC 0 : pg_log_error("group access flag could not be parsed: %s",
456 : : PQgetvalue(res, 0, 0));
457 : :
2199 sfrost@snowman.net 458 : 0 : PQclear(res);
459 : 0 : return false;
460 : : }
461 : :
2199 sfrost@snowman.net 462 :CBC 347 : SetDataDirectoryCreatePerm(data_directory_mode);
463 : :
464 : 347 : PQclear(res);
465 : 347 : return true;
466 : : }
467 : :
468 : : /*
469 : : * Run IDENTIFY_SYSTEM through a given connection and give back to caller
470 : : * some result information if requested:
471 : : * - System identifier
472 : : * - Current timeline ID
473 : : * - Start LSN position
474 : : * - Database name (NULL in servers prior to 9.4)
475 : : */
476 : : bool
3483 andres@anarazel.de 477 : 355 : RunIdentifySystem(PGconn *conn, char **sysid, TimeLineID *starttli,
478 : : XLogRecPtr *startpos, char **db_name)
479 : : {
480 : : PGresult *res;
481 : : uint32 hi,
482 : : lo;
483 : :
484 : : /* Check connection existence */
485 [ - + ]: 355 : Assert(conn != NULL);
486 : :
487 : 355 : res = PQexec(conn, "IDENTIFY_SYSTEM");
488 [ - + ]: 355 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
489 : : {
1840 peter@eisentraut.org 490 :UBC 0 : pg_log_error("could not send replication command \"%s\": %s",
491 : : "IDENTIFY_SYSTEM", PQerrorMessage(conn));
492 : :
3478 sfrost@snowman.net 493 : 0 : PQclear(res);
3483 andres@anarazel.de 494 : 0 : return false;
495 : : }
3483 andres@anarazel.de 496 [ + - - + ]:CBC 355 : if (PQntuples(res) != 1 || PQnfields(res) < 3)
497 : : {
1840 peter@eisentraut.org 498 :UBC 0 : pg_log_error("could not identify system: got %d rows and %d fields, expected %d rows and %d or more fields",
499 : : PQntuples(res), PQnfields(res), 1, 3);
500 : :
3478 sfrost@snowman.net 501 : 0 : PQclear(res);
3483 andres@anarazel.de 502 : 0 : return false;
503 : : }
504 : :
505 : : /* Get system identifier */
3483 andres@anarazel.de 506 [ + + ]:CBC 355 : if (sysid != NULL)
507 : 299 : *sysid = pg_strdup(PQgetvalue(res, 0, 0));
508 : :
509 : : /* Get timeline ID to start streaming from */
510 [ + + ]: 355 : if (starttli != NULL)
511 : 299 : *starttli = atoi(PQgetvalue(res, 0, 1));
512 : :
513 : : /* Get LSN start position if necessary */
514 [ + + ]: 355 : if (startpos != NULL)
515 : : {
516 [ - + ]: 7 : if (sscanf(PQgetvalue(res, 0, 2), "%X/%X", &hi, &lo) != 2)
517 : : {
1840 peter@eisentraut.org 518 :UBC 0 : pg_log_error("could not parse write-ahead log location \"%s\"",
519 : : PQgetvalue(res, 0, 2));
520 : :
3478 sfrost@snowman.net 521 : 0 : PQclear(res);
3483 andres@anarazel.de 522 : 0 : return false;
523 : : }
3483 andres@anarazel.de 524 :CBC 7 : *startpos = ((uint64) hi) << 32 | lo;
525 : : }
526 : :
527 : : /* Get database name, only available in 9.4 and newer versions */
3249 bruce@momjian.us 528 [ + + ]: 355 : if (db_name != NULL)
529 : : {
3022 alvherre@alvh.no-ip. 530 : 56 : *db_name = NULL;
531 [ + - ]: 56 : if (PQserverVersion(conn) >= 90400)
532 : : {
533 [ - + ]: 56 : if (PQnfields(res) < 4)
534 : : {
1840 peter@eisentraut.org 535 :UBC 0 : pg_log_error("could not identify system: got %d rows and %d fields, expected %d rows and %d or more fields",
536 : : PQntuples(res), PQnfields(res), 1, 4);
537 : :
3022 alvherre@alvh.no-ip. 538 : 0 : PQclear(res);
539 : 0 : return false;
540 : : }
3022 alvherre@alvh.no-ip. 541 [ + + ]:CBC 56 : if (!PQgetisnull(res, 0, 3))
542 : 47 : *db_name = pg_strdup(PQgetvalue(res, 0, 3));
543 : : }
544 : : }
545 : :
3483 andres@anarazel.de 546 : 355 : PQclear(res);
547 : 355 : return true;
548 : : }
549 : :
550 : : /*
551 : : * Run READ_REPLICATION_SLOT through a given connection and give back to
552 : : * caller some result information if requested for this slot:
553 : : * - Start LSN position, InvalidXLogRecPtr if unknown.
554 : : * - Current timeline ID, 0 if unknown.
555 : : * Returns false on failure, and true otherwise.
556 : : */
557 : : bool
901 michael@paquier.xyz 558 : 3 : GetSlotInformation(PGconn *conn, const char *slot_name,
559 : : XLogRecPtr *restart_lsn, TimeLineID *restart_tli)
560 : : {
561 : : PGresult *res;
562 : : PQExpBuffer query;
563 : 3 : XLogRecPtr lsn_loc = InvalidXLogRecPtr;
564 : 3 : TimeLineID tli_loc = 0;
565 : :
566 [ + - ]: 3 : if (restart_lsn)
567 : 3 : *restart_lsn = lsn_loc;
568 [ + - ]: 3 : if (restart_tli)
569 : 3 : *restart_tli = tli_loc;
570 : :
571 : 3 : query = createPQExpBuffer();
572 : 3 : appendPQExpBuffer(query, "READ_REPLICATION_SLOT %s", slot_name);
573 : 3 : res = PQexec(conn, query->data);
574 : 3 : destroyPQExpBuffer(query);
575 : :
576 [ - + ]: 3 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
577 : : {
901 michael@paquier.xyz 578 :UBC 0 : pg_log_error("could not send replication command \"%s\": %s",
579 : : "READ_REPLICATION_SLOT", PQerrorMessage(conn));
580 : 0 : PQclear(res);
581 : 0 : return false;
582 : : }
583 : :
584 : : /* The command should always return precisely one tuple and three fields */
901 michael@paquier.xyz 585 [ + - - + ]:CBC 3 : if (PQntuples(res) != 1 || PQnfields(res) != 3)
586 : : {
901 michael@paquier.xyz 587 :UBC 0 : pg_log_error("could not read replication slot \"%s\": got %d rows and %d fields, expected %d rows and %d fields",
588 : : slot_name, PQntuples(res), PQnfields(res), 1, 3);
589 : 0 : PQclear(res);
590 : 0 : return false;
591 : : }
592 : :
593 : : /*
594 : : * When the slot doesn't exist, the command returns a tuple with NULL
595 : : * values. This checks only the slot type field.
596 : : */
901 michael@paquier.xyz 597 [ + + ]:CBC 3 : if (PQgetisnull(res, 0, 0))
598 : : {
568 peter@eisentraut.org 599 : 1 : pg_log_error("replication slot \"%s\" does not exist", slot_name);
901 michael@paquier.xyz 600 : 1 : PQclear(res);
601 : 1 : return false;
602 : : }
603 : :
604 : : /*
605 : : * Note that this cannot happen as READ_REPLICATION_SLOT supports only
606 : : * physical slots, but play it safe.
607 : : */
608 [ - + ]: 2 : if (strcmp(PQgetvalue(res, 0, 0), "physical") != 0)
609 : : {
901 michael@paquier.xyz 610 :UBC 0 : pg_log_error("expected a physical replication slot, got type \"%s\" instead",
611 : : PQgetvalue(res, 0, 0));
612 : 0 : PQclear(res);
613 : 0 : return false;
614 : : }
615 : :
616 : : /* restart LSN */
901 michael@paquier.xyz 617 [ + - ]:CBC 2 : if (!PQgetisnull(res, 0, 1))
618 : : {
619 : : uint32 hi,
620 : : lo;
621 : :
622 [ - + ]: 2 : if (sscanf(PQgetvalue(res, 0, 1), "%X/%X", &hi, &lo) != 2)
623 : : {
901 michael@paquier.xyz 624 :UBC 0 : pg_log_error("could not parse restart_lsn \"%s\" for replication slot \"%s\"",
625 : : PQgetvalue(res, 0, 1), slot_name);
626 : 0 : PQclear(res);
627 : 0 : return false;
628 : : }
901 michael@paquier.xyz 629 :CBC 2 : lsn_loc = ((uint64) hi) << 32 | lo;
630 : : }
631 : :
632 : : /* current TLI */
633 [ + - ]: 2 : if (!PQgetisnull(res, 0, 2))
634 : 2 : tli_loc = (TimeLineID) atol(PQgetvalue(res, 0, 2));
635 : :
636 : 2 : PQclear(res);
637 : :
638 : : /* Assign results if requested */
639 [ + - ]: 2 : if (restart_lsn)
640 : 2 : *restart_lsn = lsn_loc;
641 [ + - ]: 2 : if (restart_tli)
642 : 2 : *restart_tli = tli_loc;
643 : :
644 : 2 : return true;
645 : : }
646 : :
647 : : /*
648 : : * Create a replication slot for the given connection. This function
649 : : * returns true in case of success.
650 : : */
651 : : bool
3483 andres@anarazel.de 652 : 142 : CreateReplicationSlot(PGconn *conn, const char *slot_name, const char *plugin,
653 : : bool is_temporary, bool is_physical, bool reserve_wal,
654 : : bool slot_exists_ok, bool two_phase)
655 : : {
656 : : PQExpBuffer query;
657 : : PGresult *res;
922 rhaas@postgresql.org 658 : 142 : bool use_new_option_syntax = (PQserverVersion(conn) >= 150000);
659 : :
3483 andres@anarazel.de 660 : 142 : query = createPQExpBuffer();
661 : :
662 [ + + + - : 142 : Assert((is_physical && plugin == NULL) ||
+ - + - ]
663 : : (!is_physical && plugin != NULL));
1019 akapila@postgresql.o 664 [ + + - + ]: 142 : Assert(!(two_phase && is_physical));
3483 andres@anarazel.de 665 [ - + ]: 142 : Assert(slot_name != NULL);
666 : :
667 : : /* Build base portion of query */
2392 peter_e@gmx.net 668 : 142 : appendPQExpBuffer(query, "CREATE_REPLICATION_SLOT \"%s\"", slot_name);
669 [ + + ]: 142 : if (is_temporary)
1746 drowley@postgresql.o 670 : 116 : appendPQExpBufferStr(query, " TEMPORARY");
3483 andres@anarazel.de 671 [ + + ]: 142 : if (is_physical)
1746 drowley@postgresql.o 672 : 119 : appendPQExpBufferStr(query, " PHYSICAL");
673 : : else
922 rhaas@postgresql.org 674 : 23 : appendPQExpBuffer(query, " LOGICAL \"%s\"", plugin);
675 : :
676 : : /* Add any requested options */
677 [ + - ]: 142 : if (use_new_option_syntax)
678 : 142 : appendPQExpBufferStr(query, " (");
679 [ + + ]: 142 : if (is_physical)
680 : : {
2392 peter_e@gmx.net 681 [ + + ]: 119 : if (reserve_wal)
922 rhaas@postgresql.org 682 : 118 : AppendPlainCommandOption(query, use_new_option_syntax,
683 : : "RESERVE_WAL");
684 : : }
685 : : else
686 : : {
1019 akapila@postgresql.o 687 [ + + + - ]: 23 : if (two_phase && PQserverVersion(conn) >= 150000)
922 rhaas@postgresql.org 688 : 1 : AppendPlainCommandOption(query, use_new_option_syntax,
689 : : "TWO_PHASE");
690 : :
2588 peter_e@gmx.net 691 [ + - ]: 23 : if (PQserverVersion(conn) >= 100000)
692 : : {
693 : : /* pg_recvlogical doesn't use an exported snapshot, so suppress */
922 rhaas@postgresql.org 694 [ + - ]: 23 : if (use_new_option_syntax)
695 : 23 : AppendStringCommandOption(query, use_new_option_syntax,
696 : : "SNAPSHOT", "nothing");
697 : : else
922 rhaas@postgresql.org 698 :UBC 0 : AppendPlainCommandOption(query, use_new_option_syntax,
699 : : "NOEXPORT_SNAPSHOT");
700 : : }
701 : : }
922 rhaas@postgresql.org 702 [ + - ]:CBC 142 : if (use_new_option_syntax)
703 : : {
704 : : /* Suppress option list if it would be empty, otherwise terminate */
705 [ + + ]: 142 : if (query->data[query->len - 1] == '(')
706 : : {
707 : 1 : query->len -= 2;
708 : 1 : query->data[query->len] = '\0';
709 : : }
710 : : else
711 : 141 : appendPQExpBufferChar(query, ')');
712 : : }
713 : :
714 : : /* Now run the query */
3483 andres@anarazel.de 715 : 142 : res = PQexec(conn, query->data);
716 [ + + ]: 142 : if (PQresultStatus(res) != PGRES_TUPLES_OK)
717 : : {
3199 718 : 1 : const char *sqlstate = PQresultErrorField(res, PG_DIAG_SQLSTATE);
719 : :
3168 720 [ - + - - ]: 1 : if (slot_exists_ok &&
3168 andres@anarazel.de 721 :UBC 0 : sqlstate &&
722 [ # # ]: 0 : strcmp(sqlstate, ERRCODE_DUPLICATE_OBJECT) == 0)
723 : : {
3199 724 : 0 : destroyPQExpBuffer(query);
725 : 0 : PQclear(res);
726 : 0 : return true;
727 : : }
728 : : else
729 : : {
1840 peter@eisentraut.org 730 :CBC 1 : pg_log_error("could not send replication command \"%s\": %s",
731 : : query->data, PQerrorMessage(conn));
732 : :
3199 andres@anarazel.de 733 : 1 : destroyPQExpBuffer(query);
734 : 1 : PQclear(res);
735 : 1 : return false;
736 : : }
737 : : }
738 : :
3483 739 [ + - - + ]: 141 : if (PQntuples(res) != 1 || PQnfields(res) != 4)
740 : : {
1840 peter@eisentraut.org 741 :UBC 0 : pg_log_error("could not create replication slot \"%s\": got %d rows and %d fields, expected %d rows and %d fields",
742 : : slot_name,
743 : : PQntuples(res), PQnfields(res), 1, 4);
744 : :
3478 sfrost@snowman.net 745 : 0 : destroyPQExpBuffer(query);
746 : 0 : PQclear(res);
3483 andres@anarazel.de 747 : 0 : return false;
748 : : }
749 : :
3478 sfrost@snowman.net 750 :CBC 141 : destroyPQExpBuffer(query);
3483 andres@anarazel.de 751 : 141 : PQclear(res);
752 : 141 : return true;
753 : : }
754 : :
755 : : /*
756 : : * Drop a replication slot for the given connection. This function
757 : : * returns true in case of success.
758 : : */
759 : : bool
760 : 2 : DropReplicationSlot(PGconn *conn, const char *slot_name)
761 : : {
762 : : PQExpBuffer query;
763 : : PGresult *res;
764 : :
765 [ - + ]: 2 : Assert(slot_name != NULL);
766 : :
767 : 2 : query = createPQExpBuffer();
768 : :
769 : : /* Build query */
770 : 2 : appendPQExpBuffer(query, "DROP_REPLICATION_SLOT \"%s\"",
771 : : slot_name);
772 : 2 : res = PQexec(conn, query->data);
773 [ - + ]: 2 : if (PQresultStatus(res) != PGRES_COMMAND_OK)
774 : : {
1840 peter@eisentraut.org 775 :UBC 0 : pg_log_error("could not send replication command \"%s\": %s",
776 : : query->data, PQerrorMessage(conn));
777 : :
3478 sfrost@snowman.net 778 : 0 : destroyPQExpBuffer(query);
779 : 0 : PQclear(res);
3483 andres@anarazel.de 780 : 0 : return false;
781 : : }
782 : :
3483 andres@anarazel.de 783 [ + - - + ]:CBC 2 : if (PQntuples(res) != 0 || PQnfields(res) != 0)
784 : : {
1840 peter@eisentraut.org 785 :UBC 0 : pg_log_error("could not drop replication slot \"%s\": got %d rows and %d fields, expected %d rows and %d fields",
786 : : slot_name,
787 : : PQntuples(res), PQnfields(res), 0, 0);
788 : :
3478 sfrost@snowman.net 789 : 0 : destroyPQExpBuffer(query);
790 : 0 : PQclear(res);
3483 andres@anarazel.de 791 : 0 : return false;
792 : : }
793 : :
3199 tgl@sss.pgh.pa.us 794 :CBC 2 : destroyPQExpBuffer(query);
3483 andres@anarazel.de 795 : 2 : PQclear(res);
796 : 2 : return true;
797 : : }
798 : :
799 : : /*
800 : : * Append a "plain" option - one with no value - to a server command that
801 : : * is being constructed.
802 : : *
803 : : * In the old syntax, all options were parser keywords, so you could just
804 : : * write things like SOME_COMMAND OPTION1 OPTION2 'opt2value' OPTION3 42. The
805 : : * new syntax uses a comma-separated list surrounded by parentheses, so the
806 : : * equivalent is SOME_COMMAND (OPTION1, OPTION2 'optvalue', OPTION3 42).
807 : : */
808 : : void
922 rhaas@postgresql.org 809 : 1247 : AppendPlainCommandOption(PQExpBuffer buf, bool use_new_option_syntax,
810 : : char *option_name)
811 : : {
812 [ + + + + ]: 1247 : if (buf->len > 0 && buf->data[buf->len - 1] != '(')
813 : : {
814 [ + - ]: 939 : if (use_new_option_syntax)
815 : 939 : appendPQExpBufferStr(buf, ", ");
816 : : else
922 rhaas@postgresql.org 817 :UBC 0 : appendPQExpBufferChar(buf, ' ');
818 : : }
819 : :
922 rhaas@postgresql.org 820 :CBC 1247 : appendPQExpBuffer(buf, " %s", option_name);
821 : 1247 : }
822 : :
823 : : /*
824 : : * Append an option with an associated string value to a server command that
825 : : * is being constructed.
826 : : *
827 : : * See comments for AppendPlainCommandOption, above.
828 : : */
829 : : void
830 : 739 : AppendStringCommandOption(PQExpBuffer buf, bool use_new_option_syntax,
831 : : char *option_name, char *option_value)
832 : : {
833 : 739 : AppendPlainCommandOption(buf, use_new_option_syntax, option_name);
834 : :
835 [ + - ]: 739 : if (option_value != NULL)
836 : : {
837 : 739 : size_t length = strlen(option_value);
838 : 739 : char *escaped_value = palloc(1 + 2 * length);
839 : :
840 : 739 : PQescapeStringConn(conn, escaped_value, option_value, length, NULL);
841 : 739 : appendPQExpBuffer(buf, " '%s'", escaped_value);
842 : 739 : pfree(escaped_value);
843 : : }
844 : 739 : }
845 : :
846 : : /*
847 : : * Append an option with an associated integer value to a server command
848 : : * is being constructed.
849 : : *
850 : : * See comments for AppendPlainCommandOption, above.
851 : : */
852 : : void
853 : 161 : AppendIntegerCommandOption(PQExpBuffer buf, bool use_new_option_syntax,
854 : : char *option_name, int32 option_value)
855 : : {
856 : 161 : AppendPlainCommandOption(buf, use_new_option_syntax, option_name);
857 : :
858 : 161 : appendPQExpBuffer(buf, " %d", option_value);
859 : 161 : }
860 : :
861 : : /*
862 : : * Frontend version of GetCurrentTimestamp(), since we are not linked with
863 : : * backend code.
864 : : */
865 : : TimestampTz
3680 866 : 3222 : feGetCurrentTimestamp(void)
867 : : {
868 : : TimestampTz result;
869 : : struct timeval tp;
870 : :
871 : 3222 : gettimeofday(&tp, NULL);
872 : :
2607 tgl@sss.pgh.pa.us 873 : 3222 : result = (TimestampTz) tp.tv_sec -
874 : : ((POSTGRES_EPOCH_JDATE - UNIX_EPOCH_JDATE) * SECS_PER_DAY);
3680 rhaas@postgresql.org 875 : 3222 : result = (result * USECS_PER_SEC) + tp.tv_usec;
876 : :
877 : 3222 : return result;
878 : : }
879 : :
880 : : /*
881 : : * Frontend version of TimestampDifference(), since we are not linked with
882 : : * backend code.
883 : : */
884 : : void
2607 tgl@sss.pgh.pa.us 885 : 2608 : feTimestampDifference(TimestampTz start_time, TimestampTz stop_time,
886 : : long *secs, int *microsecs)
887 : : {
888 : 2608 : TimestampTz diff = stop_time - start_time;
889 : :
3680 rhaas@postgresql.org 890 [ - + ]: 2608 : if (diff <= 0)
891 : : {
3680 rhaas@postgresql.org 892 :UBC 0 : *secs = 0;
893 : 0 : *microsecs = 0;
894 : : }
895 : : else
896 : : {
3680 rhaas@postgresql.org 897 :CBC 2608 : *secs = (long) (diff / USECS_PER_SEC);
898 : 2608 : *microsecs = (int) (diff % USECS_PER_SEC);
899 : : }
900 : 2608 : }
901 : :
902 : : /*
903 : : * Frontend version of TimestampDifferenceExceeds(), since we are not
904 : : * linked with backend code.
905 : : */
906 : : bool
2607 tgl@sss.pgh.pa.us 907 : 3957 : feTimestampDifferenceExceeds(TimestampTz start_time,
908 : : TimestampTz stop_time,
909 : : int msec)
910 : : {
911 : 3957 : TimestampTz diff = stop_time - start_time;
912 : :
3680 rhaas@postgresql.org 913 : 3957 : return (diff >= msec * INT64CONST(1000));
914 : : }
915 : :
916 : : /*
917 : : * Converts an int64 to network byte order.
918 : : */
919 : : void
920 : 592 : fe_sendint64(int64 i, char *buf)
921 : : {
2387 andres@anarazel.de 922 : 592 : uint64 n64 = pg_hton64(i);
923 : :
924 : 592 : memcpy(buf, &n64, sizeof(n64));
3680 rhaas@postgresql.org 925 : 592 : }
926 : :
927 : : /*
928 : : * Converts an int64 from network byte order to native format.
929 : : */
930 : : int64
931 : 6282 : fe_recvint64(char *buf)
932 : : {
933 : : uint64 n64;
934 : :
2387 andres@anarazel.de 935 : 6282 : memcpy(&n64, buf, sizeof(n64));
936 : :
937 : 6282 : return pg_ntoh64(n64);
938 : : }
|
