Age Owner Branch data TLA Line data Source code
1 : : /*-------------------------------------------------------------------------
2 : : * relation.c
3 : : * PostgreSQL logical replication relation mapping cache
4 : : *
5 : : * Copyright (c) 2016-2024, PostgreSQL Global Development Group
6 : : *
7 : : * IDENTIFICATION
8 : : * src/backend/replication/logical/relation.c
9 : : *
10 : : * NOTES
11 : : * Routines in this file mainly have to do with mapping the properties
12 : : * of local replication target relations to the properties of their
13 : : * remote counterpart.
14 : : *
15 : : *-------------------------------------------------------------------------
16 : : */
17 : :
18 : : #include "postgres.h"
19 : :
20 : : #ifdef USE_ASSERT_CHECKING
21 : : #include "access/amapi.h"
22 : : #endif
23 : : #include "access/genam.h"
24 : : #include "access/table.h"
25 : : #include "catalog/namespace.h"
26 : : #include "catalog/pg_subscription_rel.h"
27 : : #include "executor/executor.h"
28 : : #include "nodes/makefuncs.h"
29 : : #include "replication/logicalrelation.h"
30 : : #include "replication/worker_internal.h"
31 : : #include "utils/inval.h"
32 : :
33 : :
34 : : static MemoryContext LogicalRepRelMapContext = NULL;
35 : :
36 : : static HTAB *LogicalRepRelMap = NULL;
37 : :
38 : : /*
39 : : * Partition map (LogicalRepPartMap)
40 : : *
41 : : * When a partitioned table is used as replication target, replicated
42 : : * operations are actually performed on its leaf partitions, which requires
43 : : * the partitions to also be mapped to the remote relation. Parent's entry
44 : : * (LogicalRepRelMapEntry) cannot be used as-is for all partitions, because
45 : : * individual partitions may have different attribute numbers, which means
46 : : * attribute mappings to remote relation's attributes must be maintained
47 : : * separately for each partition.
48 : : */
49 : : static MemoryContext LogicalRepPartMapContext = NULL;
50 : : static HTAB *LogicalRepPartMap = NULL;
51 : : typedef struct LogicalRepPartMapEntry
52 : : {
53 : : Oid partoid; /* LogicalRepPartMap's key */
54 : : LogicalRepRelMapEntry relmapentry;
55 : : } LogicalRepPartMapEntry;
56 : :
57 : : static Oid FindLogicalRepLocalIndex(Relation localrel, LogicalRepRelation *remoterel,
58 : : AttrMap *attrMap);
59 : :
60 : : /*
61 : : * Relcache invalidation callback for our relation map cache.
62 : : */
63 : : static void
2642 peter_e@gmx.net 64 :CBC 648 : logicalrep_relmap_invalidate_cb(Datum arg, Oid reloid)
65 : : {
66 : : LogicalRepRelMapEntry *entry;
67 : :
68 : : /* Just to be sure. */
69 [ - + ]: 648 : if (LogicalRepRelMap == NULL)
2642 peter_e@gmx.net 70 :UBC 0 : return;
71 : :
2642 peter_e@gmx.net 72 [ + - ]:CBC 648 : if (reloid != InvalidOid)
73 : : {
74 : : HASH_SEQ_STATUS status;
75 : :
76 : 648 : hash_seq_init(&status, LogicalRepRelMap);
77 : :
78 : : /* TODO, use inverse lookup hashtable? */
79 [ + + ]: 2796 : while ((entry = (LogicalRepRelMapEntry *) hash_seq_search(&status)) != NULL)
80 : : {
81 [ + + ]: 2269 : if (entry->localreloid == reloid)
82 : : {
1306 tgl@sss.pgh.pa.us 83 : 121 : entry->localrelvalid = false;
2642 peter_e@gmx.net 84 : 121 : hash_seq_term(&status);
85 : 121 : break;
86 : : }
87 : : }
88 : : }
89 : : else
90 : : {
91 : : /* invalidate all cache entries */
92 : : HASH_SEQ_STATUS status;
93 : :
2642 peter_e@gmx.net 94 :UBC 0 : hash_seq_init(&status, LogicalRepRelMap);
95 : :
96 [ # # ]: 0 : while ((entry = (LogicalRepRelMapEntry *) hash_seq_search(&status)) != NULL)
1306 tgl@sss.pgh.pa.us 97 : 0 : entry->localrelvalid = false;
98 : : }
99 : : }
100 : :
101 : : /*
102 : : * Initialize the relation map cache.
103 : : */
104 : : static void
2548 andres@anarazel.de 105 :CBC 316 : logicalrep_relmap_init(void)
106 : : {
107 : : HASHCTL ctl;
108 : :
2642 peter_e@gmx.net 109 [ + - ]: 316 : if (!LogicalRepRelMapContext)
110 : 316 : LogicalRepRelMapContext =
111 : 316 : AllocSetContextCreate(CacheMemoryContext,
112 : : "LogicalRepRelMapContext",
113 : : ALLOCSET_DEFAULT_SIZES);
114 : :
115 : : /* Initialize the relation hash table. */
116 : 316 : ctl.keysize = sizeof(LogicalRepRelId);
117 : 316 : ctl.entrysize = sizeof(LogicalRepRelMapEntry);
118 : 316 : ctl.hcxt = LogicalRepRelMapContext;
119 : :
120 : 316 : LogicalRepRelMap = hash_create("logicalrep relation map cache", 128, &ctl,
121 : : HASH_ELEM | HASH_BLOBS | HASH_CONTEXT);
122 : :
123 : : /* Watch for invalidation events. */
124 : 316 : CacheRegisterRelcacheCallback(logicalrep_relmap_invalidate_cb,
125 : : (Datum) 0);
126 : 316 : }
127 : :
128 : : /*
129 : : * Free the entry of a relation map cache.
130 : : */
131 : : static void
132 : 152 : logicalrep_relmap_free_entry(LogicalRepRelMapEntry *entry)
133 : : {
134 : : LogicalRepRelation *remoterel;
135 : :
136 : 152 : remoterel = &entry->remoterel;
137 : :
138 : 152 : pfree(remoterel->nspname);
139 : 152 : pfree(remoterel->relname);
140 : :
141 [ + - ]: 152 : if (remoterel->natts > 0)
142 : : {
143 : : int i;
144 : :
145 [ + + ]: 461 : for (i = 0; i < remoterel->natts; i++)
146 : 309 : pfree(remoterel->attnames[i]);
147 : :
148 : 152 : pfree(remoterel->attnames);
149 : 152 : pfree(remoterel->atttyps);
150 : : }
151 : 152 : bms_free(remoterel->attkeys);
152 : :
153 [ + + ]: 152 : if (entry->attrmap)
661 akapila@postgresql.o 154 : 127 : free_attrmap(entry->attrmap);
2642 peter_e@gmx.net 155 : 152 : }
156 : :
157 : : /*
158 : : * Add new entry or update existing entry in the relation map cache.
159 : : *
160 : : * Called when new relation mapping is sent by the publisher to update
161 : : * our expected view of incoming data from said publisher.
162 : : */
163 : : void
164 : 567 : logicalrep_relmap_update(LogicalRepRelation *remoterel)
165 : : {
166 : : MemoryContext oldctx;
167 : : LogicalRepRelMapEntry *entry;
168 : : bool found;
169 : : int i;
170 : :
171 [ + + ]: 567 : if (LogicalRepRelMap == NULL)
172 : 316 : logicalrep_relmap_init();
173 : :
174 : : /*
175 : : * HASH_ENTER returns the existing entry if present or creates a new one.
176 : : */
433 peter@eisentraut.org 177 : 567 : entry = hash_search(LogicalRepRelMap, &remoterel->remoteid,
178 : : HASH_ENTER, &found);
179 : :
2642 peter_e@gmx.net 180 [ + + ]: 567 : if (found)
181 : 144 : logicalrep_relmap_free_entry(entry);
182 : :
2548 andres@anarazel.de 183 : 567 : memset(entry, 0, sizeof(LogicalRepRelMapEntry));
184 : :
185 : : /* Make cached copy of the data */
2642 peter_e@gmx.net 186 : 567 : oldctx = MemoryContextSwitchTo(LogicalRepRelMapContext);
187 : 567 : entry->remoterel.remoteid = remoterel->remoteid;
188 : 567 : entry->remoterel.nspname = pstrdup(remoterel->nspname);
189 : 567 : entry->remoterel.relname = pstrdup(remoterel->relname);
190 : 567 : entry->remoterel.natts = remoterel->natts;
191 : 567 : entry->remoterel.attnames = palloc(remoterel->natts * sizeof(char *));
192 : 567 : entry->remoterel.atttyps = palloc(remoterel->natts * sizeof(Oid));
193 [ + + ]: 1550 : for (i = 0; i < remoterel->natts; i++)
194 : : {
195 : 983 : entry->remoterel.attnames[i] = pstrdup(remoterel->attnames[i]);
196 : 983 : entry->remoterel.atttyps[i] = remoterel->atttyps[i];
197 : : }
198 : 567 : entry->remoterel.replident = remoterel->replident;
199 : 567 : entry->remoterel.attkeys = bms_copy(remoterel->attkeys);
200 : 567 : MemoryContextSwitchTo(oldctx);
201 : 567 : }
202 : :
203 : : /*
204 : : * Find attribute index in TupleDesc struct by attribute name.
205 : : *
206 : : * Returns -1 if not found.
207 : : */
208 : : static int
209 : 1143 : logicalrep_rel_att_by_name(LogicalRepRelation *remoterel, const char *attname)
210 : : {
211 : : int i;
212 : :
213 [ + + ]: 2192 : for (i = 0; i < remoterel->natts; i++)
214 : : {
215 [ + + ]: 1911 : if (strcmp(remoterel->attnames[i], attname) == 0)
216 : 862 : return i;
217 : : }
218 : :
219 : 281 : return -1;
220 : : }
221 : :
222 : : /*
223 : : * Report error with names of the missing local relation column(s), if any.
224 : : */
225 : : static void
1285 akapila@postgresql.o 226 : 500 : logicalrep_report_missing_attrs(LogicalRepRelation *remoterel,
227 : : Bitmapset *missingatts)
228 : : {
229 [ - + ]: 500 : if (!bms_is_empty(missingatts))
230 : : {
231 : : StringInfoData missingattsbuf;
1285 akapila@postgresql.o 232 :UBC 0 : int missingattcnt = 0;
233 : : int i;
234 : :
235 : 0 : initStringInfo(&missingattsbuf);
236 : :
409 tgl@sss.pgh.pa.us 237 : 0 : i = -1;
238 [ # # ]: 0 : while ((i = bms_next_member(missingatts, i)) >= 0)
239 : : {
1285 akapila@postgresql.o 240 : 0 : missingattcnt++;
241 [ # # ]: 0 : if (missingattcnt == 1)
242 : 0 : appendStringInfo(&missingattsbuf, _("\"%s\""),
243 : 0 : remoterel->attnames[i]);
244 : : else
245 : 0 : appendStringInfo(&missingattsbuf, _(", \"%s\""),
246 : 0 : remoterel->attnames[i]);
247 : : }
248 : :
249 [ # # ]: 0 : ereport(ERROR,
250 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
251 : : errmsg_plural("logical replication target relation \"%s.%s\" is missing replicated column: %s",
252 : : "logical replication target relation \"%s.%s\" is missing replicated columns: %s",
253 : : missingattcnt,
254 : : remoterel->nspname,
255 : : remoterel->relname,
256 : : missingattsbuf.data)));
257 : : }
1285 akapila@postgresql.o 258 :CBC 500 : }
259 : :
260 : : /*
261 : : * Check if replica identity matches and mark the updatable flag.
262 : : *
263 : : * We allow for stricter replica identity (fewer columns) on subscriber as
264 : : * that will not stop us from finding unique tuple. IE, if publisher has
265 : : * identity (id,timestamp) and subscriber just (id) this will not be a
266 : : * problem, but in the opposite scenario it will.
267 : : *
268 : : * We just mark the relation entry as not updatable here if the local
269 : : * replica identity is found to be insufficient for applying
270 : : * updates/deletes (inserts don't care!) and leave it to
271 : : * check_relation_updatable() to throw the actual error if needed.
272 : : */
273 : : static void
663 274 : 514 : logicalrep_rel_mark_updatable(LogicalRepRelMapEntry *entry)
275 : : {
276 : : Bitmapset *idkey;
277 : 514 : LogicalRepRelation *remoterel = &entry->remoterel;
278 : : int i;
279 : :
280 : 514 : entry->updatable = true;
281 : :
282 : 514 : idkey = RelationGetIndexAttrBitmap(entry->localrel,
283 : : INDEX_ATTR_BITMAP_IDENTITY_KEY);
284 : : /* fallback to PK if no replica identity */
285 [ + + ]: 514 : if (idkey == NULL)
286 : : {
287 : 172 : idkey = RelationGetIndexAttrBitmap(entry->localrel,
288 : : INDEX_ATTR_BITMAP_PRIMARY_KEY);
289 : :
290 : : /*
291 : : * If no replica identity index and no PK, the published table must
292 : : * have replica identity FULL.
293 : : */
294 [ + + + + ]: 172 : if (idkey == NULL && remoterel->replident != REPLICA_IDENTITY_FULL)
295 : 107 : entry->updatable = false;
296 : : }
297 : :
298 : 514 : i = -1;
299 [ + + ]: 839 : while ((i = bms_next_member(idkey, i)) >= 0)
300 : : {
301 : 347 : int attnum = i + FirstLowInvalidHeapAttributeNumber;
302 : :
303 [ - + ]: 347 : if (!AttrNumberIsForUserDefinedAttr(attnum))
663 akapila@postgresql.o 304 [ # # ]:UBC 0 : ereport(ERROR,
305 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
306 : : errmsg("logical replication target relation \"%s.%s\" uses "
307 : : "system columns in REPLICA IDENTITY index",
308 : : remoterel->nspname, remoterel->relname)));
309 : :
663 akapila@postgresql.o 310 [ - + ]:CBC 347 : attnum = AttrNumberGetAttrOffset(attnum);
311 : :
312 [ + + ]: 347 : if (entry->attrmap->attnums[attnum] < 0 ||
313 [ + + ]: 346 : !bms_is_member(entry->attrmap->attnums[attnum], remoterel->attkeys))
314 : : {
315 : 22 : entry->updatable = false;
316 : 22 : break;
317 : : }
318 : : }
319 : 514 : }
320 : :
321 : : /*
322 : : * Open the local relation associated with the remote one.
323 : : *
324 : : * Rebuilds the Relcache mapping if it was invalidated by local DDL.
325 : : */
326 : : LogicalRepRelMapEntry *
2642 peter_e@gmx.net 327 : 151263 : logicalrep_rel_open(LogicalRepRelId remoteid, LOCKMODE lockmode)
328 : : {
329 : : LogicalRepRelMapEntry *entry;
330 : : bool found;
331 : : LogicalRepRelation *remoterel;
332 : :
333 [ - + ]: 151263 : if (LogicalRepRelMap == NULL)
2642 peter_e@gmx.net 334 :UBC 0 : logicalrep_relmap_init();
335 : :
336 : : /* Search for existing entry. */
433 peter@eisentraut.org 337 :CBC 151263 : entry = hash_search(LogicalRepRelMap, &remoteid,
338 : : HASH_FIND, &found);
339 : :
2642 peter_e@gmx.net 340 [ - + ]: 151263 : if (!found)
2642 peter_e@gmx.net 341 [ # # ]:UBC 0 : elog(ERROR, "no relation map entry for remote relation ID %u",
342 : : remoteid);
343 : :
1581 akapila@postgresql.o 344 :CBC 151263 : remoterel = &entry->remoterel;
345 : :
346 : : /* Ensure we don't leak a relcache refcount. */
1306 tgl@sss.pgh.pa.us 347 [ - + ]: 151263 : if (entry->localrel)
1306 tgl@sss.pgh.pa.us 348 [ # # ]:UBC 0 : elog(ERROR, "remote relation ID %u is already open", remoteid);
349 : :
350 : : /*
351 : : * When opening and locking a relation, pending invalidation messages are
352 : : * processed which can invalidate the relation. Hence, if the entry is
353 : : * currently considered valid, try to open the local relation by OID and
354 : : * see if invalidation ensues.
355 : : */
1306 tgl@sss.pgh.pa.us 356 [ + + ]:CBC 151263 : if (entry->localrelvalid)
357 : : {
358 : 150755 : entry->localrel = try_table_open(entry->localreloid, lockmode);
359 [ - + ]: 150755 : if (!entry->localrel)
360 : : {
361 : : /* Table was renamed or dropped. */
1306 tgl@sss.pgh.pa.us 362 :UBC 0 : entry->localrelvalid = false;
363 : : }
1306 tgl@sss.pgh.pa.us 364 [ - + ]:CBC 150755 : else if (!entry->localrelvalid)
365 : : {
366 : : /* Note we release the no-longer-useful lock here. */
1306 tgl@sss.pgh.pa.us 367 :UBC 0 : table_close(entry->localrel, lockmode);
368 : 0 : entry->localrel = NULL;
369 : : }
370 : : }
371 : :
372 : : /*
373 : : * If the entry has been marked invalid since we last had lock on it,
374 : : * re-open the local relation by name and rebuild all derived data.
375 : : */
1306 tgl@sss.pgh.pa.us 376 [ + + ]:CBC 151263 : if (!entry->localrelvalid)
377 : : {
378 : : Oid relid;
379 : : TupleDesc desc;
380 : : MemoryContext oldctx;
381 : : int i;
382 : : Bitmapset *missingatts;
383 : :
384 : : /* Release the no-longer-useful attrmap, if any. */
661 akapila@postgresql.o 385 [ + + ]: 508 : if (entry->attrmap)
386 : : {
387 : 12 : free_attrmap(entry->attrmap);
388 : 12 : entry->attrmap = NULL;
389 : : }
390 : :
391 : : /* Try to find and lock the relation by name. */
2642 peter_e@gmx.net 392 : 508 : relid = RangeVarGetRelid(makeRangeVar(remoterel->nspname,
393 : : remoterel->relname, -1),
394 : : lockmode, true);
395 [ + + ]: 508 : if (!OidIsValid(relid))
396 [ + - ]: 8 : ereport(ERROR,
397 : : (errcode(ERRCODE_OBJECT_NOT_IN_PREREQUISITE_STATE),
398 : : errmsg("logical replication target relation \"%s.%s\" does not exist",
399 : : remoterel->nspname, remoterel->relname)));
1910 andres@anarazel.de 400 : 500 : entry->localrel = table_open(relid, NoLock);
1306 tgl@sss.pgh.pa.us 401 : 500 : entry->localreloid = relid;
402 : :
403 : : /* Check for supported relkind. */
2525 peter_e@gmx.net 404 : 500 : CheckSubscriptionRelkind(entry->localrel->rd_rel->relkind,
405 : 500 : remoterel->nspname, remoterel->relname);
406 : :
407 : : /*
408 : : * Build the mapping of local attribute numbers to remote attribute
409 : : * numbers and validate that we don't miss any replicated columns as
410 : : * that would result in potentially unwanted data loss.
411 : : */
2642 412 : 500 : desc = RelationGetDescr(entry->localrel);
413 : 500 : oldctx = MemoryContextSwitchTo(LogicalRepRelMapContext);
1579 michael@paquier.xyz 414 : 500 : entry->attrmap = make_attrmap(desc->natts);
2642 peter_e@gmx.net 415 : 500 : MemoryContextSwitchTo(oldctx);
416 : :
417 : : /* check and report missing attrs, if any */
1285 akapila@postgresql.o 418 : 500 : missingatts = bms_add_range(NULL, 0, remoterel->natts - 1);
2642 peter_e@gmx.net 419 [ + + ]: 1650 : for (i = 0; i < desc->natts; i++)
420 : : {
421 : : int attnum;
2429 andres@anarazel.de 422 : 1150 : Form_pg_attribute attr = TupleDescAttr(desc, i);
423 : :
1842 peter@eisentraut.org 424 [ + + + + ]: 1150 : if (attr->attisdropped || attr->attgenerated)
425 : : {
1579 michael@paquier.xyz 426 : 7 : entry->attrmap->attnums[i] = -1;
2523 peter_e@gmx.net 427 : 7 : continue;
428 : : }
429 : :
430 : 1143 : attnum = logicalrep_rel_att_by_name(remoterel,
2429 andres@anarazel.de 431 : 1143 : NameStr(attr->attname));
432 : :
1579 michael@paquier.xyz 433 : 1143 : entry->attrmap->attnums[i] = attnum;
2642 peter_e@gmx.net 434 [ + + ]: 1143 : if (attnum >= 0)
1285 akapila@postgresql.o 435 : 862 : missingatts = bms_del_member(missingatts, attnum);
436 : : }
437 : :
438 : 500 : logicalrep_report_missing_attrs(remoterel, missingatts);
439 : :
440 : : /* be tidy */
441 : 500 : bms_free(missingatts);
442 : :
443 : : /*
444 : : * Set if the table's replica identity is enough to apply
445 : : * update/delete.
446 : : */
663 447 : 500 : logicalrep_rel_mark_updatable(entry);
448 : :
449 : : /*
450 : : * Finding a usable index is an infrequent task. It occurs when an
451 : : * operation is first performed on the relation, or after invalidation
452 : : * of the relation cache entry (such as ANALYZE or CREATE/DROP index
453 : : * on the relation).
454 : : */
396 455 : 500 : entry->localindexoid = FindLogicalRepLocalIndex(entry->localrel, remoterel,
456 : : entry->attrmap);
457 : :
1306 tgl@sss.pgh.pa.us 458 : 500 : entry->localrelvalid = true;
459 : : }
460 : :
2579 peter_e@gmx.net 461 [ + + ]: 151255 : if (entry->state != SUBREL_STATE_READY)
462 : 3548 : entry->state = GetSubscriptionRelState(MySubscription->oid,
463 : : entry->localreloid,
464 : : &entry->statelsn);
465 : :
2642 466 : 151255 : return entry;
467 : : }
468 : :
469 : : /*
470 : : * Close the previously opened logical relation.
471 : : */
472 : : void
473 : 151226 : logicalrep_rel_close(LogicalRepRelMapEntry *rel, LOCKMODE lockmode)
474 : : {
1910 andres@anarazel.de 475 : 151226 : table_close(rel->localrel, lockmode);
2642 peter_e@gmx.net 476 : 151226 : rel->localrel = NULL;
477 : 151226 : }
478 : :
479 : : /*
480 : : * Partition cache: look up partition LogicalRepRelMapEntry's
481 : : *
482 : : * Unlike relation map cache, this is keyed by partition OID, not remote
483 : : * relation OID, because we only have to use this cache in the case where
484 : : * partitions are not directly mapped to any remote relation, such as when
485 : : * replication is occurring with one of their ancestors as target.
486 : : */
487 : :
488 : : /*
489 : : * Relcache invalidation callback
490 : : */
491 : : static void
1469 peter@eisentraut.org 492 : 241 : logicalrep_partmap_invalidate_cb(Datum arg, Oid reloid)
493 : : {
494 : : LogicalRepPartMapEntry *entry;
495 : :
496 : : /* Just to be sure. */
497 [ - + ]: 241 : if (LogicalRepPartMap == NULL)
1469 peter@eisentraut.org 498 :UBC 0 : return;
499 : :
1469 peter@eisentraut.org 500 [ + - ]:CBC 241 : if (reloid != InvalidOid)
501 : : {
502 : : HASH_SEQ_STATUS status;
503 : :
504 : 241 : hash_seq_init(&status, LogicalRepPartMap);
505 : :
506 : : /* TODO, use inverse lookup hashtable? */
669 akapila@postgresql.o 507 [ + + ]: 675 : while ((entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
508 : : {
509 [ + + ]: 440 : if (entry->relmapentry.localreloid == reloid)
510 : : {
511 : 6 : entry->relmapentry.localrelvalid = false;
1469 peter@eisentraut.org 512 : 6 : hash_seq_term(&status);
513 : 6 : break;
514 : : }
515 : : }
516 : : }
517 : : else
518 : : {
519 : : /* invalidate all cache entries */
520 : : HASH_SEQ_STATUS status;
521 : :
1469 peter@eisentraut.org 522 :UBC 0 : hash_seq_init(&status, LogicalRepPartMap);
523 : :
669 akapila@postgresql.o 524 [ # # ]: 0 : while ((entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
525 : 0 : entry->relmapentry.localrelvalid = false;
526 : : }
527 : : }
528 : :
529 : : /*
530 : : * Reset the entries in the partition map that refer to remoterel.
531 : : *
532 : : * Called when new relation mapping is sent by the publisher to update our
533 : : * expected view of incoming data from said publisher.
534 : : *
535 : : * Note that we don't update the remoterel information in the entry here,
536 : : * we will update the information in logicalrep_partition_open to avoid
537 : : * unnecessary work.
538 : : */
539 : : void
668 akapila@postgresql.o 540 :CBC 399 : logicalrep_partmap_reset_relmap(LogicalRepRelation *remoterel)
541 : : {
542 : : HASH_SEQ_STATUS status;
543 : : LogicalRepPartMapEntry *part_entry;
544 : : LogicalRepRelMapEntry *entry;
545 : :
546 [ + + ]: 399 : if (LogicalRepPartMap == NULL)
547 : 365 : return;
548 : :
549 : 34 : hash_seq_init(&status, LogicalRepPartMap);
550 [ + + ]: 87 : while ((part_entry = (LogicalRepPartMapEntry *) hash_seq_search(&status)) != NULL)
551 : : {
552 : 53 : entry = &part_entry->relmapentry;
553 : :
554 [ + + ]: 53 : if (entry->remoterel.remoteid != remoterel->remoteid)
555 : 45 : continue;
556 : :
557 : 8 : logicalrep_relmap_free_entry(entry);
558 : :
559 : 8 : memset(entry, 0, sizeof(LogicalRepRelMapEntry));
560 : : }
561 : : }
562 : :
563 : : /*
564 : : * Initialize the partition map cache.
565 : : */
566 : : static void
1469 peter@eisentraut.org 567 : 5 : logicalrep_partmap_init(void)
568 : : {
569 : : HASHCTL ctl;
570 : :
571 [ + - ]: 5 : if (!LogicalRepPartMapContext)
572 : 5 : LogicalRepPartMapContext =
573 : 5 : AllocSetContextCreate(CacheMemoryContext,
574 : : "LogicalRepPartMapContext",
575 : : ALLOCSET_DEFAULT_SIZES);
576 : :
577 : : /* Initialize the relation hash table. */
578 : 5 : ctl.keysize = sizeof(Oid); /* partition OID */
579 : 5 : ctl.entrysize = sizeof(LogicalRepPartMapEntry);
580 : 5 : ctl.hcxt = LogicalRepPartMapContext;
581 : :
582 : 5 : LogicalRepPartMap = hash_create("logicalrep partition map cache", 64, &ctl,
583 : : HASH_ELEM | HASH_BLOBS | HASH_CONTEXT);
584 : :
585 : : /* Watch for invalidation events. */
586 : 5 : CacheRegisterRelcacheCallback(logicalrep_partmap_invalidate_cb,
587 : : (Datum) 0);
588 : 5 : }
589 : :
590 : : /*
591 : : * logicalrep_partition_open
592 : : *
593 : : * Returned entry reuses most of the values of the root table's entry, save
594 : : * the attribute map, which can be different for the partition. However,
595 : : * we must physically copy all the data, in case the root table's entry
596 : : * gets freed/rebuilt.
597 : : *
598 : : * Note there's no logicalrep_partition_close, because the caller closes the
599 : : * component relation.
600 : : */
601 : : LogicalRepRelMapEntry *
602 : 29 : logicalrep_partition_open(LogicalRepRelMapEntry *root,
603 : : Relation partrel, AttrMap *map)
604 : : {
605 : : LogicalRepRelMapEntry *entry;
606 : : LogicalRepPartMapEntry *part_entry;
607 : 29 : LogicalRepRelation *remoterel = &root->remoterel;
608 : 29 : Oid partOid = RelationGetRelid(partrel);
609 : 29 : AttrMap *attrmap = root->attrmap;
610 : : bool found;
611 : : MemoryContext oldctx;
612 : :
613 [ + + ]: 29 : if (LogicalRepPartMap == NULL)
614 : 5 : logicalrep_partmap_init();
615 : :
616 : : /* Search for existing entry. */
617 : 29 : part_entry = (LogicalRepPartMapEntry *) hash_search(LogicalRepPartMap,
618 : : &partOid,
619 : : HASH_ENTER, &found);
620 : :
669 akapila@postgresql.o 621 : 29 : entry = &part_entry->relmapentry;
622 : :
623 : : /*
624 : : * We must always overwrite entry->localrel with the latest partition
625 : : * Relation pointer, because the Relation pointed to by the old value may
626 : : * have been cleared after the caller would have closed the partition
627 : : * relation after the last use of this entry. Note that localrelvalid is
628 : : * only updated by the relcache invalidation callback, so it may still be
629 : : * true irrespective of whether the Relation pointed to by localrel has
630 : : * been cleared or not.
631 : : */
632 [ + + + + ]: 29 : if (found && entry->localrelvalid)
633 : : {
663 634 : 15 : entry->localrel = partrel;
669 635 : 15 : return entry;
636 : : }
637 : :
638 : : /* Switch to longer-lived context. */
1469 peter@eisentraut.org 639 : 14 : oldctx = MemoryContextSwitchTo(LogicalRepPartMapContext);
640 : :
669 akapila@postgresql.o 641 [ + + ]: 14 : if (!found)
642 : : {
643 : 8 : memset(part_entry, 0, sizeof(LogicalRepPartMapEntry));
644 : 8 : part_entry->partoid = partOid;
645 : : }
646 : :
647 : : /* Release the no-longer-useful attrmap, if any. */
661 648 [ + + ]: 14 : if (entry->attrmap)
649 : : {
650 : 1 : free_attrmap(entry->attrmap);
651 : 1 : entry->attrmap = NULL;
652 : : }
653 : :
669 654 [ + + ]: 14 : if (!entry->remoterel.remoteid)
655 : : {
656 : : int i;
657 : :
658 : : /* Remote relation is copied as-is from the root entry. */
659 : 13 : entry->remoterel.remoteid = remoterel->remoteid;
660 : 13 : entry->remoterel.nspname = pstrdup(remoterel->nspname);
661 : 13 : entry->remoterel.relname = pstrdup(remoterel->relname);
662 : 13 : entry->remoterel.natts = remoterel->natts;
663 : 13 : entry->remoterel.attnames = palloc(remoterel->natts * sizeof(char *));
664 : 13 : entry->remoterel.atttyps = palloc(remoterel->natts * sizeof(Oid));
665 [ + + ]: 40 : for (i = 0; i < remoterel->natts; i++)
666 : : {
667 : 27 : entry->remoterel.attnames[i] = pstrdup(remoterel->attnames[i]);
668 : 27 : entry->remoterel.atttyps[i] = remoterel->atttyps[i];
669 : : }
670 : 13 : entry->remoterel.replident = remoterel->replident;
671 : 13 : entry->remoterel.attkeys = bms_copy(remoterel->attkeys);
672 : : }
673 : :
1469 peter@eisentraut.org 674 : 14 : entry->localrel = partrel;
675 : 14 : entry->localreloid = partOid;
676 : :
677 : : /*
678 : : * If the partition's attributes don't match the root relation's, we'll
679 : : * need to make a new attrmap which maps partition attribute numbers to
680 : : * remoterel's, instead of the original which maps root relation's
681 : : * attribute numbers to remoterel's.
682 : : *
683 : : * Note that 'map' which comes from the tuple routing data structure
684 : : * contains 1-based attribute numbers (of the parent relation). However,
685 : : * the map in 'entry', a logical replication data structure, contains
686 : : * 0-based attribute numbers (of the remote relation).
687 : : */
688 [ + + ]: 14 : if (map)
689 : : {
690 : : AttrNumber attno;
691 : :
692 : 7 : entry->attrmap = make_attrmap(map->maplen);
693 [ + + ]: 30 : for (attno = 0; attno < entry->attrmap->maplen; attno++)
694 : : {
695 : 23 : AttrNumber root_attno = map->attnums[attno];
696 : :
697 : : /* 0 means it's a dropped attribute. See comments atop AttrMap. */
669 akapila@postgresql.o 698 [ + + ]: 23 : if (root_attno == 0)
699 : 2 : entry->attrmap->attnums[attno] = -1;
700 : : else
701 : 21 : entry->attrmap->attnums[attno] = attrmap->attnums[root_attno - 1];
702 : : }
703 : : }
704 : : else
705 : : {
706 : : /* Lacking copy_attmap, do this the hard way. */
1038 tgl@sss.pgh.pa.us 707 : 7 : entry->attrmap = make_attrmap(attrmap->maplen);
708 : 7 : memcpy(entry->attrmap->attnums, attrmap->attnums,
709 : 7 : attrmap->maplen * sizeof(AttrNumber));
710 : : }
711 : :
712 : : /* Set if the table's replica identity is enough to apply update/delete. */
663 akapila@postgresql.o 713 : 14 : logicalrep_rel_mark_updatable(entry);
714 : :
715 : : /* state and statelsn are left set to 0. */
1469 peter@eisentraut.org 716 : 14 : MemoryContextSwitchTo(oldctx);
717 : :
718 : : /*
719 : : * Finding a usable index is an infrequent task. It occurs when an
720 : : * operation is first performed on the relation, or after invalidation of
721 : : * the relation cache entry (such as ANALYZE or CREATE/DROP index on the
722 : : * relation).
723 : : *
724 : : * We also prefer to run this code on the oldctx so that we do not leak
725 : : * anything in the LogicalRepPartMapContext (hence CacheMemoryContext).
726 : : */
396 akapila@postgresql.o 727 : 14 : entry->localindexoid = FindLogicalRepLocalIndex(partrel, remoterel,
728 : : entry->attrmap);
729 : :
730 : 14 : entry->localrelvalid = true;
731 : :
1469 peter@eisentraut.org 732 : 14 : return entry;
733 : : }
734 : :
735 : : /*
736 : : * Returns the oid of an index that can be used by the apply worker to scan
737 : : * the relation.
738 : : *
739 : : * We expect to call this function when REPLICA IDENTITY FULL is defined for
740 : : * the remote relation.
741 : : *
742 : : * If no suitable index is found, returns InvalidOid.
743 : : */
744 : : static Oid
396 akapila@postgresql.o 745 : 58 : FindUsableIndexForReplicaIdentityFull(Relation localrel, AttrMap *attrmap)
746 : : {
747 : 58 : List *idxlist = RelationGetIndexList(localrel);
748 : :
101 nathan@postgresql.or 749 [ + + + + :GNC 106 : foreach_oid(idxoid, idxlist)
+ + ]
750 : : {
751 : : bool isUsableIdx;
752 : : Relation idxRel;
753 : : IndexInfo *idxInfo;
754 : :
396 akapila@postgresql.o 755 :CBC 18 : idxRel = index_open(idxoid, AccessShareLock);
756 : 18 : idxInfo = BuildIndexInfo(idxRel);
264 msawada@postgresql.o 757 : 18 : isUsableIdx = IsIndexUsableForReplicaIdentityFull(idxInfo, attrmap);
396 akapila@postgresql.o 758 : 18 : index_close(idxRel, AccessShareLock);
759 : :
760 : : /* Return the first eligible index found */
264 msawada@postgresql.o 761 [ + + ]: 18 : if (isUsableIdx)
396 akapila@postgresql.o 762 : 14 : return idxoid;
763 : : }
764 : :
765 : 44 : return InvalidOid;
766 : : }
767 : :
768 : : /*
769 : : * Returns true if the index is usable for replica identity full.
770 : : *
771 : : * The index must be btree or hash, non-partial, and the leftmost field must be
772 : : * a column (not an expression) that references the remote relation column. These
773 : : * limitations help to keep the index scan similar to PK/RI index scans.
774 : : *
775 : : * attrmap is a map of local attributes to remote ones. We can consult this
776 : : * map to check whether the local index attribute has a corresponding remote
777 : : * attribute.
778 : : *
779 : : * Note that the limitations of index scans for replica identity full only
780 : : * adheres to a subset of the limitations of PK/RI. For example, we support
781 : : * columns that are marked as [NULL] or we are not interested in the [NOT
782 : : * DEFERRABLE] aspect of constraints here. It works for us because we always
783 : : * compare the tuples for non-PK/RI index scans. See
784 : : * RelationFindReplTupleByIndex().
785 : : *
786 : : * The reasons why only Btree and Hash indexes can be considered as usable are:
787 : : *
788 : : * 1) Other index access methods don't have a fixed strategy for equality
789 : : * operation. Refer get_equal_strategy_number_for_am().
790 : : *
791 : : * 2) For indexes other than PK and REPLICA IDENTITY, we need to match the
792 : : * local and remote tuples. The equality routine tuples_equal() cannot accept
793 : : * a datatype (e.g. point or box) that does not have a default operator class
794 : : * for Btree or Hash.
795 : : *
796 : : * XXX: Note that BRIN and GIN indexes do not implement "amgettuple" which
797 : : * will be used later to fetch the tuples. See RelationFindReplTupleByIndex().
798 : : *
799 : : * XXX: To support partial indexes, the required changes are likely to be larger.
800 : : * If none of the tuples satisfy the expression for the index scan, we fall-back
801 : : * to sequential execution, which might not be a good idea in some cases.
802 : : */
803 : : bool
264 msawada@postgresql.o 804 : 72117 : IsIndexUsableForReplicaIdentityFull(IndexInfo *indexInfo, AttrMap *attrmap)
805 : : {
806 : : AttrNumber keycol;
807 : :
808 : : /* Ensure that the index access method has a valid equal strategy */
275 akapila@postgresql.o 809 [ - + ]:GNC 72117 : if (get_equal_strategy_number_for_am(indexInfo->ii_Am) == InvalidStrategy)
275 akapila@postgresql.o 810 :UBC 0 : return false;
811 : :
812 : : /* The index must not be a partial index */
275 akapila@postgresql.o 813 [ + + ]:CBC 72117 : if (indexInfo->ii_Predicate != NIL)
814 : 2 : return false;
815 : :
264 msawada@postgresql.o 816 [ - + ]: 72115 : Assert(indexInfo->ii_NumIndexAttrs >= 1);
817 : :
818 : : /* The leftmost index field must not be an expression */
819 : 72115 : keycol = indexInfo->ii_IndexAttrNumbers[0];
820 [ + + ]: 72115 : if (!AttributeNumberIsValid(keycol))
821 : 2 : return false;
822 : :
823 : : /*
824 : : * And the leftmost index field must reference the remote relation column.
825 : : * This is because if it doesn't, the sequential scan is favorable over
826 : : * index scan in most cases.
827 : : */
828 [ - + + - ]: 72113 : if (attrmap->maplen <= AttrNumberGetAttrOffset(keycol) ||
829 [ - + - + ]: 72113 : attrmap->attnums[AttrNumberGetAttrOffset(keycol)] < 0)
275 akapila@postgresql.o 830 :UBC 0 : return false;
831 : :
832 : : #ifdef USE_ASSERT_CHECKING
833 : : {
834 : : IndexAmRoutine *amroutine;
835 : :
836 : : /* The given index access method must implement amgettuple. */
275 akapila@postgresql.o 837 :GNC 72113 : amroutine = GetIndexAmRoutineByAmId(indexInfo->ii_Am, false);
838 [ - + ]: 72113 : Assert(amroutine->amgettuple != NULL);
839 : : }
840 : : #endif
841 : :
275 akapila@postgresql.o 842 :CBC 72113 : return true;
843 : : }
844 : :
845 : : /*
846 : : * Return the OID of the replica identity index if one is defined;
847 : : * the OID of the PK if one exists and is not deferrable;
848 : : * otherwise, InvalidOid.
849 : : */
850 : : Oid
396 851 : 144664 : GetRelationIdentityOrPK(Relation rel)
852 : : {
853 : : Oid idxoid;
854 : :
855 : 144664 : idxoid = RelationGetReplicaIndex(rel);
856 : :
857 [ + + ]: 144664 : if (!OidIsValid(idxoid))
858 : 72272 : idxoid = RelationGetPrimaryKeyIndex(rel);
859 : :
860 : 144664 : return idxoid;
861 : : }
862 : :
863 : : /*
864 : : * Returns the index oid if we can use an index for subscriber. Otherwise,
865 : : * returns InvalidOid.
866 : : */
867 : : static Oid
868 : 514 : FindLogicalRepLocalIndex(Relation localrel, LogicalRepRelation *remoterel,
869 : : AttrMap *attrMap)
870 : : {
871 : : Oid idxoid;
872 : :
873 : : /*
874 : : * We never need index oid for partitioned tables, always rely on leaf
875 : : * partition's index.
876 : : */
877 [ + + ]: 514 : if (localrel->rd_rel->relkind == RELKIND_PARTITIONED_TABLE)
878 : 48 : return InvalidOid;
879 : :
880 : : /*
881 : : * Simple case, we already have a primary key or a replica identity index.
882 : : */
883 : 466 : idxoid = GetRelationIdentityOrPK(localrel);
884 [ + + ]: 466 : if (OidIsValid(idxoid))
885 : 314 : return idxoid;
886 : :
887 [ + + ]: 152 : if (remoterel->replident == REPLICA_IDENTITY_FULL)
888 : : {
889 : : /*
890 : : * We are looking for one more opportunity for using an index. If
891 : : * there are any indexes defined on the local relation, try to pick a
892 : : * suitable index.
893 : : *
894 : : * The index selection safely assumes that all the columns are going
895 : : * to be available for the index scan given that remote relation has
896 : : * replica identity full.
897 : : *
898 : : * Note that we are not using the planner to find the cheapest method
899 : : * to scan the relation as that would require us to either use lower
900 : : * level planner functions which would be a maintenance burden in the
901 : : * long run or use the full-fledged planner which could cause
902 : : * overhead.
903 : : */
904 : 58 : return FindUsableIndexForReplicaIdentityFull(localrel, attrMap);
905 : : }
906 : :
907 : 94 : return InvalidOid;
908 : : }
|
