1 // SPDX-License-Identifier: GPL-2.0-only
3  * PCIe host controller driver for Xilinx XDMA PCIe Bridge
18 #include "pcie-xilinx-common.h"
61 /* Root Port Error Register definitions */
66 /* Root Port Interrupt Register definitions */
69 /* Root Port Status/control Register definitions */
85  * struct xilinx_pl_dma_variant - PL DMA PCIe variant information
102  * struct pl_dma_pcie - PCIe port information
115  * @variant: PL DMA PCIe version check pointer
133 static inline u32 pcie_read(struct pl_dma_pcie *port, u32 reg)  in pcie_read()  argument
135 	if (port->variant->version == QDMA)  in pcie_read()
136 		return readl(port->reg_base + reg + QDMA_BRIDGE_BASE_OFF);  in pcie_read()
138 	return readl(port->reg_base + reg);  in pcie_read()
141 static inline void pcie_write(struct pl_dma_pcie *port, u32 val, u32 reg)  in pcie_write()  argument
143 	if (port->variant->version == QDMA)  in pcie_write()
144 		writel(val, port->reg_base + reg + QDMA_BRIDGE_BASE_OFF);  in pcie_write()
146 		writel(val, port->reg_base + reg);  in pcie_write()
149 static inline bool xilinx_pl_dma_pcie_link_up(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_link_up()  argument
151 	return (pcie_read(port, XILINX_PCIE_DMA_REG_PSCR) &  in xilinx_pl_dma_pcie_link_up()
155 static void xilinx_pl_dma_pcie_clear_err_interrupts(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_clear_err_interrupts()  argument
157 	unsigned long val = pcie_read(port, XILINX_PCIE_DMA_REG_RPEFR);  in xilinx_pl_dma_pcie_clear_err_interrupts()
160 		dev_dbg(port->dev, "Requester ID %lu\n",  in xilinx_pl_dma_pcie_clear_err_interrupts()
162 		pcie_write(port, XILINX_PCIE_DMA_RPEFR_ALL_MASK,  in xilinx_pl_dma_pcie_clear_err_interrupts()
170 	struct pl_dma_pcie *port = bus->sysdata;  in xilinx_pl_dma_pcie_valid_device()  local
178 		 * PCIe controller will be needed. We can reduce the likelihood  in xilinx_pl_dma_pcie_valid_device()
181 		 * go down between the link-up check and the PIO request.  in xilinx_pl_dma_pcie_valid_device()
183 		if (!xilinx_pl_dma_pcie_link_up(port))  in xilinx_pl_dma_pcie_valid_device()
186 		/* Only one device down on each root port */  in xilinx_pl_dma_pcie_valid_device()
195 	struct pl_dma_pcie *port = bus->sysdata;  in xilinx_pl_dma_pcie_map_bus()  local
200 	if (port->variant->version == QDMA)  in xilinx_pl_dma_pcie_map_bus()
201 		return port->cfg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in xilinx_pl_dma_pcie_map_bus()
203 	return port->reg_base + PCIE_ECAM_OFFSET(bus->number, devfn, where);  in xilinx_pl_dma_pcie_map_bus()
206 /* PCIe operations */
215 static void xilinx_pl_dma_pcie_enable_msi(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_enable_msi()  argument
217 	phys_addr_t msi_addr = port->phys_reg_base;  in xilinx_pl_dma_pcie_enable_msi()
219 	pcie_write(port, upper_32_bits(msi_addr), XILINX_PCIE_DMA_REG_MSIBASE1);  in xilinx_pl_dma_pcie_enable_msi()
220 	pcie_write(port, lower_32_bits(msi_addr), XILINX_PCIE_DMA_REG_MSIBASE2);  in xilinx_pl_dma_pcie_enable_msi()
225 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(data);  in xilinx_mask_intx_irq()  local
229 	mask = BIT(data->hwirq + XILINX_PCIE_DMA_IDRN_SHIFT);  in xilinx_mask_intx_irq()
230 	raw_spin_lock_irqsave(&port->lock, flags);  in xilinx_mask_intx_irq()
231 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_mask_intx_irq()
232 	pcie_write(port, (val & (~mask)), XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_mask_intx_irq()
233 	raw_spin_unlock_irqrestore(&port->lock, flags);  in xilinx_mask_intx_irq()
238 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(data);  in xilinx_unmask_intx_irq()  local
242 	mask = BIT(data->hwirq + XILINX_PCIE_DMA_IDRN_SHIFT);  in xilinx_unmask_intx_irq()
243 	raw_spin_lock_irqsave(&port->lock, flags);  in xilinx_unmask_intx_irq()
244 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_unmask_intx_irq()
245 	pcie_write(port, (val | mask), XILINX_PCIE_DMA_REG_IDRN_MASK);  in xilinx_unmask_intx_irq()
246 	raw_spin_unlock_irqrestore(&port->lock, flags);  in xilinx_unmask_intx_irq()
259 	irq_set_chip_data(irq, domain->host_data);  in xilinx_pl_dma_pcie_intx_map()
275 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_msi_handler_high()  local
277 	msi = &port->msi;  in xilinx_pl_dma_pcie_msi_handler_high()
279 	while ((status = pcie_read(port, XILINX_PCIE_DMA_REG_MSI_HI)) != 0) {  in xilinx_pl_dma_pcie_msi_handler_high()
281 			pcie_write(port, 1 << bit, XILINX_PCIE_DMA_REG_MSI_HI);  in xilinx_pl_dma_pcie_msi_handler_high()
283 			virq = irq_find_mapping(msi->dev_domain, bit);  in xilinx_pl_dma_pcie_msi_handler_high()
294 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_msi_handler_low()  local
299 	msi = &port->msi;  in xilinx_pl_dma_pcie_msi_handler_low()
301 	while ((status = pcie_read(port, XILINX_PCIE_DMA_REG_MSI_LOW)) != 0) {  in xilinx_pl_dma_pcie_msi_handler_low()
303 			pcie_write(port, 1 << bit, XILINX_PCIE_DMA_REG_MSI_LOW);  in xilinx_pl_dma_pcie_msi_handler_low()
304 			virq = irq_find_mapping(msi->dev_domain, bit);  in xilinx_pl_dma_pcie_msi_handler_low()
315 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_event_flow()  local
319 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IDR);  in xilinx_pl_dma_pcie_event_flow()
320 	val &= pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_event_flow()
322 		generic_handle_domain_irq(port->pldma_domain, i);  in xilinx_pl_dma_pcie_event_flow()
324 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IDR);  in xilinx_pl_dma_pcie_event_flow()
354 	struct pl_dma_pcie *port = (struct pl_dma_pcie *)dev_id;  in xilinx_pl_dma_pcie_intr_handler()  local
355 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_intr_handler()
358 	d = irq_domain_get_irq_data(port->pldma_domain, irq);  in xilinx_pl_dma_pcie_intr_handler()
359 	switch (d->hwirq) {  in xilinx_pl_dma_pcie_intr_handler()
363 		xilinx_pl_dma_pcie_clear_err_interrupts(port);  in xilinx_pl_dma_pcie_intr_handler()
367 		if (intr_cause[d->hwirq].str)  in xilinx_pl_dma_pcie_intr_handler()
368 			dev_warn(dev, "%s\n", intr_cause[d->hwirq].str);  in xilinx_pl_dma_pcie_intr_handler()
370 			dev_warn(dev, "Unknown IRQ %ld\n", d->hwirq);  in xilinx_pl_dma_pcie_intr_handler()
377 	.name = "pl_dma:PCIe MSI",
392 	struct pl_dma_pcie *pcie = irq_data_get_irq_chip_data(data);  in xilinx_compose_msi_msg()  local
393 	phys_addr_t msi_addr = pcie->phys_reg_base;  in xilinx_compose_msi_msg()
395 	msg->address_lo = lower_32_bits(msi_addr);  in xilinx_compose_msi_msg()
396 	msg->address_hi = upper_32_bits(msi_addr);  in xilinx_compose_msi_msg()
397 	msg->data = data->hwirq;  in xilinx_compose_msi_msg()
408 	struct pl_dma_pcie *pcie = domain->host_data;  in xilinx_irq_domain_alloc()  local
409 	struct xilinx_msi *msi = &pcie->msi;  in xilinx_irq_domain_alloc()
412 	mutex_lock(&msi->lock);  in xilinx_irq_domain_alloc()
413 	bit = bitmap_find_free_region(msi->bitmap, XILINX_NUM_MSI_IRQS,  in xilinx_irq_domain_alloc()
416 		mutex_unlock(&msi->lock);  in xilinx_irq_domain_alloc()
417 		return -ENOSPC;  in xilinx_irq_domain_alloc()
422 				    domain->host_data, handle_simple_irq,  in xilinx_irq_domain_alloc()
425 	mutex_unlock(&msi->lock);  in xilinx_irq_domain_alloc()
434 	struct pl_dma_pcie *pcie = irq_data_get_irq_chip_data(data);  in xilinx_irq_domain_free()  local
435 	struct xilinx_msi *msi = &pcie->msi;  in xilinx_irq_domain_free()
437 	mutex_lock(&msi->lock);  in xilinx_irq_domain_free()
438 	bitmap_release_region(msi->bitmap, data->hwirq,  in xilinx_irq_domain_free()
440 	mutex_unlock(&msi->lock);  in xilinx_irq_domain_free()
448 static void xilinx_pl_dma_pcie_free_irq_domains(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_free_irq_domains()  argument
450 	struct xilinx_msi *msi = &port->msi;  in xilinx_pl_dma_pcie_free_irq_domains()
452 	if (port->intx_domain) {  in xilinx_pl_dma_pcie_free_irq_domains()
453 		irq_domain_remove(port->intx_domain);  in xilinx_pl_dma_pcie_free_irq_domains()
454 		port->intx_domain = NULL;  in xilinx_pl_dma_pcie_free_irq_domains()
457 	if (msi->dev_domain) {  in xilinx_pl_dma_pcie_free_irq_domains()
458 		irq_domain_remove(msi->dev_domain);  in xilinx_pl_dma_pcie_free_irq_domains()
459 		msi->dev_domain = NULL;  in xilinx_pl_dma_pcie_free_irq_domains()
462 	if (msi->msi_domain) {  in xilinx_pl_dma_pcie_free_irq_domains()
463 		irq_domain_remove(msi->msi_domain);  in xilinx_pl_dma_pcie_free_irq_domains()
464 		msi->msi_domain = NULL;  in xilinx_pl_dma_pcie_free_irq_domains()
468 static int xilinx_pl_dma_pcie_init_msi_irq_domain(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_msi_irq_domain()  argument
470 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_init_msi_irq_domain()
471 	struct xilinx_msi *msi = &port->msi;  in xilinx_pl_dma_pcie_init_msi_irq_domain()
473 	struct fwnode_handle *fwnode = of_node_to_fwnode(port->dev->of_node);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
475 	msi->dev_domain = irq_domain_add_linear(NULL, XILINX_NUM_MSI_IRQS,  in xilinx_pl_dma_pcie_init_msi_irq_domain()
476 						&dev_msi_domain_ops, port);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
477 	if (!msi->dev_domain)  in xilinx_pl_dma_pcie_init_msi_irq_domain()
480 	msi->msi_domain = pci_msi_create_irq_domain(fwnode,  in xilinx_pl_dma_pcie_init_msi_irq_domain()
482 						    msi->dev_domain);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
483 	if (!msi->msi_domain)  in xilinx_pl_dma_pcie_init_msi_irq_domain()
486 	mutex_init(&msi->lock);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
487 	msi->bitmap = kzalloc(size, GFP_KERNEL);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
488 	if (!msi->bitmap)  in xilinx_pl_dma_pcie_init_msi_irq_domain()
491 	raw_spin_lock_init(&port->lock);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
492 	xilinx_pl_dma_pcie_enable_msi(port);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
497 	xilinx_pl_dma_pcie_free_irq_domains(port);  in xilinx_pl_dma_pcie_init_msi_irq_domain()
500 	return -ENOMEM;  in xilinx_pl_dma_pcie_init_msi_irq_domain()
513 	struct pl_dma_pcie *port = args;  in xilinx_pl_dma_pcie_intx_flow()  local
516 			pcie_read(port, XILINX_PCIE_DMA_REG_IDRN));  in xilinx_pl_dma_pcie_intx_flow()
519 		generic_handle_domain_irq(port->intx_domain, i);  in xilinx_pl_dma_pcie_intx_flow()
525 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(d);  in xilinx_pl_dma_pcie_mask_event_irq()  local
528 	raw_spin_lock(&port->lock);  in xilinx_pl_dma_pcie_mask_event_irq()
529 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_mask_event_irq()
530 	val &= ~BIT(d->hwirq);  in xilinx_pl_dma_pcie_mask_event_irq()
531 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_mask_event_irq()
532 	raw_spin_unlock(&port->lock);  in xilinx_pl_dma_pcie_mask_event_irq()
537 	struct pl_dma_pcie *port = irq_data_get_irq_chip_data(d);  in xilinx_pl_dma_pcie_unmask_event_irq()  local
540 	raw_spin_lock(&port->lock);  in xilinx_pl_dma_pcie_unmask_event_irq()
541 	val = pcie_read(port, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_unmask_event_irq()
542 	val |= BIT(d->hwirq);  in xilinx_pl_dma_pcie_unmask_event_irq()
543 	pcie_write(port, val, XILINX_PCIE_DMA_REG_IMR);  in xilinx_pl_dma_pcie_unmask_event_irq()
544 	raw_spin_unlock(&port->lock);  in xilinx_pl_dma_pcie_unmask_event_irq()
548 	.name		= "pl_dma:RC-Event",
558 	irq_set_chip_data(irq, domain->host_data);  in xilinx_pl_dma_pcie_event_map()
569  * xilinx_pl_dma_pcie_init_irq_domain - Initialize IRQ domain
570  * @port: PCIe port information
574 static int xilinx_pl_dma_pcie_init_irq_domain(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_irq_domain()  argument
576 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_init_irq_domain()
577 	struct device_node *node = dev->of_node;  in xilinx_pl_dma_pcie_init_irq_domain()
582 	pcie_intc_node = of_get_child_by_name(node, "interrupt-controller");  in xilinx_pl_dma_pcie_init_irq_domain()
584 		dev_err(dev, "No PCIe Intc node found\n");  in xilinx_pl_dma_pcie_init_irq_domain()
585 		return -EINVAL;  in xilinx_pl_dma_pcie_init_irq_domain()
588 	port->pldma_domain = irq_domain_add_linear(pcie_intc_node, 32,  in xilinx_pl_dma_pcie_init_irq_domain()
589 						   &event_domain_ops, port);  in xilinx_pl_dma_pcie_init_irq_domain()
590 	if (!port->pldma_domain)  in xilinx_pl_dma_pcie_init_irq_domain()
591 		return -ENOMEM;  in xilinx_pl_dma_pcie_init_irq_domain()
593 	irq_domain_update_bus_token(port->pldma_domain, DOMAIN_BUS_NEXUS);  in xilinx_pl_dma_pcie_init_irq_domain()
595 	port->intx_domain = irq_domain_add_linear(pcie_intc_node, PCI_NUM_INTX,  in xilinx_pl_dma_pcie_init_irq_domain()
596 						  &intx_domain_ops, port);  in xilinx_pl_dma_pcie_init_irq_domain()
597 	if (!port->intx_domain) {  in xilinx_pl_dma_pcie_init_irq_domain()
599 		return -ENOMEM;  in xilinx_pl_dma_pcie_init_irq_domain()
602 	irq_domain_update_bus_token(port->intx_domain, DOMAIN_BUS_WIRED);  in xilinx_pl_dma_pcie_init_irq_domain()
604 	ret = xilinx_pl_dma_pcie_init_msi_irq_domain(port);  in xilinx_pl_dma_pcie_init_irq_domain()
606 		irq_domain_remove(port->intx_domain);  in xilinx_pl_dma_pcie_init_irq_domain()
607 		return -ENOMEM;  in xilinx_pl_dma_pcie_init_irq_domain()
611 	raw_spin_lock_init(&port->lock);  in xilinx_pl_dma_pcie_init_irq_domain()
616 static int xilinx_pl_dma_pcie_setup_irq(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_setup_irq()  argument
618 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_setup_irq()
622 	port->irq = platform_get_irq(pdev, 0);  in xilinx_pl_dma_pcie_setup_irq()
623 	if (port->irq < 0)  in xilinx_pl_dma_pcie_setup_irq()
624 		return port->irq;  in xilinx_pl_dma_pcie_setup_irq()
632 		irq = irq_create_mapping(port->pldma_domain, i);  in xilinx_pl_dma_pcie_setup_irq()
635 			return -ENXIO;  in xilinx_pl_dma_pcie_setup_irq()
641 				       intr_cause[i].sym, port);  in xilinx_pl_dma_pcie_setup_irq()
648 	port->intx_irq = irq_create_mapping(port->pldma_domain,  in xilinx_pl_dma_pcie_setup_irq()
650 	if (!port->intx_irq) {  in xilinx_pl_dma_pcie_setup_irq()
652 		return -ENXIO;  in xilinx_pl_dma_pcie_setup_irq()
655 	err = devm_request_irq(dev, port->intx_irq, xilinx_pl_dma_pcie_intx_flow,  in xilinx_pl_dma_pcie_setup_irq()
656 			       IRQF_SHARED | IRQF_NO_THREAD, NULL, port);  in xilinx_pl_dma_pcie_setup_irq()
658 		dev_err(dev, "Failed to request INTx IRQ %d\n", port->intx_irq);  in xilinx_pl_dma_pcie_setup_irq()
662 	err = devm_request_irq(dev, port->irq, xilinx_pl_dma_pcie_event_flow,  in xilinx_pl_dma_pcie_setup_irq()
663 			       IRQF_SHARED | IRQF_NO_THREAD, NULL, port);  in xilinx_pl_dma_pcie_setup_irq()
665 		dev_err(dev, "Failed to request event IRQ %d\n", port->irq);  in xilinx_pl_dma_pcie_setup_irq()
672 static void xilinx_pl_dma_pcie_init_port(struct pl_dma_pcie *port)  in xilinx_pl_dma_pcie_init_port()  argument
674 	if (xilinx_pl_dma_pcie_link_up(port))  in xilinx_pl_dma_pcie_init_port()
675 		dev_info(port->dev, "PCIe Link is UP\n");  in xilinx_pl_dma_pcie_init_port()
677 		dev_info(port->dev, "PCIe Link is DOWN\n");  in xilinx_pl_dma_pcie_init_port()
680 	pcie_write(port, ~XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
684 	pcie_write(port, pcie_read(port, XILINX_PCIE_DMA_REG_IDR) &  in xilinx_pl_dma_pcie_init_port()
689 	pcie_write(port, XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
691 	pcie_write(port, XILINX_PCIE_DMA_IDR_ALL_MASK,  in xilinx_pl_dma_pcie_init_port()
695 	pcie_write(port, pcie_read(port, XILINX_PCIE_DMA_REG_RPSC) |  in xilinx_pl_dma_pcie_init_port()
700 static int xilinx_request_msi_irq(struct pl_dma_pcie *port)  in xilinx_request_msi_irq()  argument
702 	struct device *dev = port->dev;  in xilinx_request_msi_irq()
706 	port->msi.irq_msi0 = platform_get_irq_byname(pdev, "msi0");  in xilinx_request_msi_irq()
707 	if (port->msi.irq_msi0 <= 0)  in xilinx_request_msi_irq()
708 		return port->msi.irq_msi0;  in xilinx_request_msi_irq()
710 	ret = devm_request_irq(dev, port->msi.irq_msi0, xilinx_pl_dma_pcie_msi_handler_low,  in xilinx_request_msi_irq()
711 			       IRQF_SHARED | IRQF_NO_THREAD, "xlnx-pcie-dma-pl",  in xilinx_request_msi_irq()
712 			       port);  in xilinx_request_msi_irq()
718 	port->msi.irq_msi1 = platform_get_irq_byname(pdev, "msi1");  in xilinx_request_msi_irq()
719 	if (port->msi.irq_msi1 <= 0)  in xilinx_request_msi_irq()
720 		return port->msi.irq_msi1;  in xilinx_request_msi_irq()
722 	ret = devm_request_irq(dev, port->msi.irq_msi1, xilinx_pl_dma_pcie_msi_handler_high,  in xilinx_request_msi_irq()
723 			       IRQF_SHARED | IRQF_NO_THREAD, "xlnx-pcie-dma-pl",  in xilinx_request_msi_irq()
724 			       port);  in xilinx_request_msi_irq()
733 static int xilinx_pl_dma_pcie_parse_dt(struct pl_dma_pcie *port,  in xilinx_pl_dma_pcie_parse_dt()  argument
736 	struct device *dev = port->dev;  in xilinx_pl_dma_pcie_parse_dt()
744 		return -ENXIO;  in xilinx_pl_dma_pcie_parse_dt()
746 	port->phys_reg_base = res->start;  in xilinx_pl_dma_pcie_parse_dt()
748 	port->cfg = pci_ecam_create(dev, res, bus_range, &xilinx_pl_dma_pcie_ops);  in xilinx_pl_dma_pcie_parse_dt()
749 	if (IS_ERR(port->cfg))  in xilinx_pl_dma_pcie_parse_dt()
750 		return PTR_ERR(port->cfg);  in xilinx_pl_dma_pcie_parse_dt()
752 	port->reg_base = port->cfg->win;  in xilinx_pl_dma_pcie_parse_dt()
754 	if (port->variant->version == QDMA) {  in xilinx_pl_dma_pcie_parse_dt()
755 		port->cfg_base = port->cfg->win;  in xilinx_pl_dma_pcie_parse_dt()
757 		port->reg_base = devm_ioremap_resource(dev, res);  in xilinx_pl_dma_pcie_parse_dt()
758 		if (IS_ERR(port->reg_base))  in xilinx_pl_dma_pcie_parse_dt()
759 			return PTR_ERR(port->reg_base);  in xilinx_pl_dma_pcie_parse_dt()
760 		port->phys_reg_base = res->start;  in xilinx_pl_dma_pcie_parse_dt()
763 	err = xilinx_request_msi_irq(port);  in xilinx_pl_dma_pcie_parse_dt()
765 		pci_ecam_free(port->cfg);  in xilinx_pl_dma_pcie_parse_dt()
774 	struct device *dev = &pdev->dev;  in xilinx_pl_dma_pcie_probe()
775 	struct pl_dma_pcie *port;  in xilinx_pl_dma_pcie_probe()  local
780 	bridge = devm_pci_alloc_host_bridge(dev, sizeof(*port));  in xilinx_pl_dma_pcie_probe()
782 		return -ENODEV;  in xilinx_pl_dma_pcie_probe()
784 	port = pci_host_bridge_priv(bridge);  in xilinx_pl_dma_pcie_probe()
786 	port->dev = dev;  in xilinx_pl_dma_pcie_probe()
788 	bus = resource_list_first_type(&bridge->windows, IORESOURCE_BUS);  in xilinx_pl_dma_pcie_probe()
790 		return -ENODEV;  in xilinx_pl_dma_pcie_probe()
792 	port->variant = of_device_get_match_data(dev);  in xilinx_pl_dma_pcie_probe()
794 	err = xilinx_pl_dma_pcie_parse_dt(port, bus->res);  in xilinx_pl_dma_pcie_probe()
800 	xilinx_pl_dma_pcie_init_port(port);  in xilinx_pl_dma_pcie_probe()
802 	err = xilinx_pl_dma_pcie_init_irq_domain(port);  in xilinx_pl_dma_pcie_probe()
806 	err = xilinx_pl_dma_pcie_setup_irq(port);  in xilinx_pl_dma_pcie_probe()
808 	bridge->sysdata = port;  in xilinx_pl_dma_pcie_probe()
809 	bridge->ops = &xilinx_pl_dma_pcie_ops.pci_ops;  in xilinx_pl_dma_pcie_probe()
818 	xilinx_pl_dma_pcie_free_irq_domains(port);  in xilinx_pl_dma_pcie_probe()
821 	pci_ecam_free(port->cfg);  in xilinx_pl_dma_pcie_probe()
835 		.compatible = "xlnx,xdma-host-3.00",
839 		.compatible = "xlnx,qdma-host-3.00",
847 		.name = "xilinx-xdma-pcie",