226 static int qcom_pcie_ep_core_reset(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_core_reset()  argument
228 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
232 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
240 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
256 static void qcom_pcie_ep_configure_tcsr(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_configure_tcsr()  argument
258 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
259 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
260 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
266 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_link_up()  local
269 	reg = readl_relaxed(pcie_ep->elbi + ELBI_SYS_STTS);  in qcom_pcie_dw_link_up()
276 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_start_link()  local
278 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
285 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_stop_link()  local
287 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
293 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_write_dbi2()  local
296 	writel(1, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
302 	writel(0, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
305 static void qcom_pcie_ep_icc_update(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_icc_update()  argument
307 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
312 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
321 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * QCOM_PCIE_LINK_SPEED_TO_BW(speed));  in qcom_pcie_ep_icc_update()
327 static int qcom_pcie_enable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_enable_resources()  argument
329 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
332 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
336 	ret = qcom_pcie_ep_core_reset(pcie_ep);  in qcom_pcie_enable_resources()
340 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
344 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
348 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
359 	ret = icc_set_bw(pcie_ep->icc_mem, 0, QCOM_PCIE_LINK_SPEED_TO_BW(1));  in qcom_pcie_enable_resources()
369 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
371 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
373 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
378 static void qcom_pcie_disable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_disable_resources()  argument
380 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
381 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
382 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
383 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
388 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_deassert()  local
393 	ret = qcom_pcie_enable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
404 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
406 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
408 	qcom_pcie_ep_configure_tcsr(pcie_ep);  in qcom_pcie_perst_deassert()
411 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
413 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
416 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
420 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
423 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
426 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
428 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
431 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
433 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
436 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
438 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
441 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
443 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
451 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
456 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
459 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
463 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
466 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
468 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
488 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
492 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
494 	if (pcie_ep->cfg && pcie_ep->cfg->disable_mhi_ram_parity_check) {  in qcom_pcie_perst_deassert()
495 		val = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
497 		writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_5_MASK);  in qcom_pcie_perst_deassert()
500 	ret = dw_pcie_ep_init_registers(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
515 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
516 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
517 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
520 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
522 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
524 	pci_epc_init_notify(pcie_ep->pci.ep.epc);  in qcom_pcie_perst_deassert()
527 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
529 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
531 	if (pcie_ep->cfg && pcie_ep->cfg->override_no_snoop)  in qcom_pcie_perst_deassert()
533 				pcie_ep->parf + PARF_NO_SNOOP_OVERIDE);  in qcom_pcie_perst_deassert()
538 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
545 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_assert()  local
547 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_assert()
548 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
560 					 struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_io_resources()  argument
563 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
568 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
569 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
570 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
579 	pcie_ep->elbi = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
580 	if (IS_ERR(pcie_ep->elbi))  in qcom_pcie_ep_get_io_resources()
581 		return PTR_ERR(pcie_ep->elbi);  in qcom_pcie_ep_get_io_resources()
583 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
585 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
590 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
591 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
592 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
600 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
602 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
603 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
606 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
613 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
623 				      struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_resources()  argument
628 	ret = qcom_pcie_ep_get_io_resources(pdev, pcie_ep);  in qcom_pcie_ep_get_resources()
634 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
635 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
637 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
640 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
641 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
642 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
644 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
645 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
646 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
648 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
649 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
650 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
652 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
653 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
654 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
656 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
657 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
658 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
666 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_global_irq_thread()  local
667 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
669 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
672 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
676 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
680 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
681 		qcom_pcie_ep_icc_update(pcie_ep);  in qcom_pcie_ep_global_irq_thread()
685 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
687 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
693 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
695 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
700 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
711 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_perst_irq_thread()  local
712 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
716 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
725 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
732 					     struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_enable_irq_resources()  argument
734 	struct device *dev = pcie_ep->pci.dev;  in qcom_pcie_ep_enable_irq_resources()
739 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
743 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
744 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
745 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
747 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
750 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
757 			      pcie_ep->pci.ep.epc->domain_nr);  in qcom_pcie_ep_enable_irq_resources()
761 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
762 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
763 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
766 					name, pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
769 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
794 	struct qcom_pcie_ep *pcie_ep = (struct qcom_pcie_ep *)  in qcom_pcie_ep_link_transition_count()  local
798 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
801 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
804 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
807 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
810 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
815 static void qcom_pcie_ep_init_debugfs(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_init_debugfs()  argument
817 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
819 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
854 	struct qcom_pcie_ep *pcie_ep;  in qcom_pcie_ep_probe()  local
858 	pcie_ep = devm_kzalloc(dev, sizeof(*pcie_ep), GFP_KERNEL);  in qcom_pcie_ep_probe()
859 	if (!pcie_ep)  in qcom_pcie_ep_probe()
862 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
863 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
864 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
865 	pcie_ep->pci.edma.nr_irqs = 1;  in qcom_pcie_ep_probe()
867 	pcie_ep->cfg = of_device_get_match_data(dev);  in qcom_pcie_ep_probe()
868 	if (pcie_ep->cfg && pcie_ep->cfg->hdma_support) {  in qcom_pcie_ep_probe()
869 		pcie_ep->pci.edma.ll_wr_cnt = 8;  in qcom_pcie_ep_probe()
870 		pcie_ep->pci.edma.ll_rd_cnt = 8;  in qcom_pcie_ep_probe()
871 		pcie_ep->pci.edma.mf = EDMA_MF_HDMA_NATIVE;  in qcom_pcie_ep_probe()
874 	platform_set_drvdata(pdev, pcie_ep);  in qcom_pcie_ep_probe()
876 	ret = qcom_pcie_ep_get_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
880 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
886 	ret = qcom_pcie_ep_enable_irq_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
896 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
897 	qcom_pcie_ep_init_debugfs(pcie_ep);  in qcom_pcie_ep_probe()
902 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
903 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
906 	dw_pcie_ep_deinit(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
913 	struct qcom_pcie_ep *pcie_ep = platform_get_drvdata(pdev);  in qcom_pcie_ep_remove()  local
915 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
916 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
918 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
920 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
923 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_ep_remove()