web-dev-qa-db-ja.com

ARKit – 3DオブジェクトをQRCodeに配置する方法？

私は実際にARKitを使用したQRCode上の3Dオブジェクトを配置しようとしています---そのためにAVCaptureDeviceを使用してQRCodeを検出し、QRCodeの領域を確立して、 CGRect。次に、CGRectのすべてのポイントにhitTestを作成して、次のような平均3D座標を取得します。

positionGiven = SCNVector3(0, 0, 0)

for column in Int(qrZone.Origin.x)...2*Int(qrZone.Origin.x + qrZone.width) {
    for row in Int(qrZone.Origin.y)...2*Int(qrZone.Origin.y + qrZone.height) {
        for result in sceneView.hitTest(CGPoint(x: CGFloat(column)/2,y:CGFloat(row)/2), types: [.existingPlaneUsingExtent,.featurePoint]) {

            positionGiven.x+=result.worldTransform.columns.3.x
            positionGiven.y+=result.worldTransform.columns.3.y
            positionGiven.z+=result.worldTransform.columns.3.z
            cpts += 1
        }
    }
}

positionGiven.x=positionGiven.x/cpts
positionGiven.y=positionGiven.y/cpts
positionGiven.z=positionGiven.z/cpts

ただし、hitTestは結果を検出せず、カメラをフリーズします画面にタッチしてhitTestを作成すると、機能します。それが機能しない理由を何か知っていますか？私がやりたいことを達成するのに役立つ他のアイデアはありますか？

私はすでにCoreMotionを使用した3D変換について考えました。 ARWorldAlignmentCameraについても聞いたが、これはシーン座標をロックしてカメラの向きに合わせることができるが、それを使用する方法がわからない！

編集：画面に触れるたびに3Dオブジェクトを移動しようとしますが、hitTestは正の値で、かなり正確です！ピクセル領域でのhitTestが機能しない理由が本当にわかりません...

編集2：画面上の2〜5回のタッチで動作するhitTestのコードは次のとおりです。

@objc func touch(sender : UITapGestureRecognizer) {

    for result in sceneView.hitTest(CGPoint(x: sender.location(in: view).x,y: sender.location(in: view).y), types: [.existingPlaneUsingExtent,.featurePoint]) {
        //Pop up message for testing
        alert("\(sender.location(in: view))", message: "\(result.worldTransform.columns.3)")

        //Moving the 3D Object to the new coordinates
        let objectList = sceneView.scene.rootNode.childNodes

        for object : SCNNode in objectList {
            object.removeFromParentNode()
        }
        addObject(SCNVector3(result.worldTransform.columns.3.x,result.worldTransform.columns.3.y,result.worldTransform.columns.3.z))
    }
}

編集：問題を部分的に解決しました。

カメラの変換行列（session.currentFrame.camera.transform）を取得して、オブジェクトがカメラの前に来るようにします。次に、CGRectの位置で（x、y）に平行移動を適用します。ただし、十分な情報がないため、z軸を変換できません。そして、おそらくhitTestのようにz座標の推定が必要になります。

前もって感謝します ！ :)

swift3dqr-codearkitcore-motion
13
Alain Berrier

AppleのVision API を使用してQRコードを検出し、アンカーを配置できます。

QRコードの検出を開始するには、以下を使用します。

 var qrRequests = [VNRequest]()
 var detectedDataAnchor: ARAnchor?
 var processing = false

 func startQrCodeDetection() {
    // Create a Barcode Detection Request
    let request = VNDetectBarcodesRequest(completionHandler: self.requestHandler)
    // Set it to recognize QR code only
    request.symbologies = [.QR]
    self.qrRequests = [request]
}

ARSessionのdidUpdate Frame

public func session(_ session: ARSession, didUpdate frame: ARFrame) {
    DispatchQueue.global(qos: .userInitiated).async {
        do {
            if self.processing {
              return
            }
            self.processing = true
            // Create a request handler using the captured image from the ARFrame
            let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: frame.capturedImage,
                                                            options: [:])
            // Process the request
            try imageRequestHandler.perform(self.qrRequests)
        } catch {

        }
    }
}

Vision QRリクエストを処理してヒットテストをトリガーする

func requestHandler(request: VNRequest, error: Error?) {
    // Get the first result out of the results, if there are any
    if let results = request.results, let result = results.first as? VNBarcodeObservation {
        guard let payload = result.payloadStringValue else {return}
        // Get the bounding box for the bar code and find the center
        var rect = result.boundingBox
        // Flip coordinates
        rect = rect.applying(CGAffineTransform(scaleX: 1, y: -1))
        rect = rect.applying(CGAffineTransform(translationX: 0, y: 1))
        // Get center
        let center = CGPoint(x: rect.midX, y: rect.midY)

        DispatchQueue.main.async {
            self.hitTestQrCode(center: center)
            self.processing = false
        }
    } else {
        self.processing = false
    }
}

 func hitTestQrCode(center: CGPoint) {
    if let hitTestResults = self.latestFrame?.hitTest(center, types: [.featurePoint] ),
        let hitTestResult = hitTestResults.first {
        if let detectedDataAnchor = self.detectedDataAnchor,
            let node = self.sceneView.node(for: detectedDataAnchor) {
            let previousQrPosition = node.position
            node.transform = SCNMatrix4(hitTestResult.worldTransform)

        } else {
            // Create an anchor. The node will be created in delegate methods
            self.detectedDataAnchor = ARAnchor(transform: hitTestResult.worldTransform)
            self.sceneView.session.add(anchor: self.detectedDataAnchor!)
        }
    }
}

次に、アンカーが追加されたときにノードの追加を処理します。

func renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) -> SCNNode? {

    // If this is our anchor, create a node
    if self.detectedDataAnchor?.identifier == anchor.identifier {
        let sphere = SCNSphere(radius: 1.0)
        sphere.firstMaterial?.diffuse.contents = UIColor.redColor()
        let sphereNode = SCNNode(geometry: sphere)
        sphereNode.transform = SCNMatrix4(anchor.transform)
        return sphereNode
    }
    return nil
}

ソース

5
Scott Condron