W pracy przedstawiono techniki lokalizacji obiektów w otoczeniu robotów przemysłowych, które mogą służyć zwiększeniu możliwości stanowisk zrobotyzowanych poprzez autonomiczne planowanie ścieżek i dostosowywanie programu do zmiennych warunków, co przełoży się na możliwość wykonywania bardziej złożonych zadań przez roboty.
W ramach niniejszej pracy zrealizowano cele określone na podstawie analizy literatury w rozdziale 2.6 (str. 46).
Cel I, opracowanie urządzenia do gromadzenia danych trójwymiarowych, zrealizowano poprzez implementację nowego układu, w którym robot przenosi rzutnik linii laserowej, a dane gromadzone są przez umieszczoną nad stanowiskiem kamerę. Układ charakteryzuje się cechami korzystnymi dla zadań opisywanych w niniejszej pracy, co opisano w rozdziale 3. i w [94]. Zrobotyzowany skaner o tej konstrukcji jest obecnie używany przez studentów kierunku Inżynieria Biomedyczna w ramach laboratorium Roboty Medyczne i Rehabilitacyjne do weryfikacji efektów symulowanych zrobotyzowanych operacji chirurgicznych.
Cel II, opracowanie procedur sterowania robotem na podstawie danych o położeniu obiektów w przestrzeni pracy został zrealizowany poprzez wypracowanie techniki opisanej w rozdziale 4., która pozwala na integrację z dowolnym układem sterowania robota bez ingerencji w wewnętrzne oprogramowanie i jest intuicyjna dla operatora stanowiska. Idea została zaimplementowana i zweryfikowana w laboratorium oraz zaprezentowana na konferencji [106].
Cel III, zwiększenie niezawodności i szybkości działania metod wyznaczania położenia obiektów w chmurach punktów, został zrealizowany poprzez dogłębną analizę dostępnych klasycznych algorytmów i testy nad ich skutecznością zależną od doboru parametrów, co opisano w rozdziale 5. Efektem jest wybór optymalnej kombinacji algorytmów przetwarzania wstępnego, generowania deskryptorów, ich dopasowywania oraz wielu parametrów wpływających na skuteczność systemu. Potwierdzeniem wniosków niech będzie użycie niemal identycznej kombinacji, jako podstawowego rozwiązania przy dopasowywaniu chmur punktów, przez opublikowaną później przez Intel Labs bibliotekę [129]. Wprowadzono również nową technikę, wstępnego grupowania, czyli podziału reprezentacji sceny na bloki, niezależnie dopasowywane do bazy danych modeli, co opisano w [112]. Skuteczność tego podejścia została potwierdzona przez opublikowany rok później artykuł [134], gdzie zostało opisane bardzo podobne podejście.
Cel IV, opracowanie techniki wyznaczania pozycji przy użyciu uczenia maszynowego, zrealizowano pomimo braku publikacji realizujących podobne systemy. Rozwiązanie oparto o istniejące architektury sieci neuronowych, zastosowano jednak własną technikę uczenia i przystosowany zbiór danych, znacznie większy od powszechnie stosowanych. Pozwoliło to uzyskać działający system wyznaczania pozycji obiektów w chmurach punktów, który nie przewyższa jednak jeszcze skutecznością najlepszych, klasycznych metod. Zaproponowano kilka podejść umożliwiających użycie systemu w praktyce. Wyniki prac zostaną opublikowane wkrótce.
Ze względu na brak publikacji opisujących możliwość wyznaczania położenia obiektów w chmurach punktów przy użyciu sieci neuronowych przetwarzających surowe dane, mimo dużego zainteresowania naukowców i firm podobnymi problemami, uznaje się to za najważniejsze osiągnięcie zrealizowane w ramach niniejszej pracy. Uzyskana metoda jest funkcjonalna, lecz wciąż wymaga dopracowania. Jej skuteczność jest niższa niż obecnie stosowanych metod. Ze względu na nowość i duże możliwości ulepszenia rozwiązania planuje się prowadzenie dalszych prac obejmujących, modyfikacje architektury sieci neuronowej do generowania deskryptorów, zwiększenie liczby przykładów trenujących i poszerzenie zbiorów danych oraz testowanie innych technik uczenia.
W niniejszej pracy zostały rozważane jedynie podstawowe techniki planowania ścieżki robota na podstawie położenia rozpoznanych i zlokalizowanych obiektów. Planuje się integracje wypracowanych metod ze środowiskiem pozwalającym na zaawansowane planowanie ścieżek, uwzględniającym możliwość omijania przeszkód i optymalizacje trajektorii, takim jak MoveIt [135].
Bibliografia
[1] Fanuc, „3D VISION SENSOR,” 2018.
[2] ABB Robotics, „FlexVision 3D: Integrated vision solution for ABB robots,” 2017.
[3] S. Rusinkiewicz, O. Hall-Holt, and M. Levoy, „Real-time 3D model acquisition,” in
Proceedings of the 29th annual conference on Computer graphics and interactive techniques - SIGGRAPH ’02, 2002, vol. 21, no. 3, p. 438.
[4] Konica Minolta, „Non-Contact 3D Digitizer VIVID 910,” 2003.
[5] A. D. Wilson, „Fast Lossless Depth Image Compression,” in Proceedings of the Interactive Surfaces and Spaces on ZZZ - ISS ’17, 2017, pp. 100–105.
[6] T. Field, J. Leibs, and J. Bowman, „ROS - rosbag,” 2019. [Online]. Available:
http://wiki.ros.org/rosbag. [Accessed: 18-Apr-2019].
[7] B. Curless and M. Levoy, „A volumetric method for building complex models from range images,” in Proceedings of the 23rd annual conference on Computer graphics and
interactive techniques - SIGGRAPH ’96, 1996, pp. 303–312.
[8] M. Nießner, M. Zollhöfer, S. Izadi, and M. Stamminger, „Real-time 3D reconstruction at scale using voxel hashing,” ACM Trans. Graph., vol. 32, no. 6, pp. 1–11, Nov. 2013.
[9] D. Meagher, „Geometric modeling using octree encoding,” Comput. Graph. Image Process., vol. 19, no. 2, pp. 129–147, Jun. 1982.
[10] J. L. Bentley and J. Louis, „Multidimensional binary search trees used for associative searching,” Commun. ACM, vol. 18, no. 9, pp. 509–517, Sep. 1975.
[11] Z. Wu et al., „3D ShapeNets: A Deep Representation for Volumetric Shapes,” Jun. 2014.
[12] A. X. Chang et al., „ShapeNet: An Information-Rich 3D Model Repository,” Dec. 2015.
[13] R. Girdhar, D. F. Fouhey, M. Rodriguez, and A. Gupta, „Learning a predictable and generative vector representation for objects,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2016, vol. 9910 LNCS, pp. 484–499.
[14] J. Wu, C. Zhang, T. Xue, B. Freeman, and J. Tenenbaum, „Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling,” Nips, no. Nips, pp. 82–
90, 2016.
[15] M. Savva et al., „Large-scale 3D shape retrieval from ShapeNet core55,” Proc. Eurographics 2016 Work. 3D Object Retr., pp. 89–98, 2016.
[16] A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. Nießner, „ScanNet:
Richly-annotated 3D Reconstructions of Indoor Scenes,” Feb. 2017.
[17] C. R. Qi, H. Su, M. Niessner, A. Dai, M. Yan, and L. J. Guibas, „Volumetric and Multi-View CNNs for Object Classification on 3D Data,” Apr. 2016.
[18] Y. Lipman et al., „Parameterization-free projection for geometry reconstruction,” in ACM SIGGRAPH 2007 papers on - SIGGRAPH ’07, 2007, vol. 26, no. 3, p. 22.
[19] H. Huang et al., „Consolidation of unorganized point clouds for surface reconstruction,”
ACM Trans. Graph., vol. 28, no. 5, p. 1, Dec. 2009.
[20] H. Huang, S. Wu, M. Gong, D. Cohen-Or, U. Ascher, and H. (Richard) Zhang, „Edge-aware point set resampling,” ACM Trans. Graph., vol. 32, no. 1, pp. 1–12, Jan. 2013.
[21] L. Yu, X. Li, C.-W. Fu, D. Cohen-Or, and P.-A. Heng, „Pu-net: Point cloud upsampling network,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, pp. 2790–2799.
[22] N. Silberman, D. Hoiem, P. Kohli, and R. Fergus, „Indoor Segmentation and Support Inference from RGBD Images,” Springer, Berlin, Heidelberg, 2012, pp. 746–760.
[23] A. Levin, D. Lischinski, Y. Weiss, A. Levin, D. Lischinski, and Y. Weiss, „Colorization using optimization,” in ACM SIGGRAPH 2004 Papers on - SIGGRAPH ’04, 2004, vol. 23, no. 3, p. 689.
[24] K. Lai, L. Bo, X. Ren, and D. Fox, „A large-scale hierarchical multi-view RGB-D object dataset,” in 2011 IEEE International Conference on Robotics and Automation, 2011, pp.
1817–1824.
[25] A. Geiger, P. Lenz, C. Stiller, and R. Urtasun, „Vision meets robotics: The KITTI dataset,”
Int. J. Rob. Res., vol. 32, no. 11, pp. 1231–1237, Sep. 2013.
[26] S. Koch et al., „ABC: A Big CAD Model Dataset For Geometric Deep Learning,” Dec. 2018.
[27] A. Handa, T. Whelan, J. McDonald, and A. J. Davison, „A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 1524–1531.
[28] S. Choi, Q.-Y. Zhou, and V. Koltun, „Robust reconstruction of indoor scenes,” in
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp.
5556–5565.
[29] J. Xiao, A. Owens, and A. Torralba, „SUN3D: A Database of Big Spaces Reconstructed Using SfM and Object Labels,” in 2013 IEEE International Conference on Computer Vision, 2013, pp. 1625–1632.
[30] S. Choi, Q.-Y. Zhou, S. Miller, and V. Koltun, „A Large Dataset of Object Scans,”
arXiv:1602.02481, Feb. 2016.
[31] S. Hinterstoisser et al., „Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes,” in 2011 International Conference on Computer Vision, 2011, pp.
858–865.
[32] A. S. Mian, M. Bennamoun, and R. Owens, „Three-Dimensional Model-Based Object Recognition and Segmentation in Cluttered Scenes,” IEEE Trans. Pattern Anal. Mach.
Intell., vol. 28, no. 10, pp. 1584–1601, Oct. 2006.
[33] A. Zeng et al., „Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching,” Oct. 2017.
[34] T. Hodan, P. Haluza, S. Obdrzalek, J. Matas, M. Lourakis, and X. Zabulis, „T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-Less Objects,” in 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 2017, pp. 880–888.
[35] M. a Fischler and R. C. Bolles, „Random Sample Consensus: A Paradigm for Model Fitting with Applicatlons to Image Analysis and Automated Cartography,” Commun. ACM, vol. 24, no. 6, pp. 381–395, 1981.
[36] R. Raguram, J.-M. Frahm, and M. Pollefeys, „A Comparative Analysis of RANSAC Techniques Leading to Adaptive Real-Time Random Sample Consensus,” Springer, Berlin, Heidelberg, 2008, pp. 500–513.
[37] P. H. S. Torr and A. Zisserman, „MLESAC: A New Robust Estimator with Application to Estimating Image Geometry,” Comput. Vis. Image Underst., vol. 78, no. 1, pp. 138–156, Apr.
2000.
[38] O. Chum and J. Matas, „Matching with PROSAC - Progressive sample consensus,” in Proceedings - 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2005, 2005, vol. I, pp. 220–226.
[39] O. Chum and J. Matas, „Optimal randomized RANSAC,” IEEE Trans. Pattern Anal. Mach.
Intell., vol. 30, no. 8, pp. 1472–1482, Aug. 2008.
[40] A. Hidalgo-Paniagua, M. a. Vega-Rodríguez, N. Pavón, and J. Ferruz, „A Comparative Study of Parallel RANSAC Implementations in 3D Space,” Int. J. Parallel Program., 2014.
[41] A. G. Buch, D. Kraft, J. K. Kamarainen, H. G. Petersen, and N. Kruger, „Pose estimation using local structure-specific shape and appearance context,” Proc. - IEEE Int. Conf. Robot.
Autom., pp. 2080–2087, 2013.
[42] Q.-Y. Zhou, J. Park, and V. Koltun, „Fast Global Registration,” Springer, Cham, 2016, pp.
766–782.
[43] G. D. Pais, P. Miraldo, S. Ramalingam, V. M. Govindu, J. C. Nascimento, and R. Chellappa,
„3DRegNet: A Deep Neural Network for 3D Point Registration,” Apr. 2019.
[44] P. J. Besl and N. D. McKay, „A method for registration of 3-D shapes,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 14, no. 2, pp. 239–256, Feb. 1992.
[45] B. K. P. Horn, „Extended Gaussian images,” Proc. IEEE, vol. 72, no. 12, pp. 1671–1686, 1984.
[46] R. Osada, T. Funkhouser, B. Chazelle, and D. Dobkin, „Shape distributions,” ACM Trans.
Graph., vol. 21, no. 4, pp. 807–832, 2002.
[47] M. Kazhdan, T. Funkhouser, and S. Rusinkiewicz, „Rotation Invariant Spherical Harmonic Representation of 3D Shape Descriptors,” in Symposium on Geometry Processing, 2003.
[48] D. Aiger, N. J. Mitra, D. Cohen-Or, D. Aiger, N. J. Mitra, and D. Cohen-Or, „4-points
congruent sets for robust pairwise surface registration,” in ACM SIGGRAPH 2008 papers on - SIGGRAPH ’08, 2008, vol. 27, no. 3, p. 1.
[49] R. Schnabel, R. Wahl, and R. Klein, „Efficient RANSAC for Point-Cloud Shape Detection,”
Comput. Graph. Forum, vol. 26, no. 2, pp. 214–226, Jun. 2007.
[50] A. E. Johnson and M. Hebert, „Using spin images for efficient object recognition in cluttered 3D scenes,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 21, no. 5, pp. 433–449, 1999.
[51] R. B. Rusu, N. Blodow, and M. Beetz, „Fast Point Feature Histograms (FPFH) for 3D registration,” 2009 IEEE Int. Conf. Robot. Autom., pp. 3212–3217, 2009.
[52] R. B. Rusu and S. Cousins, „3D is here: Point Cloud Library (PCL),” Proc. - IEEE Int. Conf.
Robot. Autom., pp. 1–4, 2011.
[53] Y. Zhong, „Intrinsic shape signatures: A shape descriptor for 3D object recognition,” 2009 IEEE 12th Int. Conf. Comput. Vis. Work. ICCV Work. 2009, pp. 689–696, 2009.
[54] B. Steder, R. Rusu, K. Konolige, and W. Burgard, „NARF: 3D range image features for object recognition,” in Workshop on Defining and Solving Realistic Perception Problems in Personal Robotics at the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), 2010.
[55] Y. Guo, F. Sohel, M. Bennamoun, M. Lu, and J. Wan, „Rotational Projection Statistics for 3D Local Surface Description and Object Recognition,” Int. J. Comput. Vis., vol. 105, no. 1, pp.
63–86, Oct. 2013.
[56] S. Salti, F. Tombari, and L. Di Stefano, „SHOT: Unique signatures of histograms for surface and texture description,” Comput. Vis. Image Underst., vol. 125, pp. 251–264, Aug. 2014.
[57] S. Hinterstoisser et al., „Gradient Response Maps for Real-Time Detection of Textureless Objects,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, no. 5, pp. 876–888, May 2012.
[58] D. G. Lowe, „Local feature view clustering for 3D object recognition,” in Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.
CVPR 2001, vol. 1, pp. I-682-I–688.
[59] M. Martinez, A. Collet, and S. S. Srinivasa, „MOPED: A scalable and low latency object recognition and pose estimation system,” in 2010 IEEE International Conference on Robotics and Automation, 2010, pp. 2043–2049.
[60] E. Brachmann, A. Krull, F. Michel, S. Gumhold, J. Shotton, and C. Rother, „Learning 6D Object Pose Estimation Using 3D Object Coordinates,” Proc. Eur. Conf. Comput. Vis., vol. 2, pp. 536–551, 2014.
[61] L. Bo, X. Ren, and D. Fox, „Depth kernel descriptors for object recognition,” in 2011 IEEE/
RSJ International Conference on Intelligent Robots and Systems, 2011, pp. 821–826.
[62] Y. LeCun, Y. Bengio, and G. Hinton, „Deep learning,” Nature, vol. 521, no. 7553, pp. 436–
444, May 2015.
[63] H. Su, S. Maji, E. Kalogerakis, and E. Learned-Miller, „Multi-view Convolutional Neural Networks for 3D Shape Recognition,” May 2015.
[64] J. D. J. Deng, W. D. W. Dong, R. Socher, L.-J. L. L.-J. Li, K. L. K. Li, and L. F.-F. L. Fei-Fei,
„ImageNet: A large-scale hierarchical image database,” 2009 IEEE Conf. Comput. Vis.
Pattern Recognit., pp. 248–255, 2009.
[65] T.-Y. Lin et al., „Microsoft COCO: Common Objects in Context,” in Lecture Notes in Computer Science, vol 8693, 2014, pp. 740–755.
[66] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, „Gradient-based learning applied to document recognition,” Proc. IEEE, vol. 86, no. 11, pp. 2278–2324, 1998.
[67] D. Maturana and S. Scherer, „VoxNet: A 3D Convolutional Neural Network for real-time object recognition,” in 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2015, pp. 922–928.
[68] Y. Li, S. Pirk, H. Su, C. R. Qi, and L. J. Guibas, „FPNN: Field Probing Neural Networks for 3D Data,” in Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016, December 5-10, 2016, Barcelona, Spain, 2016, pp. 307–315.
[69] D. Zeng Wang and I. Posner, „Voting for Voting in Online Point Cloud Object Detection,” in Robotics: Science and Systems XI, 2015.
[70] H. Deng, T. Birdal, and S. Ilic, „PPFNet: Global Context Aware Local Features for Robust 3D Point Matching,” Feb. 2018.
[71] T. Birdal and S. Ilic, „Point Pair Features Based Object Detection and Pose Estimation Revisited,” in 2015 International Conference on 3D Vision, 2015, pp. 527–535.
[72] C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, „Frustum PointNets for 3D Object Detection from RGB-D Data,” in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 918–927.
[73] R. Klokov and V. Lempitsky, „Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models,” in 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 863–872.
[74] G. Riegler, A. O. Ulusoy, and A. Geiger, „OctNet: Learning Deep 3D Representations at High Resolutions,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 6620–6629.
[75] J. Sánchez, F. Perronnin, T. Mensink, and J. Verbeek, „Image Classification with the Fisher Vector: Theory and Practice,” Int. J. Comput. Vis., vol. 105, no. 3, pp. 222–245, Dec. 2013.
[76] Y. Ben-Shabat, M. Lindenbaum, and A. Fischer, „3DmFV: Three-Dimensional Point Cloud Classification in Real-Time Using Convolutional Neural Networks,” IEEE Robot. Autom.
Lett., vol. 3, no. 4, pp. 3145–3152, Oct. 2018.
[77] C. R. Qi, H. Su, K. Mo, and L. J. Guibas, „PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation,” Dec. 2016.
[78] C. R. Qi, L. Yi, H. Su, and L. J. Guibas, „PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space,” Jun. 2017.
[79] P. Hermosilla, T. Ritschel, P.-P. Vázquez, À. Vinacua, and T. Ropinski, „Monte Carlo
convolution for learning on non-uniformly sampled point clouds,” ACM Trans. Graph., vol.
37, no. 6, pp. 1–12, Dec. 2018.
[80] Y. Li, R. Bu, M. Sun, W. Wu, X. Di, and B. Chen, „PointCNN: Convolution On
X-Transformed Points,” in Advances in Neural Information Processing Systems 31, S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, Eds. Curran Associates, Inc., 2018, pp. 820–830.
[81] S. Wang, S. Suo, W.-C. Ma, A. Pokrovsky, and R. Urtasun, „Deep Parametric Continuous Convolutional Neural Networks,” in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018.
[82] M. Atzmon, H. Maron, and Y. Lipman, „Point convolutional neural networks by extension operators,” ACM Trans. Graph., vol. 37, no. 4, pp. 1–12, Jul. 2018.
[83] F. Groh, P. Wieschollek, and H. P. A. Lensch, „Flex-Convolution (Million-Scale Point-Cloud Learning Beyond Grid-Worlds),” in Asian Conference on Computer Vision (ACCV), 2018.
[84] Y. You et al., „PRIN: Pointwise Rotation-Invariant Network,” Nov. 2018.
[85] H. Deng, T. Birdal, and S. Ilic, „3D Local Features for Direct Pairwise Registration,” Apr.
2019.
[86] A. Zeng, S. Song, M. Nießner, M. Fisher, J. Xiao, and T. Funkhouser, „3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions,” Mar. 2016.
[87] Beltech, „3D random bin picking randomly placed pipes,” 2019. [Online]. Available: https://
www.beltech.nl/portfolio/random-bin-picking-pipes/. [Accessed: 21-Sep-2019].
[88] Euclid Labs, „Bin Picking Software - Moonflower Purple - Euclid Labs,” 2019. [Online].
Available: https://www.euclidlabs.it/random-bin-picking-software/moonflower-purple/.
[Accessed: 21-Sep-2019].
[89] Pick-it, „Smart automated 3D bin picking,” 2019. [Online]. Available:
https://www.pickit3d.com/videos/fast-cycle-time-random-bin-picking-with-easy-collision-prevention-and-pick-frame-definition. [Accessed: 21-Sep-2019].
[90] Nomagic, „Integrate Magicloader in your warehouse flow.” [Online]. Available:
https://nomagic.ai/solutions. [Accessed: 21-Sep-2019].
[91] N. Correll et al., „Analysis and Observations from the First Amazon Picking Challenge,” Jan.
2016.
[92] S. Winkelbach, S. Molkenstruck, and F. Wahl, „Low-cost laser range scanner and fast surface registration approach,” Pattern Recognit., no. i, pp. 718–728, 2006.
[93] M. Ferreira, A. P. Moreira, and P. Neto, „A low-cost laser scanning solution for flexible robotic cells: spray coating,” Int. J. Adv. Manuf. Technol., vol. 58, no. 9–12, pp. 1031–1041, Jun. 2011.
[94] J. Wojciechowski and O. Ciszak, „Measurement of 3d objects in a robotic cell,” in Proceedings of the ASME Design Engineering Technical Conference, 2015, vol. 9.
[95] Z. Zhang, „Flexible camera calibration by viewing a plane from unknown orientations,” in Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, vol. 1, no. c, pp. 666–673 vol.1.
[96] G. Guennebaud and B. Jacob, „Eigen v3.” 2010.
[97] J. Rekimoto, „Matrix: a realtime object identification and registration method for augmented reality,” Proc. 3rd Asia Pacific Comput. Hum. Interact. Cat No98EX110, pp. 63–68, 1998.
[98] M. Rostkowska and M. Topolski, „On the Application of QR Codes for Robust
Self-localization of Mobile Robots in Various Application Scenarios,” R. Szewczyk, C. Zieliński, and M. Kaliczyńska, Eds. Springer International Publishing, 2015, pp. 243–252.
[99] T. Suriyon, H. Keisuke, and B. Choompol, „Development of guide robot by using QR code recognition,” Second TSME Int. Conf. Mech. Eng., pp. 1–6, 2011.
[100] R. S. Andersen, J. S. Damgaard, O. Madsen, and T. B. Moeslund, „Fast calibration of Industrial Mobile robots to workstations using QR codes,” (ISR), 2013 44th Int. Symp.
Robot., 2013.
[101] L. Quan and Z. Lan, „Linear N-point camera pose determination,” IEEE Trans. Pattern Anal.
Mach. Intell., vol. 21, no. 8, pp. 774–780, 1999.
[102] S. Negahdaripour, R. Prados, and R. Garcia, „Planar homography: accuracy analysis and applications,” in IEEE International Conference on Image Processing 2005, 2005, pp. I–
1089.
[103] V. Lepetit, F. Moreno-Noguer, and P. Fua, „EPnP: An Accurate O(n) Solution to the PnP Problem,” Int. J. Comput. Vis., vol. 81, no. 2, pp. 155–166, 2009.
[104] D. F. Dementhon and L. S. Davis, „Model-based object pose in 25 lines of code,” Int. J.
Comput. Vis., vol. 15, no. 1–2, pp. 123–141, 1995.
[105] E. Marchand and F. Chaumette, „Virtual visual servoing: A framework for real-time
augmented reality,” in EUROGRAPHICS 2002 Conference Proceeding, 2002, vol. 21(3), pp.
289–298.
[106] J. Wojciechowski and O. Ciszak, „Spatial Adjusting of the Industrial Robot Program with Matrix Codes,” 2018, pp. 521–531.
[107] E. Marchand, F. Spindler, and F. Chaumette, „ViSP for visual servoing: a generic software platform with a wide class of robot control skills,” IEEE Robot. Autom. Mag., vol. 12, no. 4, pp. 40–52, Dec. 2005.
[108] R. Y. Tsai and R. K. Lenz, „New technique for fully autonomous and efficient 3D robotics hand/eye calibration,” IEEE Trans. Robot. Autom., vol. 5, no. 3, pp. 345–358, 1989.
[109] T. Ruland, T. Pajdla, and L. Kruger, „Globally optimal hand-eye calibration,” Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit., no. 2, pp. 1035–1042, 2012.
[110] J. Zhang, F. Shi, and Y. Liu, „An adaptive selection of motion for online hand-eye calibration,” AI 2005 Adv. Artif. Intell., pp. 520–529, 2005.
[111] W. D. Curtis, A. L. Janin, and K. Zikan, „A note on averaging rotations,” Proc. IEEE Virtual Real. Annu. Int. Symp., no. 2, pp. 377–385, 1993.
[112] J. Wojciechowski and M. Suszynski, „Optical scanner assisted robotic assembly,” Assem.
Autom., vol. 37, no. 4, pp. 434–441, Sep. 2017.
[113] M. Suszyński, J. Wojciechowski, and J. Żurek, „No clamp robotic assembly with use of point cloud data from low-cost triangulation scanner,” Teh. Vjesn., vol. 25, no. 3, 2018.
[114] N. Jayaweera and P. Webb, „Adaptive robotic assembly of compliant aero-structure components,” Robot. Comput. Integr. Manuf., vol. 23, no. 2, pp. 180–194, 2007.
[115] O. Skotheim, M. Lind, P. Ystgaard, and S. a. Fjerdingen, „A flexible 3D object localization system for industrial part handling,” in 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2012, pp. 3326–3333.
[116] C. Papazov, S. Haddadin, S. Parusel, K. Krieger, and D. Burschka, „Rigid 3D geometry matching for grasping of known objects in cluttered scenes,” Int. J. Rob. Res., vol. 31, no. 4, pp. 538–553, 2012.
[117] H. Srinivasan, O. L. a. Harrysson, and R. a. Wysk, „Automatic part localization in a CNC machine coordinate system by means of 3D scans,” Int. J. Adv. Manuf. Technol., 2015.
[118] T. R. Savarimuthu et al., „An Online Vision System for Understanding Complex Assembly Tasks,” in International Conference on Computer Vision Theory and Applications (VISAPP), 2015, pp. 1–8.
[119] a. Collet, M. Martinez, and S. S. Srinivasa, „The MOPED framework: Object recognition and pose estimation for manipulation,” Int. J. Rob. Res., vol. 30, no. 10, pp. 1284–1306, Sep.
2011.
[120] C. Feng, Y. Xiao, A. Willette, W. McGee, and V. R. Kamat, „Vision guided autonomous robotic assembly and as-built scanning on unstructured construction sites,” Autom. Constr., vol. 59, pp. 128–138, Nov. 2015.
[121] S. Levine, C. Finn, T. Darrell, and P. Abbeel, „End-to-End Training of Deep Visuomotor Policies,” J. Mach. Learn. Res., vol. 17, pp. 1–40, 2016.
[122] J. Mahler, M. Matl, X. Liu, A. Li, D. Gealy, and K. Goldberg, „Dex-Net 3.0: Computing Robust Vacuum Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning,” in IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 1–8.
[123] M. Schwarz et al., „Fast object learning and dual-arm coordination for cluttered stowing, picking, and packing,” in 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018, pp. 3347–3354.
[124] P. R. Florence, L. Manuelli, and R. Tedrake, „Dense object nets: Learning dense visual object descriptors by and for robotic manipulation,” in Conference on Robot Learning (CoRL), 2018.
[125] Y. Guo, M. Bennamoun, F. Sohel, M. Lu, and J. Wan, „3D Object Recognition in Cluttered Scenes with Local Surface Features: A Survey,” IEEE Trans. Pattern Anal. Mach. Intell., vol.
36, no. 11, pp. 2270–2287, Nov. 2014.
[126] A. Albu‐Schäffer, S. Haddadin, C. Ott, A. Stemmer, T. Wimböck, and G. Hirzinger, „The DLR lightweight robot: design and control concepts for robots in human environments,” Ind.
Robot An Int. J., vol. 34, no. 5, pp. 376–385, Aug. 2007.
[127] S. Chopra, R. Hadsell, and Y. LeCun, „Learning a Similarity Metric Discriminatively, with Application to Face Verification,” in 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), 2005, vol. 1, pp. 539–546.
[128] J. Park, Q.-Y. Zhou, and V. Koltun, „Colored Point Cloud Registration Revisited,” in 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 143–152.
[129] Q.-Y. Zhou, J. Park, and V. Koltun, „Open3D: A Modern Library for 3D Data Processing,”
Jan. 2018.
[130] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, „ORB: An efficient alternative to SIFT or SURF,” in 2011 International Conference on Computer Vision, 2011, pp. 2564–2571.
[130] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, „ORB: An efficient alternative to SIFT or SURF,” in 2011 International Conference on Computer Vision, 2011, pp. 2564–2571.