課程詳情2022-11-02 15:04
1 三維點云的基礎(chǔ)知識理論+實踐 (1) 點云的概念、產(chǎn)生原理、應(yīng)用領(lǐng)域、散點
(2) 點云的拓?fù)浣Y(jié)構(gòu),k-d維樹、二叉、八叉樹、體素柵格
(3) 點云濾波,直通濾波、雙邊濾波、半徑濾波、統(tǒng)計濾波等
(4) 點云的簡化,隨機采樣、體素柵格采樣、曲率變化采樣
2 三維點云的獲取采集設(shè)備實戰(zhàn)(包括激光三角、雙目結(jié)構(gòu)光、單目結(jié)構(gòu)光、TOF深度相機等市場各種3D設(shè)備實戰(zhàn)).
(1)工埔視覺專用3D激光三角教學(xué)專業(yè)實驗箱(精度0.01mm)(包括激光三角、運動導(dǎo)軌模組、觸發(fā)器、可拆卸的實驗支架、運動控制模塊等)的SDK實戰(zhàn),實驗箱配套客戶的實際物料進(jìn)行硬件熟悉、選型熟悉、客戶3D需求技術(shù)參數(shù)評估、物料的擺放、設(shè)置參數(shù)(如觸發(fā)延時、分頻、內(nèi)外觸發(fā)、profiles、ROI等)掃3D點云圖、Zmap圖、深度圖、等實操實戰(zhàn),并且對接C#的SDK實戰(zhàn)出點云圖,包括參數(shù)設(shè)置、顯示圖的自由縮放、點云數(shù)據(jù)獲取轉(zhuǎn)換顯示等。
(2)SmartRay激光三角、雙目結(jié)構(gòu)光、單目結(jié)構(gòu)光、TOF深度相機SDK出點云 并且實時顯示設(shè)備現(xiàn)場實戰(zhàn)(理論方法+實戰(zhàn)實操設(shè)備)
(3)激光三角(相機+線激光)、雙目立體視覺(兩個相機)的簡易實戰(zhàn)搭建(包括理論的詳細(xì)推導(dǎo)、硬件的實際搭建、光平面標(biāo)定、移動標(biāo)定、立體匹配、雙目相機標(biāo)定、姿態(tài)換算、視差、矯正、點云圖生成等)
3 三維測量與定位(Halcon+C#)
(1)3D點云的全尺寸三維測量實戰(zhàn)(如手機卡托等各種物料的平面度、段差、長度、寬度、高度、體積、面積、內(nèi)徑等3D點云測量)
(2)3D點云的空間姿態(tài)變換、剛體變換
(3)3D點云的法向量評估計算(最小二乘、有序點云積分圖法等),RANSAC一致性采樣、點云特征聚類、點云特征關(guān)鍵點(Harris、sift等)、點云特征描述(局部、全局)、k鄰域搜索等。
(4)深度圖(2.5D,xyzmap、Zamp圖)、激光強度圖、IR圖的實時3D設(shè)備獲取、檢測處理以及2D和3D轉(zhuǎn)換、以及切平面、投影輪廓等。
(5)3D點云配準(zhǔn)(包括表面點云特征分析與形狀點云描述匹配)、定位匹配
(6)點云分割,歐式距離、區(qū)域生長點云分割、隨機采樣一致性分割,法微分、超體素、4D簡介
(7)點云曲面重建,點云平滑高階多項式插值修補曲面、凸包法、ear clipping、貪婪三角投影法,了解泊松和移動立方曲面重建
(8)點云融合與拼接
4 3D缺陷檢測
利用3D激光三角實驗設(shè)備箱實戰(zhàn)掃描彈片物料的點云數(shù)據(jù),采用SDK獲取點云后,根據(jù)點云進(jìn)行彈片的缺陷檢測實戰(zhàn)(Halcon+C#)
5 ABB六軸機器人 1) 熟悉六軸機器人的基本環(huán)境操作(示教器)
2) 上位機與六軸機器人的通訊以及機器人的控制程序理解
3) 熟悉工具坐標(biāo)系、局部坐標(biāo)系、基礎(chǔ)坐標(biāo)系等
4) TCP標(biāo)定
5) 歐拉角、四元數(shù)、旋轉(zhuǎn)矩陣、旋轉(zhuǎn)向量、方向余弦的講解與實戰(zhàn)
6) 空間姿態(tài)的詳細(xì)解包括姿態(tài)轉(zhuǎn)換類型等
7) 機器人的點位運動、插補運動等
6 激光三角+ABB六軸機器人3D鞋點膠實操實戰(zhàn)(激光三角+傳送帶+六軸機器人)
傳送帶上通過激光三角鞋的點云外觸發(fā)獲取、點云的濾波處理、點云邊界提取、排序、法向量以及四元數(shù)估計,空間曲線擬合(三次樣條插值等)、3d手眼標(biāo)定、六軸機器人的點膠運動等實戰(zhàn)(halcon+C#)
7 雙目+結(jié)構(gòu)光+ABB六軸機器人、單目+結(jié)構(gòu)光+六軸機器人的3D無序抓取實操實戰(zhàn)(eye-to-hand與eye-in-hand)
1)3D手眼標(biāo)定的詳細(xì)推導(dǎo),包括手眼標(biāo)定的核心本質(zhì)、如何求出各坐標(biāo)系關(guān)系(如機器人坐標(biāo)系、攝像機坐標(biāo)系、工具坐標(biāo)系等)、以及眼在手外(eye-to-hand)、眼在手上(eye-to-hand)求解的姿態(tài)關(guān)鍵以及原因、AX=XB解算推導(dǎo)等
2)雙目結(jié)構(gòu)光+六軸機器人的eye-to-hand的3D無序抓取實戰(zhàn)以及單目結(jié)構(gòu)光+六軸機器人的eye-in-hand的3D無序抓取實戰(zhàn)(二者混合)
3)自動避障路徑規(guī)劃(bug、人工勢、神經(jīng)網(wǎng)絡(luò)等)、空間面面姿態(tài)變換、抓取策略估計等
4)姿態(tài)解算的詳細(xì)推導(dǎo)細(xì)化以及與實戰(zhàn)每一個步驟對應(yīng),知其然知其所以然,實戰(zhàn)結(jié)合理論