Invernaderos inteligentes, tractores autónomos, robots recolectores… A pesar de ser el más tradicional de lo sectores económicos, y del hándicap que supone una alta inversión inicial cuando los rendimientos son bajos y la mano de obra barata, la robótica agrícola está en plena eclosión. Veamos cómo la Inteligencia Artificial y los dispositivos IoT dan soporte a esta auténtica revolución.
Cuando tienes robots capaces desplazarse y manipular objetos, capacidades de visión artificial y una plataforma móvil puedes hacer cualquier cosa. En particular, tareas cuya ejecución manual resulta muy costosa o directamente inviable. Por ejemplo, “contar manzanas”.
La importancia de “contar manzanas”
¿Por qué necesitamos contar los frutos, en este caso manzanas? Muy sencillo. Conocer el volumen de la cosecha permite al agricultor tomar mejores decisiones en cuanto a:
- Planificación de recursos para la recolección, almacenamiento
- Definir estrategias de comercialización más adecuadas
- Mejorar la productividad, investigando los factores que influyen en la diferente eficiencia de unas zonas de la explotación respecto a otras.
Por otra parte, conocer la localización precisa de los frutos es muy importante de cara a la automatización de las tareas de recolección.
Cómo calcular el volumen de la cosecha de forma automática
El punto de partida son robots automotrices, equipados con sensores que permiten escanear las plantaciones hortofrutícolas. Posteriormente, los algoritmos de visión artificial aplicados a las imágenes obtenidas permitirán calcular, de forma automática, tanto el número de frutos, como su ubicación.
Los sensores
Sensores 2D
Los sensores más habituales son los sensores 2D. Gracias a la intensa investigación que ha tenido lugar en los últimos años sobre técnicas de visión artificial basadas en redes neuronales (deep learning) se han logrado avances muy interesantes. De hecho, la detección 2D se puede considerar ya una tecnología madura, con disponibilidad de redes pre-entrenadas que se pueden adaptar fácilmente a distintos frutos.
Las cámaras fotográficas digitales son los sensores 2D más conocidos y asequibles. Permiten obtener imágenes de cada árbol y detectar los frutos mediante algoritmos de visión artificial basados en redes neuronales o en características como la textura, la forma o el color del fruto. Pero tienen un inconveniente: su gran sensibilidad a las condiciones de iluminación. Reflejos, contraluces etc pueden dificultar en gran medida el proceso.
Existen otros sensores 2D que no tienen este problema, ya que trabajan en otras bandas del espectro electromagnético. Sin embargo, su coste es mucho más alto y por ello se usan menos.
Sensores 3D
En los últimos años se está empezando a investigar con sensores 3D, que ofrecen modelos tridimensionales de cada árbol, permitiendo la detección y localización de los frutos. Este último aspecto, la “localización” de los frutos, es clave para los robots recolectores, ya que necesitan coordenadas reales y no píxeles.
Los sensores 3D más utilizados son las cámaras RGB-D, que permiten generar modelos 3D con información a color. Según su funcionamiento pueden ser estereoscópicas, de luz estructurada o tiempo de vuelo ToF.
Un ejemplo interesante de los datos que podemos obtener con este tipo de dispositivos es el dataset RGB-DS de KFuji , publicado por la Universidad de Lleida (para usos no comerciales). Está compuesto por 967 imágenes multimodales de manzanas Fuji en árboles, capturadas con una Microsoft Kinect v2. Cada imagen contiene información de 3 modalidades diferentes: color (RGB), profundidad (D) y rango de intensidad corregido IR (S).
Otros sensores 3D que se están empezando a utilizar, son los sensores LiDAR , que combinados con un sistema de posicionamiento GNSS, permiten escanear las plantaciones en 3D.
Los conjuntos de datos generados con esta metodología son muy interesantes a lo que se conoce como horticultura de precisión. Otra de las ventajas de este tipo de metodología de captura de los datos es detección multivisión para reducir el número de oclusiones en la detección de frutas.
El dataset LFuji-air dataset, también de la Universidad de Lleida, consta de una serie de archivos en los que cada árbol (en este caso, manzano) es escaneado con unas condiciones específicas (altura y posición del sensor, y presencia o no de flujos de aire reforzado). Las nubes de puntos se guardan como matrices en formato .mat. Cada fila corresponde a un punto 3D con información: sobre sus coordenadas (x, y, z) y reflectancia calibrada.
Posteriormente, todas las nubes de puntos fueron etiquetadas manualmente, identificando la posición de cada manzana con cajas delimitadoras rectangulares en 3D. Se identificó un total de 1.353 manzanas en todo el conjunto de datos.
En la imagen podemos ver un ejemplo de representación de un conjunto de 11 árboles según esta metodología.
Disponer de conjuntos de datos detallados y anotados como los dos ejemplos anteriores, es fundamental para el entrenamiento y desarrollo de algoritmos de visión artificial para la detección y segmentación de objetos. Y, en particular, en el ámbito de la robótica agrícola, permiten realizar una evaluación comparativa de la detección de frutas basada en el machine learning y técnicas de visión computarizada en 3D.
Los algoritmos
Una vez capturados los datos, llega la hora de los algoritmos de aprendizaje automático. En particular, modelos de redes neuronales de visión artificial, que buscarán en las imágenes escaneadas patrones que permitan identificar los frutos. De esta forma, se puede localizar su ubicación (de cara a la automatización de la recolección), y calcular el volumen de la cosecha.
Una estrategia interesante, planteada en este proyecto de investigación, es combinar la madurez y eficacia de la detección 2D, con las ventajas que aporta la clasificación 3D.
De esta forma, los datos obtenidos por la Kinect alimentan una red neuronal convolucional 2D que detecta un gran número de “posibles manzanas”, deliminados por una “bounding box” que indica su posición.
Por último, a partir de las nubes de puntos obtenidas por la Kinect, estas “bounding boxes” se proyectan a 3D y se pasan por la siguiente red de clasificación 3D, que indicará si la “posible manzana” es o no un fruto real.
De esta forma, a partir de una captura Kinect de un manzano, se obtiene una detección de las manzanas en 3D. Y las podemos contar.
En este enlace podemos encontrar un ejemplo de detección de frutas y localización 3D usando redes neuronales y fotogrametría SfM (Structure-from-Motion).
Conclusión
La digitalización ha entrado con fuerza también en el sector primario. En España, han sido las universidades y startups las que han liderado los principales avances. Startups como Auravant, cuya plataforma digital ofrece información detallada y precisa sobre los cultivos, permite combinar imágenes por satélite de alta definición con cualquier tipo de información geo-referenciada, para hacer un tratamiento sitio-específico de cada metro cuadrado de las fincas. A partir de esta información, los agricultores pueden tomar decisiones para ser más eficientes y sustentables, como por ejemplo, determinar las dosis óptimas de fertilizantes.
No hay duda de que se trata de un campo de aplicación prometedor en el que próximamente se producirán grandes cambios, de la mano de la Inteligencia Artificial y el IoT.
- KFuji RGB-DS database: Fuji apple multi-modal images for fruit detection with color, depth and range-corrected IR data.
- Fruit detection and 3D location using instance segmentation neural networks and structure-from-motion photogrammetry
- LFuji-air dataset: Annotated 3D LiDAR point clouds of Fuji apple trees for fruit detection scanned under different forced air flow conditions
Jordi Gené-Mola, Eduard Gregorio, Jordi Llorens, Ricardo Sanz-Cortiella y Alexandre Escolà de la Universidad de Lleida; Fernando Auat Cheein y Javier Guevara de la Universidad Técnica Federico Santa María; Veronica Vilaplana, Josep Ramon Morros y Javier Ruiz Hidalgo, de la Universitat Politècnica de Catalunya.
Para mantenerte al día con LUCA visita nuestra página web, suscríbete a LUCA Data Speaks o síguenos en Twitter, LinkedIn y YouTube.
The post Inteligencia Artificial e IoT, claves del éxito de la robótica agrícola appeared first on Think Big.