project - EIP-AGRI Operational Group
IMAI operational group. Project on wood identification by smartphone
Grupo operativo IMAI. Proyecto de identificación de maderas por dispositivo móvil
Kontext
This project aims to meet the need of the timber sector to regulate the timber trade both in Spain and internationally by giving users, customs officials and law enforcement agencies, particularly those with competences in monitoring the trafficking of protected species (SEPRONA in Spain), a tool that allows them to issue an early warning when they suspect a shipment could contain illegally traded timber.
Objectives
This innovative project will develop an application that combines the knowledge of Wood Anatomy and Artificial Intelligence to provide an easy-to-use tool for the entire timber trade sector to identify timber being traded and detect any fraudulent trading and/or illegal trafficking of timber, using 24x and 400x lenses attached to a smartphone and applying artificial intelligence (Deep Learning). The development of this application will help to maintain forest biodiversity, mitigate climate change, and indirectly boost rural development.
Objectives
El proyecto innovador desarrollará una aplicación que combine el conocimiento de la Anatomía de la madera con la Inteligencia Artificial para que todo el sector del comercio de la madera disponga de una herramienta de fácil uso que permita conocer la madera que ha comprado, y que detecte en su caso el comercio fraudulento y/o el tráfico ilegal de maderas, utilizando para ello unas lupas de x24 y x400 aumentos acoplados a un teléfono móvil, mediante el uso de inteligencia artificial (Deep Learning). Su desarrollo contribuirá a mantener la biodiversidad del bosque y mitigar el cambio climático e indirectamente fomentar el desarrollo rural.
Activities
Perform a diagnosis of the sector of the timber industry and select the timbers that are likely to be part of Spanish and international trade. Create a database of the 400 commercial timbers commonly found in the Spanish and international market and the corresponding database of images of macroscopic sections with a 24x and 400x lens. Develop an artificial intelligence model through deep learning which, running on the mobile device, can automatically recognise the wood species using information from the database and intelligent classification of the photo taken with an app. Dissemination of the project.
Activities
Realizar la diagnosis del sector de la industria de la madera y con ello elegir las maderas que pueden formar parte del comercio nacional e internacional. Desarrollar una base de datos de las 400 maderas comerciales habituales en el mercado nacional e internacional y la correspondiente base de datos de imágenes de las secciones macroscópicas con lupa x24 y x400.Desarrollar un modelo de inteligencia artificial mediante deep learning que, ejecutándose en el dispositivo móvil, podrá reconocer automáticamente la especie de madera a partir de información de la base de datos y mediante la clasificación inteligente de la fotografía realizada con una app. Divulgación del proyecto.
Additional comments
The European Union has instigated actions such as FLEGT and EUTR to monitor the illegal market. All of these actions, which have certainly been beneficial so far, will be hampered without the development of appropriate tools to inspect exports at origin and
imports at the points of entry of timber. Customs officials and law enforcement agents in each country need to be equipped with early warning tools that enable them to stop shipments of suspected illegally traded timber.
Additional information
La Unión Europea ha puesto en marcha acciones encaminadas a controlar el mercado ilegal como FLEGT y EUTR. Todas estas acciones, que sin duda ya están dando sus frutos, no serán operativas si no se desarrollan herramientas adecuadas para el control de las exportaciones en origen y las importaciones en los
puntos de entrada de madera, es decir, que los agentes de aduanas y los cuerpos y fuerzas de seguridad de cada estado dispongan de herramientas de alerta temprana que permitan paralizar los cargamentos de maderas sospechosas de comercio ilegal.
Project details
- Main funding source
- Rural development 2014-2020 for Operational Groups
- Rural Development Programme
- 2014ES06RDNP001 España - Programa Nacional de Desarrollo Rural
Ort
- Main geographical location
- Madrid
- Other geographical location
- Granada
EUR 331 549.00
Total budget
Total contributions from EAFRD, national co-financing, additional national financing and other financing.
Project keyword
8 Practice Abstracts
R8. Distribution and deployment of a native app on Android.
Results:
IMAIapp has been deployed on Android using the efficientnet_b0_224x224_x200_v4 model to run locally on the device, supporting wood identification and other functionalities. For this, the CNN model adapted for the Android TensorFlow Lite library was used.
SEPRONA officers participated in a focus group to assess usability, leading to improvements.
Beyond wood species identification, the app offers additional functionalities such as lens calibration, lens profile storage, full species information, advanced anatomical search, and a real-scale measurement viewer.
Repercussions:
The app enables wood species identification on Android devices, providing a powerful tool for professionals and researchers. The expanded functionalities enhance its versatility for both professional and non-professional use, although laboratory-prepared samples are required for use.
R8. Distribución y despliegue de una app nativa en Android
Resultados:
Se ha desplegado IMAIapp en Android utilizando el modelo efficientnet_b0_224x224_x200_v4 para ejecutarse localmente en el dispositivo, soportando la identificación de maderas y otras funcionalidades. Para ello se utilizó el modelo CNN adaptado para la librería Android TensorFlow Lite.
Los agentes del SEPRONA participaron en un grupo de discusión para evaluar la usabilidad, lo que dio lugar a mejoras.
La aplicación ofrece funciones adicionales como calibración de lentes, almacenamiento de perfiles de lentes, información completa sobre especies, búsqueda por filtros asociados a la información anatómica y una herramienta de métricas dentro de la imagen a escala real.
Repercusiones:
La aplicación permite la identificación de especies de madera en dispositivos Android, proporcionando una importante herramienta para profesionales e investigadores. Las funciones ampliadas aumentan su versatilidad tanto para uso profesional como en otros contextos, si bien se necesitan muestras preparadas en laboratorio para su uso.
R7. Distribution and deployment of a native app on iOS.
Results:
IMAIapp has been deployed natively for iOS using the efficientnet_b0_224x224_x200_v4 model in its version adapted with TensorFlow Lite, which runs locally on the application.
SEPRONA officers participated in a focus group to assess usability, leading to improvements.
Beyond wood species identification, the app offers additional functionalities such as lens calibration, lens profile storage, full species information, advanced anatomical search, and a real-scale measurement viewer.
Repercussions:
The app enables wood species identification on iOS devices, providing a powerful tool for professionals and researchers. The expanded functionalities enhance its versatility for both professional and non-professional use, although laboratory-prepared samples are required for use.
R7. Distribución y despliegue de una app nativa en iOS.
Resultados:
Se ha desplegado IMAIapp de forma nativa para iOS utilizando el modelo efficientnet_b0_224x224_x200_v4 en su versión adaptada con TensorFlow lite que se ejecuta localmente en la aplicación.
Los agentes del SEPRONA participaron en un grupo de discusión para evaluar la usabilidad, lo que dio lugar a mejoras.
La aplicación ofrece funciones adicionales como calibración de lentes, almacenamiento de perfiles de lentes, información completa sobre especies, búsqueda por filtros asociados a la información anatómica y una herramienta de métricas dentro de la imagen a escala real.
Repercusiones:
La aplicación permite la identificación de especies de madera en dispositivos iOS, proporcionando una importante herramienta para profesionales e investigadores. Las funciones ampliadas aumentan su versatilidad tanto para uso profesional como en otros contextos, si bien se necesitan muestras preparadas en laboratorio para su uso.
R6. Creation of a classification model that surpasses the accuracy of the currently developed model.
Results:
A convolutional neural network (CNN) has been developed for the classification of wood species. To achieve this, a dataset of 529 wood species was divided into 10 disjoint batches. Each batch was used to train a CNN model, with validation results analysed for accuracy and data fit.
Cross-validation using three partitions, with and without data patches, yielded consistent performance above 94%. The merged results from batches 1 and 2 achieved 99.84% accuracy in the computer run model. The model efficientnet_b0_224x224_x200_v4 scored 78/100 correct identifications in Blind Test Set 1 and 28/40 in Blind Test Set 2.
A model optimized and validated on a computing cluster before mobile adaptation has been obtained.
Repercussions:
This model improves the identification of wood species, providing a very important tool for trade control and the protection of endangered species.
R6. Creación de un modelo de clasificación que supera en precisión al modelo desarrollado actual.
Resultados:
Se ha desarrollado una red neuronal convolucional (CNN) para la clasificación de especies de maderas. Para ello se dividió un conjunto de datos de 529 especies de madera en 10 lotes disjuntos. Cada lote se utilizó para entrenar un modelo CNN, y los resultados de validación se analizaron en función de la precisión y el ajuste de los datos.
La validación cruzada utilizando tres particiones, con y sin parches de datos, arrojó un rendimiento constante superior al 94%. Los resultados combinados de los lotes 1 y 2 alcanzaron una precisión del 99,84% en el modelo ejecutado en el ordenador. El modelo efficientnet_b0_224x224_x200_v4 obtuvo 78/100 identificaciones correctas en el conjunto de pruebas ciegas 1 y 28/40 en el conjunto de pruebas ciegas 2.
Se ha obtenido un modelo optimizado y validado en un clúster informático antes de la adaptación móvil.
Repercusiones:
Este modelo mejora la identificación de especies de madera, proporcionando una herramienta muy importante para el control del comercio y la protección de especies protegidas.
R5. Dataset of images labeled with images of all wood species.
Results:
This activity relates to the creation of a labeled wood species image dataset to supports the image classification model in the IMAIapp mobile application.
Starting from a 13,276-image dataset of 529 species, a refined set of 6,064 images was standardized using a 200x lens. Data augmentation expanded it to 1.2 million images at 3000x4000 pixels. Early dataset inconsistencies identified by UGR researchers were corrected by standardizing lens use and image quality. New scripts applied binarization, grayscale, and histogram equalization to further expand the dataset.
- 1.2 million labeled images covering >500 wood species were obtained.
- At least 200 high-quality images per species.
- Consistent quality and balance across species.
Repercussions:
A high-quality dataset essential for the technological developments of the project has been achieved. This dataset improves the accuracy of wood identification in IMAIapp.
R5. Conjunto de datos de imágenes etiquetado con imágenes de todas las especies de madera.
Resultados:
Esta actividad representa la creación de un conjunto de datos de imágenes de especies de madera etiquetadas para apoyar el modelo de clasificación de imágenes en la aplicación móvil IMAIapp.
Partiendo de un conjunto de datos de 13.276 imágenes de 529 especies, se estandarizó un conjunto refinado de 6.064 imágenes utilizando un objetivo de 200x. El aumento de datos lo amplió a 1,2 millones de imágenes de 3000x4000 píxeles. Las primeras incoherencias del conjunto de datos identificadas por los investigadores de la UGR se corrigieron estandarizando el uso del objetivo y la calidad de la imagen. Nuevas secuencias de comandos aplicaron la binarización, la escala de grises y la ecualización del histograma para ampliar aún más el conjunto de datos. Se obtuvieron:
- 1,2 millones de imágenes etiquetadas que cubren >500 especies de madera.
- Al menos 200 imágenes de alta calidad por especie.
- Calidad y equilibrio uniformes entre especies.
Repercusiones:
Se ha conseguido un conjunto de datos de alta calidad esencial para los desarrollos tecnológicos del proyecto. Este conjunto de datos mejora la precisión de identificación de la madera de IMAIapp.
R4 Creation of the database of images and fact sheets
Results:
- A database of images of transverse sections of the selected woods was created to process the images included in the algorithm used by the app. The database is divided into three blocks:
-200x strength magnifying lens: 530 species and 6,064 photos.
-24x strength magnifying lens: 541 species and 8,123 photos.
-100x strength magnifying lens: 509 species and 5,796 photos.
- In addition, a photo database with three photos for each wood was created - one of each section (transverse, tangential and radial) - to support the information in the descriptions indicated below. These photos show the most important features of the wood, some of which require a 400x strength magnifying lens for observation.
- Fact sheets were created of 396 commercial timbers and woods included in the CITES convention. Each fact sheet contains the scientific name, family, most frequently used commercial name, common names, geographical distribution, general features of the wood, its uses, macroscopic anatomical features with photos of the three sections, and non-anatomical features.
Repercussions:
The information in the fact sheets has been uploaded to an online database that can be updated at any time. The purpose of the database is to feed the iOS and Android apps. The app receives updates of the wood descriptions (new descriptions, deletion of descriptions, or amendments) without the need to modify the source code deployed.
R4 Creación de la base de datos de imágenes y fichas
Resultados
- Por una parte, se ha creado una base de datos de imágenes de secciones transversales de las maderas seleccionadas, para el procesamiento de imágenes que se utilizan en el algoritmo de funcionamiento de la app Está dividida en 3 bloques:
-Lupa de x200 aumentos: 530 especies y 6.064 fotos.
-Lupa de x24 aumentos: 541 especies y 8.123 fotos.
-Lupa de x100 aumentos: 509 especies y 5.796 fotos.
-Por otra parte, se ha creado una base de datos fotográfica que incluye para cada madera 3 fotografías, una de cada sección (transversal, tangencial y radial) con el fin de apoyar la información de las fichas que se describen a continuación. Estas fotografías representan los caracteres más importantes de la madera, siendo necesaria la lupa x400 para la observación de algunos de ellos.
- Se han realizado las fichas descriptivas de 396 maderas comerciales y maderas incluidas en el convenio CITES. Cada ficha contiene el nombre científico, familia, nombre comercial más utilizado, nombres vernáculos, distribución geográfica, características generales de la madera, usos, caracteres macroscópicos anatómicos con fotografías de las secciones y características no anatómicas.
Repercusiones:
La información de las fichas se ha subido a una base de datos online, que permite su actualización en cualquier momento, cuya función es nutrir las app de iOS y Android. La app recibe las nuevas actualizaciones de las fichas de maderas (altas, bajas o modificaciones) sin necesidad de modificar el código fuente desplegado.
R3 Creation of the database of anatomical and non-anatomical features
Results:
The database of the selected woods was created with the following information:
- General features (density, odour, colour).
- Response of the wood to fluorescence of heartwood and extracts in water and ethanol, and the presence of saponins.
- Macroscopic features visible with magnifying lenses of 24x, 100x, 200x and 400x strength, coded following the encoding and nomenclature of IAWA (International Association of Wood Anatomists) and Insidewood (https://insidewood.lib.ncsu.edu/).
- Number of photos taken of each species and strength of magnifying lens used (24x, 100x, and 200x strength).
Repercussions:
The database created for use in the subsequent phases of the project is a very significant milestone, as it refers solely to macroscopic features, in this case viewed using magnifying lenses of various strengths attached to a smartphone. This allows a much higher number of features to be observed compared to the use of a traditional magnifying lens for macroscopic analysis.
Anyone can use this system, as the magnifying lenses are affordable and readily available through online shopping, such as Amazon, and these days everyone has a smartphone equipped with a camera.
R3 Creación de la base de datos de caracteres no anatómicos y anatómicos
Resultados:
Se ha creado la base de datos correspondiente a las maderas seleccionadas con la siguiente información:
-Caracteres generales (densidad, olor, color).
-Respuesta de la madera a la fluorescencia del duramen y los extractos en agua y etanol y la presencia de saponinas.
-Caracteres macroscópicos visibles con las lupas x24, x100, x200 y x400 aumentos codificados siguiendo la codificación y nomenclatura de IAWA (International Association of Wood Anatomists) e Insidewood (https://insidewood.lib.ncsu.edu/).
- Número de fotos realizadas de cada especie y por tipo de lupa empleada (x24, x100, x200 aumentos).
Repercusiones:
La base de datos creada para su utilización en las siguientes fases del proyecto supone un hito muy importante al hacer referencia solo a caracteres macroscópicos, pero utilizando lupas de distintos aumentos acopladas a un teléfono móvil, lo que permite observar un número de caracteres mucho más amplio que cuando se trabajaba con lupas tradicionales para el análisis macroscópico.
Cualquier usuario puede hacer uso de este sistema ya que se tratan de lupas asequibles y fácilmente disponibles en comercio online como Amazon y hoy en día todo el mundo dispone de un teléfono móvil con cámara.
R2 Selection of commercial timbers
Results:
The commercial timbers for the project were selected using the information on the timber sector provided in the report.
The final selection of woods comprises 530 species. Because samples of all the species were required, the pieces to be studied were selected and cut at the wood collection of our laboratory and the collection of the Jodrell Laboratory, Royal Botanical Gardens, Kew (London).
Correct digitalisation of the woods and analysis of their anatomical features required sanding of the transverse section. This was carried out at the Department of Mineralogy and Petrology, Universidad Complutense de Madrid.
Repercussions:
The proposed list of species comprises the most common commercial timbers and woods with similar features that could be added to the market to reduce pressure on the most sought-after timbers.
The analysis of similar woods allows this information to be used in administrative checks, particularly in the fight against the trafficking of protected species.
R2 Selección de las maderas comerciales
Resultados;
Con la información proporcionada en el Informe del sector de la madera se han seleccionado las maderas comerciales objeto del proyecto.
La selección definitiva de maderas ha sido de 530 especies. Como es necesario disponer de muestras de todas ellas, se ha trabajado en la xiloteca de nuestro laboratorio y en la del Jodrell Laboratory perteneciente al Royal Botanical Gardens, Kew (Londres), seleccionando y cortando las piezas necesarias para su estudio.
Para la realización de una buena digitalización de la madera y el análisis de sus caracteres anatómicos ha sido necesario un lijado de la sección transversal que se ha llevado a cabo en el Departamento de Mineralogía y Petrología de la Universidad Complutense de Madrid.
Repercusiones:
En el listado de especies propuesto, se incluyen las maderas comerciales más habituales y maderas con características similares que puedan incorporarse al mercado para rebajar la presión de las más demandadas en la actualidad.
El análisis de maderas similares permite la utilización de esta información en los controles administrativos, en especial en la lucha contra el tráfico de especies protegidas
R1 Diagnostic report on the timber sector
Results:
A diagnostic report has been written about the timber sector, indicating the implications for the sector of applying the FLEGT licence procedure, the European Union Timber Regulation, the Due Diligence system and the CITES Convention.
Information is provided about the primary and secondary processing industries, imports and exports, the market value of timber, the number of companies, number of jobs, etc.
The report outlines the advantages of forest certification, aiming for mutual recognition between the existing systems (PEFC and FSC), and explains the certificates of legal origin for timber.
It also includes a risk assessment of 110 countries in the international trade of timber and timber products, and data on imports of sawn tropical timber for 2020, in volume and value.
A list of 427 commercial timbers is proposed to carry out the project.
Repercussions:
The proposed list of species comprises the most common commercial timbers and woods with similar features that could be added to the market to reduce pressure on the most sought-after timbers.
The analysis of similar woods allows this information to be used in administrative checks, particularly in the fight against the trafficking of protected species.
R1 Informe de la diagnosis del sector madera
Resultados:
Se ha elaborado un informe donde se recoge la diagnosis del sector de la madera con las implicaciones que tiene en el mismo la aplicación del procedimiento de licencias FLEGT, el Reglamento Europeo de la Madera, el Sistema de Diligencia Debida y la Convención CITES.
Se aportan datos de las industrias de primera y segunda transformación, importaciones-exportaciones, valor del mercado de la madera, número de empresas, número de empleos, etc…
Se describen las ventajas de la certificación forestal, aspirando por un reconocimiento mutuo entre los dos sistemas existentes (PEFC y FSC), y se presentan las certificaciones de legalidad del origen de la madera.
Se muestra la evaluación de riesgo de 110 países en el comercio internacional de madera y productos de la madera, así como los datos de importación de maderas tropicales aserradas durante 2020, tanto en volumen como en valor.
Se propone un listado de 427 maderas comerciales para el desarrollo del proyecto.
Repercusiones:
En el listado de especies propuesto, se incluyen las maderas comerciales más habituales y maderas con características similares que puedan incorporarse al mercado para rebajar la presión de las más demandadas en la actualidad.
El análisis de maderas similares permite la utilización de esta información en los controles administrativos, en especial en la lucha contra el tráfico de especies protegidas.
Contacts
Project coordinator
-
Asunción Gómez Pérez, Paloma de Palacios de Palacios
Project coordinator
Project partners
-
Asociación Española del Comercio e Industria de la Madera (AEIM)
Project partner
-
Universidad de Granada
Project partner