Big Data Gives Businesses the Nose for Smelling What's Selling

 As data starts to permeate every nook and cranny of the retail trade, an incredibly detailed picture of consumer habits is slowly building. Big data is becoming big business.

For a supermarket like Sainsbury's, with data harvested from millions of customers and billions of transactions, this means an opportunity to differentiate.

Sainsbury's has 16% of the UK grocery market, according to recent figures from Kantar Worldwide, but it's looking to data analytics to help it compete more strongly in an increasingly competitive space. According to Andrew Day, chief data officer at their newly established data analytics center of excellence (DACE), improving customer satisfaction, increasing revenues and enthusing staff in-store are at the heart of the plan.

"We have huge amounts of data so we felt we had to try and bring it to life," says Day. "DACE is the result of that thinking and is a collection of highly skilled people in data management, visualization, reporting and solution finding."

DACE is asking big questions and seeing if the data can find solutions to problems. One of those is around stocking stores with products suited to specific demographics. Day admits that matching customers with products is a huge challenge, given the business has around 90,000 products across Sainsbury's Group; but data analytics helps to identify patterns, and react accordingly.

Another challenge is how to get the best out of the supply chain and logistics. Can data help create a plan which improves efficiency of supply and delivery, reducing costs and time?

Day explains: "The data is helping us look at the way we work with farmers, for example. Are we buying and growing the right crops? The idea is to be efficient and sustainable from farm to fork, using data analytics to help us model scenarios with both suppliers and customers."

Previously this would have been done through intuition and experience, which perhaps wasn't always accurate. Data analytics aims to minimize human error, or at least give humans a measure by which they can make more informed choices. An innovation team within DACE is also using data to help store colleagues by looking at the replenishment process, and how delivery lorries can have products stocked in the right order for each store. They are also looking at in-store equipment, using sensors to detect potential problems with freezers, enabling them to be repaired before they become an issue.

It's in the intelligent use of data where DACE and businesses like Sainsbury's can gain the biggest advantage. Analyzing huge quantities of data derived from transactions, loyalty cards and online shopping baskets can help improve the customer experience by offering products and services that are relevant. If you are vegetarian, for example, you shouldn't be getting emails about offers for pork chops or steak.

But perhaps the biggest challenge facing any data-driven business today is finding the right skills. The House of Commons' science and technology committee - which last year warned that the skills gap costs the UK economy around £63bn a year in lost income - cautioned in a recent report that the UK government's industrial strategy, released in January this year, does not go far enough in explaining how science and technology skills gaps will be addressed. We all know data skills are in short supply, so how do you fill roles and make sure you get the right people through the door?

"It's a mixed approach," says Day. "We train in-house but also recruit from academia. We don't just want pure data scientists, we look for a mixed bag of skills which is reflected in the work we are trying to do. We call them humanalysts here. And there has to be on-going learning too. It's important in this space. Data analytics is evolving quickly and we have to keep evolving with it."

To make a game-changing difference, to understand products and customers like never before and enrich both the shopping and working experience, you have to start acting and thinking differently. Decisions need to be based on data -- and the numbers don't lie. As data starts to permeate every nook and cranny of the retail trade, an incredibly detailed picture of consumer habits is slowly building. Big data is becoming big business. For a supermarket like Sainsbury's, with data harvested from millions of customers and billions of transactions, this means an opportunity to differentiate.

Sainsbury's has 16% of the UK grocery market, according to recent figures from Kantar Worldwide, but it's looking to data analytics to help it compete more strongly in an increasingly competitive space. According to Andrew Day, chief data officer at their newly established data analytics center of excellence (DACE), improving customer satisfaction, increasing revenues and enthusing staff in-store are at the heart of the plan.

"We have huge amounts of data so we felt we had to try and bring it to life," says Day. "DACE is the result of that thinking and is a collection of highly skilled people in data management, visualization, reporting and solution finding."

DACE is asking big questions and seeing if the data can find solutions to problems. One of those is around stocking stores with products suited to specific demographics. Day admits that matching customers with products is a huge challenge, given the business has around 90,000 products across Sainsbury's Group; but data analytics helps to identify patterns, and react accordingly.

Another challenge is how to get the best out of the supply chain and logistics. Can data help create a plan which improves efficiency of supply and delivery, reducing costs and time?

Day explains: "The data is helping us look at the way we work with farmers, for example. Are we buying and growing the right crops? The idea is to be efficient and sustainable from farm to fork, using data analytics to help us model scenarios with both suppliers and customers."

Previously this would have been done through intuition and experience, which perhaps wasn't always accurate. Data analytics aims to minimize human error, or at least give humans a measure by which they can make more informed choices. An innovation team within DACE is also using data to help store colleagues by looking at the replenishment process, and how delivery lorries can have products stocked in the right order for each store. They are also looking at in-store equipment, using sensors to detect potential problems with freezers, enabling them to be repaired before they become an issue.

It's in the intelligent use of data where DACE and businesses like Sainsbury's can gain the biggest advantage. Analyzing huge quantities of data derived from transactions, loyalty cards and online shopping baskets can help improve the customer experience by offering products and services that are relevant. If you are vegetarian, for example, you shouldn't be getting emails about offers for pork chops or steak.

But perhaps the biggest challenge facing any data-driven business today is finding the right skills. The House of Commons' science and technology committee -- which last year warned that the skills gap costs the UK economy around £63bn a year in lost income -- cautioned in a recent report that the UK government's industrial strategy, released in January this year, does not go far enough in explaining how science and technology skills gaps will be addressed. We all know data skills are in short supply, so how do you fill roles and make sure you get the right people through the door?

"It's a mixed approach," says Day. "We train in-house but also recruit from academia. We don't just want pure data scientists, we look for a mixed bag of skills which is reflected in the work we are trying to do. We call them humanalysts here. And there has to be on-going learning too. It's important in this space. Data analytics is evolving quickly and we have to keep evolving with it."

To make a game-changing difference, to understand products and customers like never before and enrich both the shopping and working experience, you have to start acting and thinking differently. Decisions need to be based on data -- and the numbers don't lie.