Определение статистики появилось не ранее 18-го века. Перед государством и руководителями встал вопрос о нужности сбора данных о своем населении и экономике страны, чтобы в после применять эти данные в управлении им. Определение статистики обощилось к 19 веку и начало подразумевать под собой сбор данных, так и их анализ. Сегодня статистика широко используется в государственных делах, экономике естественных и социальных науках.
В связи с тем, что статистика появилась в государственных делах, она считается не частью математики, а отдельной областью, которая использует математику. Математические основы этой науки были заложены в 17-м и 18-го веках параллельно с развитием теории вероятностей.
Метод наименьших квадратов был изобретен на рубеже 19-го века усилиями нескольких авторов. С тех пор новые методы теории вероятностей и медицинской статистики были в постоянном совершенствавании.
Нынешние компьютеры помогают нам производить ускоренные статистические вычисления (например вычисление значения точного критерия Фишера) на больших объемах данных. Одновременно с появлением новых методов ручное вычисление их становится нецелесообразным, чтобы их выполнять вручную.
Считается, что термин статистика появился от латинского «statisticum collegium» ("государственный совет") и от итальянского слова statista ( "государственный", "политик"). В немецком слово статистика обнаруживается в первый раз у Готфрида Ахенвалла (Gottfried Achenwall) в 1749 году, и подразумевало под собой анализ данных о населении, или так называемая «наука о государстве» (в Англии называлась «политическая арифметика»). В английском термин статистика подразумевал под собой сбор и классификацию данных и был введен Джоном Синклером (John Sinclair) в начале 19 века.
Иначе, главной целью статистики был сбор и анализ данных, которые будут использоваться государственными и административными органами.
На текущий момент сбор данных о населении государства продолжается, абсолютно за счет национальных и международных статистических служб. Например, перепись населения дает нам представление о населении государства и его составе.
