Чтобы было яснее: Delphi, FPC, Lazarus - это и среды разработки, которые включают в себя компиляторы диалекта Object Pascal, т.е. тот же Паскаль, но более развитый. Причем Lazarus использует в качестве компилятора FPC. У самого FPC - среда разработки в стиле аля DOS, так что для разработки под FPC используйте среду Lazarus. Помимо самого компилятора и среды Delphi, FPC, Lazarus - содержат еще некие наборы библиотек. В комплекте чистого FPC нет библиотек для оконного интерфейса.
Для изучения можно использовать и Lazarus и Delphi. Delphi - это платный проект, по идее нужно покупать. Если просто писать под винду, то я лично использую Delphi, по совокупности факторов. С 2011 года на Delphi можно писать и для Мака, но в любом случае сам Delphi работает под виндой.
Когда нужна кроссплатформенность в сторону Линуха или Юниксов, то без вариантов Lazarus (FPC).
Как скачивать FPC и Lazarus подробноописано
http://shikhalev.blogspot.com/search/label/fpcnotes